The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

현대 컴퓨팅의 세계에서 새로운 종류의 지능이 등장하고 있습니다. 단순히 단일 질문에 답하는 대신, 이 시스템들은 자율적인 에이전트로서 역할을 수행합니다. 이들은 광범위한 목표를 설정하면 이를 일련의 단계로 나누고, 다른 도구들을 호출하며, 실패할 경우 다시 시도합니다. '오케스트레이션(orchestration)'이라고 알려진 이 과정은 거대한 데이터 센터에서 벗어나 책상 위나 차량 안에 있는 작고 강력한 컴퓨터로 이동하고 있습니다. 이러한 엣지 디바이스들은 복잡한 인공지능을 로컬에서 실행하도록 설계되어 시간과 대역폭을 절약합니다. 그러나 이러한 시스템이 점점 더 보편화됨에 따라 중요한 질문이 제기됩니다. 이들이 실제로 얼마나 많은 에너지를 소비하는가 하는 점입니다. 연구자와 규제 당국에게 특정 작업의 정확한 에너지 비용을 아는 것은 필수적입니다. 그것만이 효율성을 측정하고, 새로운 환경법 준수를 보장하며, 이러한 로컬 시스템이 클라우드와 비교했을 때 진정으로 전력을 절약하고 있는지 이해할 수 있는 유일한 방법이기 때문입니다.

최근 한 연구팀은 이 작업을 수행하기 위해 사용 가능한 가장 진보된 하드웨어에 주목했습니다. 바로 특정 엔비디아(NVIDIA) 칩을 사용하여 주요 기술 기업들이 제작한 새로운 세대의 데스크톱 컴퓨터입니다. 그들은 이 기기들이 에이전트가 작동하는 동안 시스템의 각 부분이 정확히 얼마나 많은 에너지를 사용했는지 알려줄 수 있는지 확인하고 싶었습니다. 그들이 발견한 것은 상당한 사각지대였습니다. 이 컴퓨터들은 믿을 수 없을 정도로 빠르고 유능하지만, 중앙 프로세서의 에너지 사용량에 대해서는 완전히 침묵하고 있었습니다. 연구진은 하드웨어가 내부적으로 이 에너지를 측정할 수 있는 능력을 갖추고 있지만, 기기를 구동하는 소프트웨어가 사용자에게 이 정보를 의도적으로 숨기고 있다는 사실을 발견했습니다.

조사는 GB10이라는 강력한 칩을 사용하는 ASUS Ascent GX10이라는 데스크톱 시스템에 집중되었습니다. 이 칩은 AI 에이전트의 복잡한 계획 수립과 도구 호출을 처리하는 중앙 프로세서와 시각적 작업을 위한 헤비 리프팅(heavy lifting)을 담당하는 그래픽 프로세서를 결합한 것입니다. 연구진은 컴퓨터에 에너지 데이터를 요청할 수 있는 모든 가능한 방법을 철저히 감사했습니다. 그들은 엔지니어들이 전력 사용량을 모니터링하기 위해 사용하는 표준 인터페이스를 확인했으며, 자동차의 주행거리계와 유사하게 시간 경과에 따른 에너지 사용량을 추적하는 카운터를 찾아보았습니다. 그 결과, 그래픽 프로세서는 전력 사용량을 보고하고 있었지만, 중앙 프로세서는 전혀 그런 데이터를 제공하지 않는다는 것을 발견했습니다. CPU를 위한 카운터도 없었고, 칩에 공급되는 전기 라인의 전력 모니터도 없었으며, 숫자를 드러낼 수 있는 표준 시스템 관리 도구도 없었습니다.

이 상황은 데이터가 기기 내부에 실제로 존재한다는 점에서 특히 놀랍습니다. 시스템을 냉각하고 효율적으로 유지하기 위해 전력 흐름을 관리하는 칩의 내부 펌웨어는 이미 프로세서의 각 부분에서 사용되는 에너지를 계산하고 있습니다. 펌웨어는 메인 프로세서 코어가 얼마나 많은 에너지를 사용하는지, 작은 효율 코어가 얼마나 사용하는지, 그리고 그래픽 칩이 얼마나 소비하는지에 대한 누적치를 계속 기록하고 있습니다. 그러나 제조사들은 이 정보를 공유하지 않기로 선택했습니다. 연구진이 칩을 만든 회사에 이 데이터를 공개할 계획이 있는지 물었을 때, 돌아온 답변은 그럴 계획이 없다는 것이었습니다. 이는 컴퓨터가 작업을 완료하기 위해 정확히 얼마만큼의 에너지를 태우고 있는지 알고 있음에도 불구하고, 사용하는 사람은 그것을 볼 수 없음을 의미합니다.

이 격차는 중요한데, 왜냐하면 이러한 AI 에이전트의 작동 방식은 중앙 프로세서에 크게 의존하기 때문입니다. 계획 수립, 재시도, 도구의 조정 등은 그래픽 칩뿐만 아니라 CPU에서 일어납니다. 이전 연구들에 따르면 이러한 오케스트레이션 작업이 AI 시스템 전체 에너지 사용량의 거의 절반을 차지할 수 있다고 밝혀졌습니다. CPU의 에너지 사용량을 측정할 방법이 없다면, 에이전트를 실행하는 실제 비용을 아는 것은 불가능합니다. 연구자들은 어떤 소프트웨어 설계가 더 효율적인지 비교할 수 없으며, 기업들은 환경 규정을 준ло 준수하고 있는지 검증할 수 없습니다. 오늘날 이 수치를 얻을 수 있는 유일한 방법은 외부 전력 측정기를 컴퓨터에 연결하는 것뿐이지만, 그것은 CPU의 작업량을 메모리, 냉각 팬, 그래픽 칩과 섞어 전체 컴퓨터의 총합만을 보여줍니다. 이는 마치 자동차 전체의 총 연료 게이지만 보고 엔진 하나가 얼마나 많은 연료를 사용하는지 알아내려는 것과 같습니다.

연구진은 이것이 물리적인 칩 자체의 한계가 아니라, 이를 제어하는 소프트웨어의 결정임을 확인했습니다. 그들은 내부 펌웨어가 엔지니어들이 사용하는 표준 통신 채널을 통해 이 숫자들을 노출할 수 있는 능력이 있지만, 현재 이 채널이 꺼져 있다는 증거를 발견했습니다. 또한 다른 제조사의 유사한 컴퓨터인 Acer Veriton을 테스트한 결과, 해당 보드에서는 커뮤니티에서 만든 도구를 사용하여 숨겨진 데이터에 접근할 수 있음을 확인하여, 정보가 그곳에 존재하며 하드웨어가 이를 공유할 능력이 있음을 입증했습니다. 두 기기 사이의 차이점은 누락된 데이터가 기술적 불가능함이 아니라 제품 선택의 결과임을 시사합니다.

논문은 명확한 향후 경로를 제시하며 마무리됩니다. 이를 해결하기 위한 기술은 이미 갖춰져 있습니다. 컴퓨터의 내부 시스템은 데이터를 공유할 준비가 되어 있으며, 이를 읽기 위한 소프트웨어 도구들은 오픈 소스 커뮤니티에 의해 구축되고 있습니다. 필요한 것은 제조사가 컴퓨터의 펌웨어를 업데이트하여 이 정보를 볼 수 있도록 하는 스위치를 켜는 것뿐입니다. 그렇게 될 때까지 시장의 가장 진보된 엣지 AI 컴퓨터들은 에너지 블랙박스로 남게 될 것입니다. 급격히 성장하며 지속 가능성에 대한 압박을 받고 있는 분야에서, 수행 중인 작업의 에너지 비용을 측정할 수 없다는 것은 근본적인 장애물입니다. 연구진은 이러한 시스템이 과학적 및 규제적 목적으로 진정으로 유용해지려면, 에너지 사용량을 보는 능력이 프로세서의 온도나 속도를 보는 능력처럼 기본적인 요구 사항으로 취급되어야 한다고 주장합니다.