The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

No mundo da computação moderna, um novo tipo de inteligência está emergindo. Em vez de simplesmente responder a uma única pergunta, esses sistemas atuam como agentes autônomos. Eles recebem um objetivo amplo, dividem-no em uma série de etapas, recorrem a outras ferramentas para ajudar e tentam novamente se falharem. Esse processo, conhecido como orquestração, está se movendo dos grandes centros de dados para computadores pequenos e poderosos situados em mesas e em veículos. Esses dispositivos de borda (edge devices) são projetados para executar inteligência artificial complexa localmente, economizando tempo e largura de banda. No entanto, à medida que esses sistemas se tornam mais comuns, uma questão crítica surge: quanto de energia eles realmente consomem? Para pesquisadores e reguladores, saber o custo energético exato de uma tarefa específica é essencial. É a única maneira de medir a eficiência, garantir a conformidade com novas leis ambientais e entender se esses sistemas locais estão realmente economizando energia em comparação com a nuvem.

Uma equipe de pesquisadores voltou recentemente sua atenção para o hardware mais avançado disponível para este trabalho: uma nova geração de computadores desktop construídos por grandes empresas de tecnologia usando um chip específico da NVIDIA. Eles queriam ver se essas máquinas poderiam dizer exatamente quanta energia cada parte do sistema utilizou enquanto um agente estava trabalhando. O que descobriram foi um ponto cego significativo. Embora os computadores sejam incrivelmente rápidos e capazes, eles são completamente silenciosos quando se trata de relatar seu próprio consumo de energia para o processador central. Os pesquisadores descobriram que o hardware tem a capacidade de medir essa energia internamente, mas o software que executa a máquina deliberadamente esconde essa informação dos usuários.

A investigação focou em um sistema desktop chamado ASUS Ascent GX10, que utiliza um chip poderoso conhecido como GB10. Este chip combina um processador central, que lida com o planejamento complexo e a chamada de ferramentas da IA, com um processador gráfico que realiza o trabalho pesado para tarefas visuais. Os pesquisadores realizaram uma auditoria minuciosa de todas as formas possíveis de solicitar dados de energia ao computador. Eles verificaram as interfaces padrão que os engenheiros usam para monitorar a potência, procurando por contadores que rastreiam o uso de energia ao longo do tempo, de forma semelhante ao odômetro de um carro. Descobriram que, embora o processador gráfico relatasse seu consumo de energia, o processador central não oferecia dado algum. Não havia contadores para a CPU, não havia monitores de energia nas linhas elétricas que alimentam o chip, nem ferramentas padrão de gerenciamento de sistema que revelassem os números.

A situação é particularmente marcante porque os dados realmente existem dentro da máquina. O firmware interno do chip, que gerencia o fluxo de eletricidade para manter o sistema resfriado e eficiente, já está calculando a energia usada pelas diferentes partes do processador. Ele mantém uma contagem contínua de quanta energia os núcleos principais do processador usam, quanto os núcleos menores de eficiência usam e quanto o chip gráfico consome. No entanto, os fabricantes escolheram não compartilhar essa informação. Quando os pesquisadores perguntaram à empresa por trás do chip se eles planejavam liberar esses dados, a resposta foi que não havia planos para fazê-lo. Isso significa que, embora o computador saiba exatamente quanta energia está queimando para completar uma tarefa, a pessoa que o utiliza não consegue vê-la.

Essa lacuna é importante porque a maneira como esses agentes de IA trabalham depende fortemente do processador central. O planejamento, as tentativas de repetição e a coordenação de ferramentas acontecem na CPU, não apenas no chip gráfico. Estudos anteriores mostraram que esse trabalho de orquestração pode representar quase metade da energia total usada por um sistema de IA. Sem uma forma de medir o consumo de energia da CPU, é impossível saber o custo real de executar um agente. Pesquisadores não podem comparar diferentes designs de software para ver qual é mais eficiente, e empresas não podem verificar se estão cumprindo as regulamentações ambientais. A única maneira de obter um número hoje é conectar todo o computador a um medidor de energia externo, mas isso só mostra o total para toda a máquina, misturando o trabalho da CPU com a memória, os ventiladores de resfriamento e o chip gráfico. É como tentar descobrir quanto combustível um único motor de um carro usa olhando apenas para o medidor de combustível total de todo o veículo.

Os pesquisadores confirmaram que isso não é uma limitação do próprio chip físico, mas uma decisão tomada no software que o controla. Eles encontraram evidências de que o firmware interno é capaz de expor esses números através de um canal de comunicação padrão usado por engenheiros, mas esse canal está atualmente desligado. Eles também testaram um computador semelhante de um fabricante diferente, o Acer Veriton, e descobriram que, naquela placa específica, os dados ocultos podiam ser acessados usando uma ferramenta criada pela comunidade, provando que a informação está lá e o hardware é capaz de compartilhá-la. A diferença entre as duas máquinas sugere que os dados ausentes são o resultado de uma escolha de produto, e não de uma impossibilidade técnica.

O artigo conclui delineando um caminho claro a seguir. A tecnologia para corrigir isso já está em vigor. O sistema interno do computador está pronto para compartilhar os dados, e as ferramentas de software necessárias para lê-los estão sendo construídas pela comunidade de código aberto. Tudo o que é necessário é que os fabricantes atualizem o firmware do computador para ligar a chave que permite que essa informação seja vista. Até que isso aconteça, os computadores de IA de borda mais avançados do mercado permanecem caixas pretas de energia. Para um campo que está crescendo rapidamente e enfrentando pressões crescentes para ser sustentável, a incapacidade de medir o custo energético do trabalho que está sendo feito é um obstáculo fundamental. Os pesquisadores argumentam que, para que esses sistemas sejam verdadeiramente úteis para fins científicos e regulatórios, a capacidade de visualizar o uso de energia deve ser tratada como um requisito básico, tal como a capacidade de visualizar a temperatura ou a velocidade do processador.