The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

En el mundo de la informática moderna, está surgiendo un nuevo tipo de inteligencia. En lugar de simplemente responder a una única pregunta, estos sistemas actúan como agentes autónomos. Toman un objetivo amplio, lo descomponen en una serie de pasos, recurren a otras herramientas para ayudarse y reintentan si fallan. Este proceso, conocido como orquestación, se está desplazando de los enormes centros de datos a computadoras pequeñas y potentes que se encuentran en escritorios y en vehículos. Estos dispositivos de borde (edge devices) están diseñados para ejecutar inteligencia artificial compleja de forma local, ahorrando tiempo y ancho de banda. Sin embargo, a medida que estos sistemas se vuelven más comunes, surge una pregunta crítica: ¿cuánta energía consumen realmente? Para investigadores y reguladores, conocer el costo energético exacto de una tarea específica es esencial. Es la única forma de medir la eficiencia, asegurar el cumplimiento de las nuevas leyes ambientales y entender si estos sistemas locales están realmente ahorrando energía en comparación con la nube.

Un equipo de investigadores dirigió recientemente su atención al hardware más avanzado disponible para este trabajo: una nueva generación de computadoras de escritorio construidas por importantes empresas tecnológicas utilizando un chip específico de NVIDIA. Querían ver si estas máquinas podían decirles exactamente cuánta energía utilizó cada parte del sistema mientras un agente trabajaba. Lo que encontraron fue un punto ciego significativo. Si bien las computadoras son increíblemente rápidas y capaces, son completamente silenciosas en lo que respecta a informar su propio uso de energía para el procesador central. Los investigadores descubrieron que el hardware tiene la capacidad de medir esta energía internamente, pero el software que hace funcionar la máquina oculta deliberadamente esta información a los usuarios.

La investigación se centró en un sistema de escritorio llamado ASUS Ascent GX10, que utiliza un potente chip conocido como GB10. Este chip combina un procesador central, que gestiona la planificación compleja y la llamada a herramientas de los agentes de IA, con un procesador gráfico que realiza el trabajo pesado de las tareas visuales. Los investigadores realizaron una auditoría exhaustiva de todas las formas posibles de pedirle a la computadora los datos de energía. Revisaron las interfaces estándar que los ingenieros utilizan para monitorear la potencia, buscando contadores que rastreen el uso de energía a lo largo del tiempo, de manera similar al odómetro de un automóvil. Descubrieron que, mientras el procesador gráfico informaba su uso de energía, el procesador central no ofrecía tales datos en absoluto. No había contadores para la CPU, ni monitores de energía en las líneas eléctricas que alimentan el chip, ni herramientas de gestión de sistema estándar que pudieran revelar las cifras.

La situación es particularmente sorprendente porque los datos realmente existen dentro de la máquina. El firmware interno del chip, que gestiona el flujo de electricidad para mantener el sistema fresco y eficiente, ya está calculando la energía utilizada por diferentes partes del procesador. Mantiene un recuento continuo de cuánta energía utilizan los núcleos principales del procesador, cuánta energía usan los núcleos de eficiencia más pequeños y cuánto consume el chip gráfico. Sin embargo, los fabricantes han optado por no compartir esta información. Cuando los investigadores preguntaron a la empresa detrás del chip si planeaban liberar estos datos, la respuesta fue que no había planes para hacerlo. Esto significa que, si bien la computadora sabe exactamente cuánta energía está quemando para completar una tarea, la persona que la usa no puede verlo.

Esta brecha es importante porque la forma en que trabajan estos agentes de IA depende en gran medida del procesador central. La planificación, los reintentos y la coordinación de herramientas ocurren en la CPU, no solo en el chip gráfico. Estudios previos han demostrado que este trabajo de orquestación puede representar casi la mitad de la energía total utilizada por un sistema de IA. Sin una forma de medir el uso de energía de la CPU, es imposible saber el costo real de ejecutar un agente. Los investigadores no pueden comparar diferentes diseños de software para ver cuál es más eficiente, y las empresas no pueden verificar si están cumpliendo con las regulaciones ambientales. La única forma de obtener un número hoy en día es conectar toda la computadora a un medidor de energía externo, pero eso solo muestra el total de toda la máquina, mezclando el trabajo de la CPU con la memoria, los ventiladores de refrigeración y el chip gráfico. Es como intentar averiguar cuánto combustible utiliza un solo motor en un automóvil mirando solamente el indicador de combustible total para todo el vehículo.

Los investigadores confirmaron que esto no es una limitación del chip físico en sí, sino una decisión tomada en el software que lo controla. Encontraron evidencia de que el firmware interno es capaz de exponer estos números a través de un canal de comunicación estándar utilizado por ingenieros, pero este canal está actualmente apagado. También probaron una computadora similar de un fabricante diferente, la Acer Veriton, y descubrieron que en esa placa específica, los datos ocultos podían accederse utilizando una herramienta creada por la comunidad, lo que demuestra que la información está ahí y el hardware es capaz de compartirla. La diferencia entre las dos máquinas sugiere que los datos faltantes son el resultado de una elección de producto y no de una imposibilidad técnica.

El artículo concluye delineando un camino claro a seguir. La tecnología para solucionar esto ya está en su lugar. El sistema interno de la computadora está listo para compartir los datos, y las herramientas de software necesarias para leerlos están siendo construidas por la comunidad de código abierto. Todo lo que se requiere es que los fabricantes actualicen el firmware de la computadora para activar el interruptor que permite que esta información sea vista. Hasta que eso suceda, las computadoras de IA de borde más avanzadas del mercado siguen siendo cajas negras de energía. Para un campo que crece rápidamente y enfrenta una presión creciente para ser sostenible, la incapacidad de medir el costo energético del trabajo que se realiza es un obstáculo fundamental. Los investigadores argumentan que, para que estos sistemas sean verdaderamente útiles para propósitos científicos y regulatorios, la capacidad de ver el uso de energía debe tratarse como un requisito básico, tal como la capacidad de ver la temperatura o la velocidad del procesador.