The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

Nel mondo dell'informatica moderna, sta emergendo un nuovo tipo di intelligenza. Invece di limitarsi a rispondere a una singola domanda, questi sistemi agiscono come agenti autonomi. Essi prendono un obiettivo ampio, lo suddividono in una serie di passaggi, ricorrono ad altri strumenti per ricevere aiuto e riprovano in caso di fallimento. Questo processo, noto come orchestrazione, si sta spostando dai massicci data center a piccoli e potenti computer posizionati sulle scrivanie e nei veicoli. Questi dispositivi edge sono progettati per eseguire localmente l'intelligenza artificiale complessa, risparmiando tempo e larghezza di banda. Tuttavia, man mano che questi sistemi diventano più comuni, sorge una domanda critica: quanta energia consumano effettivamente? Per i ricercatori e i regolatori, conoscere l'esatto costo energetico di un compito specifico è essenziale. È l'unico modo per misurare l'efficienza, garantire la conformità alle nuove leggi ambientali e capire se questi sistemi locali stiano davvero risparmiando energia rispetto al cloud.

Un team di ricercatori ha recentemente rivolto la propria attenzione all'hardware più avanzato disponibile per questo lavoro: una nuova generazione di computer desktop costruiti da grandi aziende tecnologiche utilizzando un chip specifico di NVIDIA. Volevano vedere se queste macchine potessero dire loro esattamente quanta energia utilizzava ogni parte del sistema mentre un agente era al lavoro. Ciò che hanno scoperto è stato un significativo punto cieco. Sebbene i computer siano incredibilmente veloci e capaci, sono completamente silenziosi per quanto riguarda la segnalazione del proprio consumo energetico per quanto riguarda il processore centrale. I ricercatori hanno scoperto che l'hardware ha la capacità di misurare questa energia internamente, ma il software che gestisce la macchina nasconde deliberatamente questa informazione agli utenti.

L'indagine si è concentrata su un sistema desktop chiamato ASUS Ascent GX10, che utilizza un chip potente noto come GB10. Questo chip combina un processore centrale, che gestisce la pianificazione complessa e la chiamata degli strumenti dell'IA, con un processore grafico che svolge il lavoro pesante per i compiti visivi. I ricercatori hanno eseguito un audit approfondito di ogni possibile modo per chiedere al computer i dati sull'energia. Hanno controllato le interfacce standard che gli ingegneri usano per monitorare la potenza, cercando contatori che traccino l'uso dell'energia nel tempo, in modo simile al contachilometri di un'auto. Hanno scoperto che, mentre il processore grafico riportava il proprio consumo di potenza, il processore centrale non offriva alcun dato in merito. Non c'erano contatori per la CPU, non c'erano monitor di potenza sulle linee elettriche che alimentano il chip e non esistevano strumenti di gestione del sistema standard in grado di rivelare i numeri.

La situazione è particolarmente sorprendente perché i dati esistono effettivamente all'interno della macchina. Il firmware interno del chip, che gestisce il flusso di elettricità per mantenere il sistema fresco ed efficiente, sta già calcolando l'energia utilizzata dalle diverse parti del processore. Tiene un conteggio corrente di quanta energia utilizzano i core principali del processore, quanto utilizzano i piccoli core di efficienza e quanto consuma il chip grafico. Tuttavia, i produttori hanno scelto di non condividere questa informazione. Quando i ricercatori hanno chiesto all'azienda dietro il chip se avesse in programma di rilasciare questi dati, la risposta è stata che non c'erano piani in tal senso. Ciò significa che, sebbene il computer sappia esattamente quanta energia sta bruciando per completare un compito, la persona che lo utilizza non può vederlo.

Questa lacuna è importante perché il modo in cui questi agenti IA lavorano si basa pesantemente sul processore centrale. La pianificazione, i tentativi di riprova e la coordinazione degli strumenti avvengono sulla CPU, non solo sul chip grafico. Studi precedenti hanno dimostrato che questo lavoro di orchestrazione può rappresentare quasi la metà dell'energia totale utilizzata da un sistema di IA. Senza un modo per misurare l'uso energetico della CPU, è impossibile conoscere il costo reale dell'esecuzione di un agente. I ricercatori non possono confrontare diversi design software per vedere quale sia più efficiente, e le aziende non possono verificare se stanno rispettando le normative ambientali. L'unico modo per ottenere un numero oggi è collegare l'intero computer a un misuratore di potenza esterno, ma questo mostra solo il totale per l'intera macchina, mescolando il lavoro della CPU con quello della memoria, delle ventole di raffreddamento e del chip grafico. È come cercare di capire quanto carburante consuma un singolo motore in un'auto guardando solo il contatore totale del carburante per l'intero veicolo.

I ricercatori hanno confermato che questo non è un limite del chip fisico in sé, ma una decisione presa nel software che lo controlla. Hanno trovato prove del fatto che il firmware interno è capace di esporre questi numeri attraverso un canale di comunicazione standard utilizzato dagli ingegneri, ma questo canale è attualmente disattivato. Hanno anche testato un computer simile di un produttore diverso, l'Acer Veriton, e hanno scoperto che su quella specifica scheda i dati nascosti potevano essere accessi utilizzando uno strumento creato dalla comunità, provando che l'informazione è presente e che l'hardware è capace di condividerla. La differenza tra le due macchine suggerisce che i dati mancanti siano il risultato di una scelta di prodotto piuttosto che di un'impossibilità tecnica.

Il documento conclude delineando un percorso chiaro da seguire. La tecnologia per risolvere questo problema è già in fase di implementazione. Il sistema interno del computer è pronto a condividere i dati e gli strumenti software necessari per leggerli sono in fase di sviluppo da parte della comunità open-source. Tutto ciò che è necessario è che i produttori aggiornino il firmware del computer per attivare l'interruttore che permette a questa informazione di essere vista. Finché ciò non accadrà, i computer edge AI più avanzati sul mercato rimarranno delle "black box" energetiche. Per un campo che sta crescendo rapidamente e che affronta una pressione crescente in termini di sostenibilità, l'incapacità di misurare il costo energetico del lavoro svolto è un ostacolo fondamentale. I ricercatori sostengono che, affinché questi sistemi siano davvero utili per scopi scientifici e normativi, la capacità di vedere l'uso dell'energia debba essere trattata come un requisito di base, proprio come la capacità di vedere la temperatura o la velocità del processore.