💻 computer science

LLM-Powered Predictive Decision-Making for Sustainable Data Center Operations

Questo articolo presenta un sistema di pianificazione predittiva basato su LLM che prevede il tempo di esecuzione e il consumo energetico a partire dal codice sorgente per ottimizzare l'allocazione delle risorse GPU, ottenendo una riduzione del 32% dell'uso di energia e una diminuzione del 30% dei tempi di attesa per operazioni di data center sostenibili.

Autori originali: Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

Pubblicato 2026-08-20

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il mondo moderno funziona grazie a un motore silenzioso e invisibile: il data center. Questi vasti magazzini di server informatici alimentano tutto, dallo streaming di film agli strumenti di intelligenza artificiale che stanno rimodellando il nostro modo di lavorare e pensare. Tuttavia, questa comodità digitale comporta un pesante costo fisico. L'addestramento dei modelli di intelligenza artificiale più avanzati richiede enormi quantità di potenza di calcolo, il che a sua volta richiede quantità sbalorditive di elettricità e acqua per il raffreddamento. Man mano che la domanda di questi sistemi intelligenti cresce, aumenta anche la pressione sulle nostre reti energetiche e sull'ambiente. La sfida per gli ingegneri non è più solo quella di rendere questi sistemi più veloci; si tratta di renderli sostenibili, garantendo che il futuro digitale non consumi le risorse fisiche necessarie per sostenerlo.

Per affrontare questa crescente tensione, un team di ricercatori ha sviluppato un nuovo modo per gestire il flusso di lavoro all'interno di questi data center. Invece di indovinare quanto tempo impiegherà un compito informatico o quanta energia consumerà, hanno creato un sistema che utilizza un sofisticato modello linguistico per leggere il codice stesso e prevedere il risultato prima ancora che il lavoro inizi. Questo approccio tratta il codice sorgente — le istruzioni scritte dai programmatori umani — come una storia che il computer può comprendere. Analizzando la struttura e la logica del codice, il sistema può stimare il tempo necessario per completare un lavoro e l'energia che consumerà, il tutto senza dover eseguire prima il compito. Questa capacità predittiva permette al data center di fare scelte più intelligenti su quali chip informatici potenti assegnare a quali lavori, bilanciando il carico per risparmiare energia e ridurre i tempi di attesa.

I ricercatori hanno costruito un sistema prototipo che opera in due fasi distinte. Per prima cosa, un modello di intelligenza artificiale pre-addestrato, progettato per comprendere il linguaggio umano e il codice, legge le istruzioni inviate da un utente. Traduce il codice complesso in una rappresentazione matematica che cattura l'essenza del compito. Questo modello non si basa su regole rigide e scritte a mano o su caratteristiche specifiche che gli ingegneri devono definire manualmente per ogni nuovo tipo di programma. Invezione, utilizza la sua ampia formazione per riconoscere schemi e comprendere il contesto del codice, proprio come un lettore esperto può afferrare la trama di una storia senza aver bisogno di un riassunto. Una volta che il sistema ha compreso il compito, prevede due numeri critici: quanto tempo impiegherà il lavoro per essere completato e quanta elettricità utilizzerà. Queste previsioni vengono effettuate in meno di un secondo, abbastanza velocemente da poter essere utilizzate nel processo decisionale in tempo reale.

Con queste previsioni in mano, la seconda fase del sistema prende il sopravvento: un algoritmo di pianificazione che decide come distribuire le risorse informatiche disponibili. In un tipico data center, i compiti arrivano in un flusso continuo e il gestore deve decidere quale chip informatico assegnare a ciascuno di essi. Se il gestore assegna un compito a un chip troppo potente, l'energia viene sprecata. Se lo assegna a un chip troppo debole o se aspetta troppo a lungo per assegnarlo, il compito rimane in coda, ritardando i risultati. Il nuovo sistema utilizza le previsioni della prima fase per calcolare la migliore assegnazione possibile per ogni compito in entrata. Considera la disponibilità attuale di diversi tipi di chip informatici, il costo energetico stimato e il tempo che il compito richiederà. L'obiettivo è minimizzare l'energia totale utilizzata mantenendo al contempo il tempo di attesa per tutti i compiti il più breve possibile.

Per testare se questa idea funzioni nel mondo reale, i ricercatori hanno collaborato con un data center per eseguire una simulazione utilizzando due mesi di dati operativi reali. Hanno confrontato il loro nuovo sistema predittivo con il metodo standard utilizzato dalla struttura, che si basa su decisioni più semplici e basate su regole. I risultati sono stati significativi. Il nuovo sistema ha ridotto il consumo energetico totale del data center del 32 percento. Allo stesso tempo, ha ridotto del 30 percento il tempo che i compiti trascorrono in attesa in coda. Questi miglioramenti sono stati ottenuti non cambiando l'hardware o l'infrastruttura fisica, ma cambiando il modo in cui il data center pensa al lavoro che sta svolgendo. Il sistema ha dimostrato che, comprendendo il codice prima dell'esecuzione, la struttura poteva operare con una efficienza molto maggiore.

Uno degli aspetti più sorprendenti di questo lavoro è la sua flessibilità. I metodi tradizionali per prevedere l'uso di energia richiedono spesso un modello separato e costruito su misura per ogni diverso tipo di programma informatico. Se appariva un nuovo tipo di compito, il vecchio sistema faticava a prevederne le necessità. Il nuovo approccio, invece, utilizza un modello unico e unificato che può gestire una vasta gamma di compiti, dall'addestramento di complessi sistemi di riconoscimento di immagini all'esecuzione di modelli linguistici. Questo perché l'intelligenza artificiale sottostante ha imparato a comprendere la struttura fondamentale del codice, piuttosto che limitarsi a memorizzare esempi specifici. I ricercatori hanno scoperto che anche quando il codice era scritto in uno stile leggermente diverso o da una persona diversa, il sistema era comunque in grado di effettuare previsioni accurate. Per migliorare ulteriormente questo aspetto, hanno aggiunto un passaggio secondario in cui il sistema può riscrivere il codice non familiare in uno stile che corrisponda ai suoi dati di addestramento, garantendo che le previsioni rimangano accurate anche per compiti che il sistema non ha mai visto prima.

Lo studio evidenzia anche un cambiamento nel modo in cui potremmo pensare alla gestione delle risorse nell'era digitale. Per anni, i data center hanno operato su stime fornite dagli utenti o su medie storiche che spesso non sono precise. Questo nuovo metodo sostituisce le congetture con una previsione informata. Suggerisce che la chiave per un futuro digitale più sostenibile risieda in strumenti decisionali migliori che possano adattarsi alla complessità dell'informatica moderna. Mentre l'attuale sistema si concentra su tempo ed energia, i ricercatori osservano che lo stesso quadro potrebbe essere esteso per prevedere altri impatti ambientali, come l'uso di acqua per il raffreddamento o le emissioni di carbonio, a condizione che il data center tracci tali metriche.

Il successo di questo prototipo dimostra che l'intelligenza artificiale può essere utilizzata non solo per creare nuove tecnologie, ma anche per ottimizzare l'infrastruttura che le supporta. Leggendo il codice e prevedendo il costo del lavoro, il sistema trasforma il data center in un organismo più reattivo ed efficiente. La riduzione del 32 percento dell'energia e la riduzione del 30 percento del tempo di attesa non sono solo numeri; rappresentano un passo concreto verso la riduzione dell'impronta ambientale della rivoluzione dell'IA. Mentre la domanda di intelligenza artificiale continua a crescere, metodi come questo offrono una via pratica per procedere, dimostrando che possiamo costruire un mondo digitale più intelligente e sostenibile senza sacrificare le prestazioni. Il lavoro mostra che, con gli strumenti giusti, il motore invisibile di Internet può funzionare in modo più pulito ed efficiente che mai.

Sintesi Tecnica: Processo Decisionale Predittivo Basato su LLM per Operazioni di Data Center Sostenibili

1. Formulazione del Problema

La rapida espansione dei carichi di lavoro guidati dall'IA, in particolare dai Large Language Models (LLM), ha intensificato il consumo di energia e risorse dei data center. Le attuali pipeline operative nei data center si affidano spesso ad algoritmi euristici che allocano le risorse (ad esempio, le GPU) sulla base delle stime fornite dagli utenti riguardo alla durata del task e alle necessità di risorse. Tuttavia, prevedere con precisione il tempo di esecuzione e il consumo energetico è intrinsecamente difficile a causa della complessità dei moderni sistemi informatici (inclusi larghezza di banda, memoria, stack software e variazioni hardware). Di conseguenza, né gli utenti né i data center possiedono una conoscenza precisa dei requisiti ottimali delle risorse, portando a inefficienze, spreco di risorse e un aumento dell'impronta ambientale.

Gli autori formulano un problema in due parti:

Predizione: Dato un codice sorgente $x$ inviato dall'utente e una potenziale configurazione GPU $z$ , prevedere il tempo di esecuzione $t$ e il consumo energetico $e$ . Questi sono modellati come funzioni sconosciute $t = f(x, z)$ ed $e = g(x, z)$ specifiche per l'infrastruttura del data center.
Processo Decisionale: Sviluppare una policy $\pi$ per allocare sequenzialmente le risorse GPU ai task in arrivo al fine di minimizzare una somma pesata del tempo di esecuzione, del tempo di attesa e del costo energetico, soggetti a vincoli di inventario GPU limitati. Questo problema è complicato dalla presenza di una coda di attesa e dalla necessità di bilanciare molteplici obiettivi (ottimizzazione multi-scopo), per i quali non esiste una soluzione analitica.

2. Metodologia

A. Modello Predittivo Basato su LLM

Il nucleo del sistema proposto è un modello predittivo unificato end-to-end che utilizza un Large Language Model (LLM) pre-addestrato per elaborare il codice sorgente.

Architettura: Il modello consiste in due fasi:
1. Estrazione della Rappresentazione: Un LLM pre-addestrato (denotato come $l_{\theta_1}$ ) prende il codice sorgente $x$ in input e restituisce una rappresentazione vettoriale a $d$ dimensioni. I parametri dell'LLM $\theta_1$ rimangono fissi.
2. Probing: Un modello supervisionato leggero (un "probe", denotato come $h_{\theta_2}$ o $q_{\theta_2}$ ) prende la rappresentazione estratta e la configurazione GPU $z$ in input per prevedere la metrica target (tempo o energia).
Addestramento: Il sistema è addestrato su un dataset di codice sorgente accoppiato con risultati di esecuzione effettivi (tempo ed energia) attraverso varie configurazioni GPU. Notevolmente, il modello richiede solo un piccolo dataset (circa 500 esempi di codice sorgente) perché l'LLM pre-addestrato possiede già una vasta comprensione contestuale del codice.
Vantaggi rispetto ai Metodi Tradizionali:
- Generalizzazione: A differenza dei metodi precedenti che si affidano a caratteristiche create manualmente (ad esempio, profondità dello strato, numero di passaggi) specifiche per determinati tipi di modelli (ad esempio, solo CNN), l'approccio LLM si generalizza su diversi tipi di task e task compositi (ad esempio, CNN seguita da LSTM).
- Efficienza dei Dati: L'LLM pre-addestrato funge da potente estrattore di caratteristiche, riducendo la necessità di enormi dataset di addestramento.
- Flessibilità: La stessa rappresentazione può essere utilizzata per diverse metriche di predizione (tempo, energia e potenzialmente metrici di acqua/carbonio) semplicemente addestrando diversi probe.

B. Algoritmi di Processo Decisionale Sequenziale

Per ottimizzare l'allocazione delle risorse, gli autori propongono due algoritmi basati sui dati che utilizzano le predizioni del modello LLM:

Algoritmo Greedy (Ingordo): Assegna i task in base a una regola first-come-first-served, selezionando il tipo di GPU che minimizza il valore dell'obiettivo stimato ( $\alpha \hat{t} + \beta w + \gamma \hat{e}$ ) per il task corrente.
Algoritmo Value-Based (Basato sul Valore): Ispirato al problema dello zaino multiplo (multiple knapsack problem), questo algoritmo considera l'intera coda di attesa. Assegna i task in base al loro "valore" nella riduzione del tempo di attesa complessivo e dei costi energetici, piuttosto che seguire strettamente l'ordine di arrivo.

C. Gestione dei Task Out-of-Distribution (OOD)

Gli autori identificano una potenziale incoerenza in cui codice funzionalmente equivalente scritto da ingegneri diversi potrebbe generare rappresentazioni LLM differenti, portando a errori di predizione. Per mitigare ciò, propongono una pipeline estesa:

Align-LLM: Se la rappresentazione di un nuovo task devia significativamente dai cluster di addestramento, un "Align-LLM" ausiliario riscrive il codice sorgente per far sì che corrisponda allo stile dei task simili nel codebase locale. Questo allinea la rappresentazione di input con la distribuzione di addestramento, migliorando l'accuratezza della predizione senza alterare la funzionalità del codice.

3. Contributi Chiave

Contributi Metodologici

Modello Predittivo Versatile Basato su LLM: La prima soluzione completa end-to-end che prende come input il codice sorgente grezzo per stimare il tempo di esecuzione e il consumo energetico. Elimina la necessità di caratteristiche manuali specifiche per il task.
Sistema di Scheduling Predittivo Completamente Automatizzato: Un framework unificato capace di gestire qualsiasi tipo di task inviato dall'utente e fornire stime immediate, superando i limiti dei modelli di predizione tradizionali e rigidi.
Processo Decisionale Sequenziale: Un algoritmo basato sui dati che affronta il complesso problema dell'allocazione delle risorse multi-obiettivo con code di attesa, uno scenario in cui le soluzioni analitiche standard falliscono.

Contributi a Livello Applicativo

Implementazione Pratica: La pipeline viene eseguita entro un secondo, consentendo uno scheduling in tempo reale e conveniente. È efficace anche con dati di addestramento limitati.
Sostenibilità Multi-Scopo: Il framework è progettato per essere estensibile, capace di prevedere varie metriche di sostenibilità (ad esempio, emissioni di carbonio, consumo di acqua) se i dati necessari sono disponibili.

4. Risultati Sperimentali

Gli autori hanno validato il loro approccio attraverso una collaborazione con un data center, utilizzando due mesi di dati operativi (1 luglio 2024 – 1 settembre 2024).

Metriche di Performance: Rispetto al "Simple Rule" (baseline del data center: first-come-first-served con preferenza per la GPU più potente), l'algoritmo Value-based proposto ha ottenuto:
- Una riduzione del 32% nel consumo energetico totale (TEC).
- Una riduzione del 30% nel tempo di attesa totale (TWT).
- Una riduzione del 24% nel numero di task ritardati.
Confronto: L'algoritmo Value-based ha superato significativamente l'algoritmo Greedy considerando lo stato globale della coda di attesa invece di concentrarsi solo sul task immediato.
Robustezza: La pipeline estesa con Align-LLM ha mitigato con successo gli errori di predizione causati dalle variazioni nello stile di codifica, avvicinando i task out-of-distribution alla distribuzione di addestramento e migliorando l'accuratezza della predizione.

5. Significato e Rivendicazioni

Il documento sostiene che questo lavoro offre una soluzione pratica e scalabile per modernizzare le operazioni dei data center al fine di raggiungere obiettivi di sostenibilità. Sfruttando la comprensione contestuale e le capacità di generalizzazione degli LLM, il sistema proposto supera la rigidità dei metodi di predizione tradizionali, basati su euristiche o sulla fisica.

Gli autori sottolineano che il loro approccio:

Avanza l'Infrastruttura: Fornisce una via per un'infrastruttura IA più efficiente e rispettosa dell'ambiente.
Colma il Divario tra Teoria e Pratica: Dimostra che gli LLM possono essere integrati efficacemente nei cicli decisionali operativi in tempo reale con requisiti minimi di dati.
Scalabilità: La natura unificata del modello consente di adattarsi a diversi tipi di task e future metriche di sostenibilità senza richiedere una riprogettazione completa dell'architettura di predizione.

Il lavoro conclude che l'integrazione della modellazione predittiva basata su LLM con il processo decisionale sequenziale è una strategia valida per ridurre significativamente l'impatto ambientale dei carichi di lavoro guidati dall'IA, migliorando al contempo l'efficienza operativa.