Comparing energy consumption and accuracy in text classification inference

1. Problema e Contesto

L'adozione crescente dei Modelli Linguistici su Larga Scala (LLM) nelle applicazioni di Elaborazione del Linguaggio Naturale (NLP) ha sollevato preoccupazioni significative riguardo all'efficienza energetica e alla sostenibilità ambientale. Sebbene la ricerca precedente si sia concentrata principalmente sul consumo energetico durante la fase di addestramento, la fase di inferenza (esecuzione del modello su dati reali) riceve meno attenzione, nonostante sia quella che avviene ripetutamente nelle implementazioni reali.
Il problema centrale è la mancanza di una valutazione sistematica dei compromessi (trade-off) tra accuratezza e consumo energetico durante l'inferenza, specialmente per compiti relativamente semplici come la classificazione del testo. Spesso, l'uso di LLM complessi viene promosso anche quando modelli più leggeri potrebbero essere sufficienti, portando a un dispendio energetico inutile senza guadagni proporzionali in termini di prestazioni.

2. Metodologia

Gli autori hanno condotto uno studio empirico sistematico per valutare le prestazioni energetiche e l'accuratezza di diversi modelli linguistici in un contesto di classificazione del testo.

• Dataset:
  • Dataset Principale (FKTG): Derivato da un caso d'uso reale nella pubblica amministrazione tedesca (gestione di obiezioni relative allo smaltimento di scorie radioattive). Il dataset contiene 378 entry divise in 14 categorie. È stato suddiviso in 189 esempi per il training e 189 per il test (split 50:50) per garantire affidabilità statistica e scenari di sfida per i modelli tradizionali.
  • Dataset di Validazione: Per testare la generalizzabilità, sono stati utilizzati quattro dataset aggiuntivi (News, Yelp, Rotten Tomatoes, Emotion) con diverse complessità linguistiche e squilibri di classe.
• Modelli Confrontati:
  • Modelli Tradizionali: Regressione logistica e XGBoost, utilizzando tre tipi di feature: Bag-of-Words (BoW), TF-IDF e embedding di frasi pre-addestrati (Sentence Transformers). Questi modelli sono stati addestrati sul dataset di training.
  • Modelli LLM: Una vasta gamma di modelli (Llama 3.1, Qwen 2.5, Phi 3.5, Jamba, DeepSeek Distillations) con dimensioni variabili da <1B a >70B parametri. Sono stati utilizzati in modalità zero-shot (senza addestramento/fine-tuning) per riflettere scenari di deployment reali dove il fine-tuning è costoso o impraticabile.
• Infrastruttura Hardware:
  • Esperimenti eseguiti su cluster HPC (Capella, Paula, Clara) con diverse architetture GPU: NVIDIA H100, A30 e V100.
  • Sono stati testati diversi configurazioni: singolo nodo, multi-nodo, e variazione del numero di GPU per modello.
• Misurazione Energetica:
  • Utilizzo del pacchetto CodeCarbon per monitorare il consumo energetico di CPU e GPU.
  • Misurazione del consumo energetico e della durata (runtime) esclusivamente durante la fase di inferenza (dopo il caricamento del modello).
  • Adozione di uno scenario "warm-start" per escludere i costi di inizializzazione una tantum e focalizzarsi sul consumo in stato stazionario.

3. Risultati Chiave

• Efficienza Energetica vs. Accuratezza:
  • I modelli tradizionali (in particolare la regressione logistica con embedding di frasi) hanno spesso raggiunto l'accuratezza più alta o paragonabile agli LLM, consumando ordini di grandezza meno energia (da <0.01 Wh a ~0.12 Wh contro diverse decine o centinaia di Wh per gli LLM).
  • Gli LLM, anche quelli più piccoli, consumano significativamente più energia dei modelli tradizionali senza garantire un aumento proporzionale dell'accuratezza nel setting zero-shot.
• Impatto dell'Architettura e delle Dimensioni:
  • Esiste una forte correlazione positiva tra le dimensioni del modello (parametri) e il consumo energetico. Tuttavia, modelli più grandi non sempre offrono una migliore accuratezza.
  • I modelli "Reasoning" (come le varianti DeepSeek che generano token di pensiero interni) mostrano un consumo energetico molto elevato e tempi di esecuzione più lunghi, ma spesso un'accuratezza inferiore rispetto agli LLM non reasoning per compiti di classificazione diretta.
• Hardware e Configurazione:
  • L'uso di più GPU riduce il tempo di esecuzione ma non riduce necessariamente il consumo energetico totale; in alcuni casi, l'energia consumata aumenta a causa dell'attivazione di più unità di calcolo.
  • L'uso di più nodi (pipeline parallelism) aumenta significativamente il consumo energetico e la latenza a causa del sovraccarico di comunicazione di rete.
  • L'efficienza delle GPU più potenti (es. H100) rispetto a quelle più vecchie (V100, A30) è evidente solo per modelli che generano grandi quantità di testo (come i modelli reasoning); per output brevi, GPU meno potenti possono essere più efficienti.
• Correlazione Tempo-Energia:
  • È stata trovata una forte correlazione lineare tra la durata dell'inferenza e il consumo energetico. Questo suggerisce che, in assenza di misurazioni dirette dell'energia, il tempo di esecuzione può fungere da proxy affidabile per stimare il consumo energetico, specialmente per configurazioni hardware fisse.

4. Contributi Principali

1. Valutazione Sistematica: Fornisce uno dei primi confronti empirici dettagliati tra modelli tradizionali e LLM focalizzato specificamente sulla fase di inferenza in scenari zero-shot.
2. Framework Riproducibile: Gli autori hanno reso pubblico il codice, i dati di misurazione e la pipeline di valutazione (disponibile su GitLab), permettendo alla comunità di replicare e estendere lo studio.
3. Proxy per l'Energia: Dimostrano che il runtime può essere utilizzato come indicatore pratico per l'efficienza energetica, semplificando la valutazione in contesti dove la misurazione diretta dell'energia è complessa.
4. Analisi Multi-Architettura: Inclusione di modelli con architetture diverse (Transformer, Mamba, MoE) e strategie di inferenza (standard vs. reasoning), offrendo una visione olistica delle implicazioni energetiche.

5. Significato e Implicazioni

• Sostenibilità dell'AI: Lo studio evidenzia che l'uso indiscriminato di grandi LLM per compiti semplici (come la classificazione del testo) è spesso inefficiente dal punto di vista energetico e ambientale.
• Decisioni di Deployment: Per le applicazioni pratiche, specialmente nella pubblica amministrazione, si raccomanda di iniziare con modelli tradizionali leggeri e di passare agli LLM solo se dimostrano un miglioramento misurabile e giustificato delle prestazioni.
• Politiche e Regolamentazione: I risultati supportano l'adozione di principi di proporzionalità e sostenibilità (come quelli menzionati nell'AI Act dell'UE), incoraggiando le organizzazioni a valutare l'impronta energetica insieme all'accuratezza quando selezionano i modelli.
• Ricerca Futura: Sottolinea la necessità di sviluppare modelli "planet-centered" che bilancino efficienza, trasparenza ed etica, e di considerare l'intero ciclo di vita dei modelli, non solo l'inferenza.

In sintesi, il paper conclude che l'efficienza energetica e l'accuratezza sono dimensioni distinte che non sempre si allineano: i modelli più precisi non sono necessariamente i più costosi energeticamente, e spesso i modelli più semplici offrono il miglior compromesso per compiti specifici.