Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference

Titolo

Green Prompting: Caratterizzazione dei Costi Energetici Guidati dai Prompt nell'Inferenza degli LLM

1. Il Problema

I Large Language Models (LLM) hanno rivoluzionato settori come la ricerca, la generazione di codice e la creazione di testi. Tuttavia, la loro adozione diffusa solleva preoccupazioni significative riguardo alla sostenibilità ambientale e ai costi energetici. Sebbene gran parte della ricerca si sia concentrata sui costi energetici del training dei modelli, la fase di inferenza (l'uso del modello per generare risposte a nuovi input) rappresenta fino al 65% dell'impronta di carbonio dell'intero ciclo di vita di un modello AI, a causa del volume massiccio di chiamate.
Mentre l'ottimizzazione dell'hardware e dell'architettura è stata studiata, rimane poco chiaro come le caratteristiche specifiche dei prompt (input) e delle risposte influenzino il consumo energetico. L'obiettivo di questo studio è colmare questo vuoto, analizzando empiricamente come la progettazione dei prompt e la natura del task impattino sui costi energetici.

2. Metodologia

Gli autori hanno condotto uno studio empirico controllato utilizzando tre modelli LLM open-source basati su architettura Transformer, tutti con circa 7 miliardi di parametri:

• Mistral 7B (famiglia Mistral)
• Gemma 7B (Google)
• Vicuna 7B (LMSYS, basato su Llama 2)

Setup Sperimentale:

• Hardware: I test sono stati eseguiti su un singolo GPU NVIDIA A100 in un cluster locale per isolare il consumo energetico e ridurre il rumore.
• Dataset: Sono stati utilizzati 9.000 prompt totali, suddivisi in tre categorie di task:
  1. Risposte a domande (Q&A): Basati su dataset come SQuAD e GPT4.
  2. Analisi del Sentimento: Classificazione binaria (positivo/negativo) su recensioni e tweet.
  3. Generazione di Testo: Riscrittura, riassunto e creazione di contenuti.
• Strumentazione: È stato utilizzato il framework ZEUS (basato su NVML) per misurare con precisione il consumo energetico della GPU e la latenza durante ogni inferenza.
• Variabili Controllate: I modelli hanno ricevuto gli stessi prompt con impostazioni di iperparametri identici (temperatura, limite di tempo, numero massimo di nuovi token, modalità low memory) per garantire la comparabilità.

3. Contributi Chiave

La ricerca apporta quattro contributi principali:

1. Sistema di Misurazione: Presentazione di un sistema per catturare il consumo energetico durante inferenze "one-shot" in modo sistematico e riproducibile.
2. Analisi delle Caratteristiche della Risposta: Dimostrazione che la lunghezza della risposta (in token) ha una correlazione molto più forte con il consumo energetico rispetto alla lunghezza del prompt di input.
3. Impatto Semantico e del Task: Evidenziazione del fatto che il tipo di task e il significato semantico del prompt guidano il comportamento di generazione e i costi energetici, più della semplice lunghezza del testo in ingresso.
4. Riduzione Energetica tramite Parole Chiave: Identificazione di specifiche parole chiave nei prompt che possono ridurre il consumo energetico fino al 50-60% a seconda del task e del modello.

4. Risultati Principali

• Lunghezza della Risposta vs. Lunghezza del Prompt:

  • Esiste una correlazione positiva molto forte (coefficiente di Pearson 0.9) tra la lunghezza della risposta generata e il consumo energetico. Più token vengono generati, più calcoli (e quindi energia) sono necessari.
  • Al contrario, la lunghezza del prompt ha una correlazione debole (0.08-0.19) con l'energia consumata.

• Differenze tra Modelli:

  • Nonostante architetture simili, i modelli mostrano pattern energetici diversi. Gemma 7B ha consumato in media più energia (727 J) rispetto a Mistral (547 J) e Vicuna (700 J).
  • La causa principale non è l'efficienza per token (Gemma è in realtà la più efficiente per token, 0.1 J), ma la verbosità: Gemma tende a generare risposte più lunghe, aumentando il costo totale. Questo è attribuito alle differenze nei dati di addestramento e alla dimensione del vocabolario.

• Impatto del Task:

  • L'analisi del sentimento è il task meno costoso energeticamente (sotto i 500 J) perché richiede risposte concise.
  • I task di Q&A e Generazione di Testo sono molto più costosi e variabili, poiché richiedono output dettagliati e lunghi.

• Influenza delle Parole Chiave (Keywords):

  • Sono state identificate parole chiave che guidano l'uso di energia. Parole come "explain" (spiega), "justify" (giustifica) e "generate" (genera) sono associate a consumi elevati (fino a 1.100+ J in alcuni casi) perché inducono risposte lunghe.
  • Parole come "classify" (classifica), "summarize" (riassumi) o "identify" (identifica) sono associate a consumi inferiori.
  • Esempio di ottimizzazione: Utilizzare parole chiave specifiche può portare a riduzioni energetiche fino al 60% per certi task (es. passare da "explain" a "classify" nell'analisi del sentimento).

• Emoticon:

  • L'uso di emoticon nelle risposte (frequente in Vicuna) aumenta leggermente il consumo energetico perché ogni emoji è rappresentata da più token, ma l'impatto è generalmente minore rispetto alla lunghezza complessiva del testo.

5. Significato e Conclusioni

Lo studio conclude che la progettazione dei prompt (Prompt Engineering) è un fattore critico, spesso trascurato, per l'efficienza energetica degli LLM.

• Ottimizzazione a livello utente: È possibile ridurre significativamente i costi energetici modificando la semantica del prompt (es. scegliendo verbi che richiedono risposte concise) senza necessariamente cambiare l'hardware o il modello.
• Trade-off Qualità/Efficienza: Esiste un compromesso tra la lunghezza/completezza della risposta e l'energia consumata.
• Implicazioni Future: Questi risultati forniscono le basi per sviluppare sistemi predittivi che stimino il costo energetico in base all'input dell'utente e per progettare architetture AI più sostenibili. La ricerca invita a considerare non solo la scelta del modello, ma anche la strategia di input per un'IA più "verde".

In sintesi, il paper dimostra che l'efficienza energetica nell'inferenza degli LLM non dipende solo dalla potenza di calcolo, ma è profondamente influenzata da cosa chiediamo al modello e come lo chiediamo.