Riepilogo Tecnico: La Tassa di Parcheggio del Modello

Enunciato del Problema

Il modello operativo prevalente per l'inferenza AI prevede il deployment dei modelli su GPU e il loro mantenimento caricati in VRAM indefinitamente per evitare la latenza associata agli "avvii a freddo". Sebbene i benefici in termini di latenza di questa strategia "mantieni caldo" siano ben documentati, il costo energetico continuo della prontezza è stato trattato come una costante non quantificata. I rapporti del settore stimano la potenza a riposo delle GPU intorno al 20% della Potenza di Progetto Termico (TDP), ma il costo energetico marginale dell'allocazione di quantità specifiche di VRAM non è mai stato scomposto empiricamente.

La domanda centrale affrontata è se la memorizzazione dei pesi del modello nella VRAM della GPU comporti un costo energetico marginale a riposo misurabile e se tale costo vari tra diverse architetture GPU e tecnologie di memoria. La letteratura corrente suggerisce che i contesti CUDA costringono le GPU a frequenze di clock più elevate anche quando sono inattive, ma non è chiaro se la dimensione del modello (occupazione VRAM) aumenti ulteriormente il consumo energetico oltre al costo del semplice mantenimento del contesto.

Metodologia

Gli autori adottano un approccio in due fasi che combina telemetria di produzione su larga scala con esperimenti controllati di risposta al dosaggio su tre distinte architetture GPU: NVIDIA H100 (HBM3), A100 (HBM2e) e L40S (GDDR6).

Fase 1: Telemetria di Produzione

• Ambito: 18 giorni di dati provenienti da 14 GPU NVIDIA H100 distribuite su due nodi Kubernetes.
• Volume Dati: 335.267 campioni in stato di inattività (0% di utilizzo) con allocazioni VRAM comprese tra 3 MB e 79 GB.
• Strumentazione: Le metriche sono state raccolte tramite l'exporter NVIDIA Data Center GPU Manager (DCGM) a intervalli di 30 secondi.

Fase 2: Esperimenti Controllati

• Progettazione: Studi di risposta al dosaggio intra-soggetto su una GPU per ciascuna architettura (H100, A100, L40S).
• Protocollo:
  1. Registrazione della potenza "a riposo nudo" (nessun contesto CUDA).
  2. Creazione di un contesto CUDA persistente.
  3. Allocazione sequenziale di VRAM crescente (da 0 a 40–72 GB) utilizzando tensori torch.empty.
  4. Registrazione della potenza tramite nvidia-smi per 20 minuti per ogni livello di allocazione.
• Validazione: Gli esperimenti sono stati validati utilizzando un modello reale di HuggingFace (Qwen2.5-7B) per garantire che i pesi reali del modello e i kernel CUDA non alterassero il profilo di potenza a riposo rispetto ai tensori vuoti.
• Rigorosità Statistica: Lo studio utilizza il Test a Due Direzioni Unilaterali (TOST) per stabilire l'equivalenza, testando se il coefficiente di potenza marginale ($\beta$) è praticamente zero (delimitato da $\pm 0.1$ W/GB).

Risultati Chiave

1. La "Tassa di Parcheggio" è una Funzione a Gradini, non un Gradiente

Lo studio identifica una "Tassa di Parcheggio del Modello" composta da due componenti distinte:

• Il Sovraccarico del Contesto CUDA ($\Delta P_{DVFS}$): La creazione di un contesto CUDA innesca una transizione discreta di Scaling Dinamico di Tensione e Frequenza (DVFS). Gli clock degli Streaming Multiprocessor (SM) passano da stati a basso consumo inattivi (210–345 MHz) alle frequenze di boost massime (1410–2520 MHz), indipendentemente dall'utilizzo.

  • H100: +49,9 W di sovraccarico.
  • A100: +26,3 W di sovraccarico.
  • L40S: +66,4 W di sovraccarico.
    Questo gradino rappresenta >98% del costo totale di potenza a riposo su tutte le architetture testate.

• L'Effetto Marginale VRAM ($\beta$): Una volta attivo un contesto CUDA, variare la VRAM allocata da 0 GB alla capacità massima testata (fino a 72 GB) comporta una variazione di potenza inferiore a 1 W.

  • La pendenza di regressione $\beta$ è risultata statisticamente indistinguibile da zero su H100 e L40S.
  • Su A100 è stata osservata una pendenza negativa statisticamente significativa, ma gli autori attribuiscono ciò alla deriva termica (diminuzione della temperatura nel tempo) piuttosto che a un effetto fisico della memoria, notando che la magnitudine è trascurabile (<0,1 W totale).
  • Conclusione: $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$. Il costo è determinato dalla presenza di un contesto, non dall'occupazione della memoria.

2. Coerenza Cross-Architettura

La scoperta secondo cui la potenza a riposo è costante a tratti vale per tre tecnologie di memoria fondamentalmente diverse (HBM3, HBM2e, GDDR6) e microarchitetture (Hopper, Ampere, Ada Lovelace). Questa coerenza supporta la previsione teorica che, a riposo, la potenza della memoria sia dominata dai circuiti di background e di refresh (che scandiscono tutte le righe indipendentemente dal contenuto dei dati), rendendo la potenza indipendente dall'occupazione.

3. Modello di Pareggio per l'Avvio a Freddo

Gli autori derivano un modello di pareggio ($T^*$) per determinare il tempo ottimale per espellere un modello rispetto al mantenerlo caldo:
$$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$$
Dove $P_{park}$ è la tassa di parcheggio (sovraccarico del contesto), $P_{load}$ è la potenza durante il caricamento e $t_{load}$ è la durata del caricamento.

• Risultato: Gli intervalli di pareggio sono brevi, tipicamente 1–5 minuti, a seconda dell'architettura e del metodo di caricamento.
• Implicazione: Per modelli piccoli che si caricano in pochi secondi, il costo energetico del mantenerli caldi supera spesso il costo di un avvio a freddo, anche con tassi di richiesta moderati. Il punto di pareggio dipende dalla latenza e dalla potenza di caricamento, non dalla dimensione del modello.

Significato e Affermazioni

Il documento afferma di fornire la prima misurazione cross-architettura della potenza a riposo della GPU in funzione dell'allocazione VRAM. I suoi contributi principali sono:

1. Scomposizione del Costo a Riposo: Separa empiricamente la potenza a riposo in un costo DVFS fisso e massiccio (innescato dal contesto CUDA) e un costo marginale VRAM trascurabile, praticamente nullo.
2. Sfida alle Pratiche Correnti: Mette in discussione l'assunzione del settore secondo cui modelli più grandi comportano costi energetici a riposo proporzionalmente più elevati. Il documento afferma che un modello da 1 GB e uno da 64 GB pagano la "stessa tassa di parcheggio" perché il costo è guidato dal contesto, non dall'impronta di memoria.
3. Guida Operativa: Gli autori propongono che la "pianificazione consapevole delle dimensioni" (avvio a freddo di modelli piccoli) e l'"espulsione consapevole del pareggio" siano più efficienti dal punto di vista energetico rispetto al deployment sempre attivo.
4. Stima dell'Impatto Industriale: Basandosi sui dati di spedizione del 2023 e su un tasso di utilizzo del 65%, gli autori stimano che il solo sovraccarico del contesto CUDA rappresenti 92–1.745 GWh/anno a livello globale, con una stima di base di 462 GWh/anno (circa 180 kT di CO2).

Il documento conclude che i fornitori di GPU dovrebbero investigare stati di inattività che disaccoppiano la frequenza di clock dalla presenza del contesto, e che le piattaforme serverless dovrebbero dare priorità all'eliminazione dei contesti CUDA rispetto alla riduzione delle impronte dei modelli per ottenere risparmi energetici. Un pianificatore proof-of-concept che utilizza il modello di pareggio derivato ha dimostrato un risparmio energetico dell'8–23% su simulazioni di 24 ore rispetto alle linee di base sempre attive.