Optimising for Energy Efficiency and Performance in Machine Learning

Sintesi Tecnica: Ottimizzazione dell'Efficienza Energetica e delle Prestazioni nel Machine Learning

Definizione del Problema
La crescita esponenziale della complessità computazionale dei modelli di machine learning (ML) ha portato a un aumento significativo del consumo energetico e dell'impatto ambientale. Sebbene recenti regolamentazioni, come l'AI Act dell'UE, impongano la pubblicazione dei consumi energetici, la ricerca attuale sul ML si concentra prevalentemente sulle prestazioni del modello, trascurando spesso le metriche energetiche. La letteratura esistente si affida frequentemente al conteggio dei parametri e delle operazioni in virgola mobile (FLOP) come proxy per il consumo energetico, sebbene tali metriche siano spesso non correlate al consumo energetico effettivo. Inoltre, la ricerca precedente sull'impatto ambientale del ML ignora spesso i costi di inferenza, nonostante l'inferenza rappresenti spesso la maggior parte dei costi computazionali del ML (ad esempio, fino al 90% per AWS). Gli strumenti attuali per stimare l'impronta di carbonio richiedono spesso un alto accoppiamento del codice e non forniscono feedback azionabili per migliorare l'efficienza, mentre i tuner degli iperparametri generalmente non tengono conto dell'impatto ambientale o dei costi di inferenza.

Metodologia
Per affrontare queste lacune, gli autori hanno sviluppato ECOpt (Energy Consumption Optimiser), un framework Python progettato per ottimizzare simultaneamente gli iperparametri del modello sia per l'efficienza energetica che per le prestazioni.

• Formulazione dell'Ottimizzazione: Il problema è inquadrato come un compito di ottimizzazione multi-obiettivo. Il sistema ricerca in uno spazio di iperparametri $S$ per trovare la frontiera di Pareto tra una metrica di prestazione ($f_p$, ad es. accuratezza) e una metrica di efficienza energetica ($f_e$).
• Misurazione dell'Energia: ECOpt utilizza misuratori di energia basati su software, nello specifico CodeCarbon, che aggrega i dati di consumo di potenza dai driver dei dispositivi (ad es. NVIDIA nvidia-smi per le GPU e RAPL per le CPU). Il framework si concentra sul consumo di energia computazionale, quantificando l'efficienza come "campioni per Joule" (o token per Joule per la generazione di testo). Tiene conto del prelievo di potenza di tutti i componenti attivi (CPU, GPU, RAM) piuttosto che solo dell'acceleratore.
• Algoritmo di Ottimizzazione: Il framework impiega l'Ottimizzazione Bayesiana Multi-Obiettivo (MOBO) utilizzando la funzione di acquisizione Expected Hypervolume Improvement (EHVI) (nello specifico, la parallel noisy EHVI, o $q$NEHVI). Questo approccio è stato scelto per la sua efficienza di campionamento, consentendo la scoperta della curva di trade-off (frontiera di Pareto) con meno valutazioni rispetto alla ricerca casuale o a quella per griglia (grid search).
• Workflow: Il processo prevede la divisione di un dataset in set di addestramento e di valutazione. Per ogni iterazione, ECOpt costruisce e addestra un modello con i parametri campionati, esegue l'inferenza sul set di valutazione, misura gli obiettivi e aggiorna i modelli surrogati (Processi Gaussiani) per guidare il passo successivo della ricerca.

Contributi Chiave

1. Formulazione del Trade-off: Gli autori formalizzano la ricerca del compromesso tra prestazioni ed energia nel ML come un problema di ottimizzazione multi-obiettivo.
2. Procedura Automatizzata: Descrivono una procedura completamente automatizzata basata su MOBO per scoprire una frontiera di Pareto empirica che caratterizza questo trade-off.
3. Framework Open-Source: ECOpt è rilasciato come pacchetto Python riutilizzabile, inclusi script sperimentali per la riproducibilità.
4. Risultati Empirici: Il lavoro fornisce estese valutazioni sperimentali dimostrando che:
   • Il conteggio dei parametri e i FLOP sono proxy inaffidabili per il consumo energetico.
   • I modelli Transformer per la generazione di testo mostrano un'efficienza energetica relativamente costante attraverso diverse configurazioni hardware.
   • Esiste una legge di scala energetica per i Transformer, dove l'efficienza energetica diminuisce log-linearmente con il numero di parametri.
   • L'ottimizzazione per l'efficienza energetica può produrre un impatto ambientale netto positivo, recuperando rapidamente l'energia spesa per l'ottimizzazione.

Risultati Sperimentali
Gli autori hanno condotto esperimenti su vari hardware (VM, laptop, desktop, server e nodi HPC) e tipi di modelli (CNN, Transformer).

• Validità delle Metriche: Negli esperimenti scalando gli strati delle reti neurali e regolando i passi (stride) delle CNN, gli autori hanno osservato che il conteggio dei parametri rimaneva costante mentre il consumo energetico e i FLOP variavano significativamente. Ciò conferma che il conteggio dei parametri è un proxy inadatto per l'efficienza energetica. Allo stesso modo, i FLOP hanno mostrato una debole correlazione con l'uso energetico effettivo nelle CNN.
• Consistenza dell'Hardware: Testando i modelli Transformer (GPT-2, Qwen3, Gemma 3, Llama 3.1) su cinque macchine diverse, è emerso che, sebbene l'efficienza energetica assoluta variasse in base alla dimensione del modello, l'efficienza di un modello specifico rimaneva relativamente costante tra le diverse macchine (deviazione standard di 0,2372 tra le macchine contro 0,4608 tra i modelli). Ciò suggerisce che le metriche energetiche dei modelli sono preziose da pubblicare.
• Utilizzo della GPU: In un esperimento di ottimizzazione della dimensione del batch per Gemma 3 su un server, ECOpt ha identificato una dimensione del batch ottimale di 831 (che produce 2,67 token/J), inferiore alla dimensione massima compatibile con la VRAM. Questa configurazione ha ottenuto un aumento di 38 volte dell'efficienza energetica rispetto a una dimensione del batch predefinita di 1. Gli autori hanno calcolato che l'energia spesa per questa ottimizzazione sarebbe stata recuperata dopo la generazione di soli 4.802 token.
• Ricerca della Neural Architecture (NAS): Applicando ECOpt a un compito di CNN NAS su CIFAR-10, il framework ha identificato sette architetture Pareto-ottimali. Il miglior modello ha raggiunto il 76,09% di accuratezza con 20,12 campioni/J. Questo ha superato il baseline della ricerca casuale (71,17% di accuratezza) e il baseline del tuning manuale (70,07% di accuratezza) sia in termini di accuratezza che di efficienza temporale (61 minuti rispetto a tre giorni). Notevolmente, gli autori hanno scoperto che, sebbene i loro modelli non fossero allo stato dell'arte (SOTA) in termini di sola accuratezza, offrivano profili di accuratezza-per-energia superiori rispetto ai modelli SOTA esistenti quando si considera l'efficienza energetica.

Significato e Rivendicazioni
Il paper sostiene che, ottimizzando gli iperparametri sia per l'efficienza energetica che per le prestazioni, i professionisti possono ridurre il costo energetico del ML senza sacrificare la qualità dell'inferenza. Gli autori sostengono che l'attuale affidamento sui conteggi dei parametri e dei FLOP offusca il vero costo ambientale dei modelli. Fornendo uno strumento che quantifica il trade-off tramite una frontiera di Pareto interpretabile, ECOpt consente un processo decisionale informato riguardo ai costi di deployment e all'impatto ambientale.

Gli autori notano con modestia che i loro risultati sul miglioramento rispetto allo SOTA su CIFAR-10 sono dovuti principalmente alla scarsità di metriche energetiche pubblicate nel campo, piuttosto che a un fondamentale progresso nell'architettura del modello. Raccomandano l'adozione più ampia di metriche energetiche nella pubblicazione dei modelli per favorire la competizione e la consapevolezza. Il lavoro evidenzia inoltre che l'ottimizzazione per l'efficienza energetica differisce dall'ottimizzazione per la latenza; mentre la latenza spesso favorisce reti ampie per massimizzare l'utilizzo dell'hardware, l'efficienza energetica può richiedere un bilanciamento tra larghezza e profondità per minimizzare il prelievo di potenza, specialmente quando l'hardware non è completamente saturato.