Pimp My LLM: Leveraging Variability Modeling to Tune Inference Hyperparameters

1. Enunciato del Problema

I Large Language Models (LLM) sono sempre più distribuiti per compiti diversificati, ma la loro fase di inferenza consuma oltre il 90% delle risorse di calcolo totali, sollevando preoccupazioni critiche riguardo all'efficienza energetica e alla sostenibilità. Sebbene i server di inferenza (ad esempio, Hugging Face Transformers, vLLM) offrano una vasta gamma di iperparametri di generazione (ad esempio, temperatura, larghezza del fascio, strategie di caching), la loro ottimizzazione presenta due sfide principali:

1. Esplosione Combinatoria: Lo spazio delle configurazioni è enorme a causa del semplice numero di parametri e delle loro interazioni complesse e non lineari. Una valutazione empirica esaustiva è computazionalmente non fattibile.
2. Mancanza di Analisi Sistematica: La ricerca esistente analizza spesso i parametri in isolamento o si concentra su sottoinsiemi limitati, non riuscendo a catturare le interazioni o i compromessi tra consumo energetico, latenza e accuratezza. La sintonizzazione manuale è soggetta a errori, ridondanza e configurazioni non valide.

Gli autori propongono di trattare l'inferenza LLM come un sistema software altamente configurabile e di applicare tecniche di Modellazione della Variabilità per analizzare, ottimizzare e prevedere sistematicamente il comportamento dell'inferenza.

2. Metodologia

Gli autori propongono un approccio in quattro fasi: Modellazione, Campionamento, Misurazione e Apprendimento.

A. Modellazione della Variabilità (Modellazione delle Caratteristiche)

• Obiettivo: La libreria Hugging Face Transformers.
• Formalismo: Gli autori hanno costruito un Modello di Caratteristiche (Feature Model - FM) che rappresenta lo spazio di configurazione dell'inferenza.
  • Il modello include 96 caratteristiche (67 concrete), che rappresentano flag booleani e valori numerici discretizzati (ad esempio, temperature_0.7, cache_offloaded).
  • Vincoli: Le dipendenze e i vincoli (ad esempio, esclusioni reciproche, requisiti) sono stati estratti dalla documentazione e dal codice sorgente, risultando in circa $9.37 \times 10^{12}$ configurazioni valide.
  • Scopo: Questo formalismo consente un ragionamento automatizzato per filtrare le configurazioni non valide ed enumerare quelle valide.

B. Strategia di Campionamento

Data l'inattuabilità di testare tutte le configurazioni valide, gli autori hanno impiegato tre strategie di campionamento per selezionare un sottoinsieme rappresentativo:

1. YASA: Un algoritmo di campionamento consapevole delle interazioni (2-wise).
2. ICPL: Un altro algoritmo all'avanguardia consapevole delle interazioni (2-wise).
3. Random: Una strategia di campionamento casuale di base.

• Scala: Sono state generate 254 configurazioni totali (77 YASA, 81 ICPL, 96 Random).

C. Misurazione Empirica

Le configurazioni campionate sono state eseguite su 3 LLM (OpenCoder-8B, Qwen2.5-Coder-7B, Qwen2.5-Coder-3B) utilizzando il dataset HumanEval+ (164 problemi di generazione di codice Python).

• Metriche Tracciate:
  • Consumo Energetico: Misurato tramite RAPL (CPU) e nvidia-smi (GPU).
  • Latenza: Tempo dalla sottomissione della richiesta alla risposta.
  • Accuratezza: Misurata utilizzando pass@1 (probabilità che il codice generato superi tutti i test unitari).
• Rigor Sperimentale: Ogni configurazione è stata eseguita 10 volte con ordinamento randomizzato per mitigare i bias hardware. Sono state implementate fasi rigorose di warm-up e calibrazione per garantire la stabilità delle misurazioni.

D. Apprendimento Predittivo

• Algoritmo: Regressione Random Forest (RFR).
• Obiettivo: Addestrare modelli sui dati campionati per prevedere energia, latenza e accuratezza per configurazioni non viste.
• Validazione: Utilizzata la validazione incrociata $k$-fold e una divisione train-test 80/20. Le prestazioni sono state valutate utilizzando $R^2$, Errore Assoluto Medio (MAE) ed Errore Percentuale Assoluto Medio (MAPE).

3. Contributi Chiave

1. Modellazione Basata su Caratteristiche dell'Inferenza LLM: Il primo lavoro a codificare esplicitamente la variabilità delle librerie di inferenza LLM (specificamente Hugging Face Transformers) in un Modello di Caratteristiche formale, consentendo l'esplorazione sistematica dello spazio delle configurazioni.
2. Analisi Sistematica dei Compromessi: Identificazione di configurazioni ottimali che bilanciano energia, latenza e accuratezza, rivelando che energia e latenza sono fortemente correlate, mentre l'accuratezza è guidata da fattori diversi.
3. Metodologia Predittiva: Un framework validato che dimostra come i modelli di machine learning possano prevedere accuratamente le metriche di inferenza per configurazioni non viste basandosi su un piccolo campione rappresentativo dello spazio delle configurazioni.

4. Risultati Chiave

RQ1: Impatto degli Iperparametri

• Energia e Latenza: Fortemente correlate. I driver più significativi di alta energia/latenza sono la memoria cache offloadata (trasferimento di coppie KV tra GPU/CPU) e l'aumento del numero di fasci/gruppi (più passaggi in avanti).
• Accuratezza: Guidata principalmente dalla strategia di decodifica (la ricerca greedy ha prodotto la più alta accuratezza e il più basso consumo energetico), dal controllo della ripetizione (ad esempio, no-repeat-ngram) e dall'ottimizzazione della memoria (impostazioni low-memory).
• Interazioni: L'analisi pairwise ha rivelato che combinazioni specifiche (ad esempio, Greedy + Cache Statica) alterano significativamente le metriche rispetto agli effetti delle singole caratteristiche.

RQ2: Compromessi Pareto-Ottimali

Gli autori hanno identificato tre classi distinte di configurazioni ottimali:

1. Efficiente Energeticamente: Utilizza Qwen-3B/7B con Caching Dinamico, decodifica Greedy, 1 fascio e bassa temperatura. Raggiunge ~0.66–0.75 Pass@1 con ~21–25 kJ.
2. Bilanciata: Utilizza Qwen-7B con Caching Dinamico, Beam Search (2 fasci) e campionamento. Raggiunge ~0.77 Pass@1 con ~38 kJ.
3. Alta Accuratezza: Utilizza Qwen-7B con Beam Search aggressivo (3–4 fasci), vari caching (Dinamico/Statico/Ibrido) e alto top-p. Raggiunge ~0.80 Pass@1 ma richiede ~64 kJ (un aumento del 66% rispetto alla fase bilanciata).

RQ3: Accuratezza della Predizione

• Alta Accuratezza: I modelli addestrati sul dataset combinato (TUTTI i campionatori) hanno ottenuto eccellenti prestazioni predittive:
  • Energia: $R^2 = 0.95$, MAPE = 0.16.
  • Latenza: $R^2 = 0.94$, MAPE = 0.17.
  • Accuratezza: $R^2 = 0.99$, MAE = 0.01.
• Impatto del Campionamento: La combinazione di strategie di campionamento diverse (YASA + ICPL + Random) ha prodotto modelli migliori rispetto all'uso di una singola strategia. Notabilmente, anche il semplice campionamento Random ha fornito dati di addestramento sorprendentemente efficaci ($R^2 \approx 0.91$).

5. Significato e Implicazioni

• Colmare le Comunità: Il paper collega con successo l'Ingegneria del Software (Modellazione della Variabilità) e il Machine Learning, applicando tecniche SE consolidate per risolvere problemi di configurazione ML.
• Sostenibilità: Fornisce un percorso per ridurre l'impronta di carbonia dell'inferenza LLM consentendo una configurazione automatizzata e basata sui dati invece che per tentativi ed errori.
• Potenziale di Automazione: L'approccio getta le basi per assistenti di configurazione che possono raccomandare impostazioni di inferenza ottimali in base ai vincoli dell'utente (ad esempio, "minimizzare l'energia mantenendo un'accuratezza >0.75").
• Scalabilità: Dimostra che i test esaustivi non sono necessari; un piccolo sottoinsieme ben campionato dello spazio delle configurazioni è sufficiente per costruire modelli predittivi accurati per l'intero spazio.

6. Limitazioni

• Ambito del Dataset: Valutato solo sulla generazione di codice Python (HumanEval+); i risultati potrebbero variare per altri compiti (ad esempio, riassunto).
• Specificità del Server: Focalizzato su Hugging Face Transformers; altri server di inferenza (vLLM, TGI) hanno set di parametri diversi.
• Dimensione del Modello: Limitato a modelli sotto gli 8B di parametri; modelli più grandi potrebbero esibire comportamenti di scalabilità diversi.
• Discretizzazione: I parametri continui sono stati discretizzati, potenzialmente mancando valori ottimali a grana fine.

Conclusione

"Pimp My LLM" dimostra che la modellazione della variabilità è uno strumento potente per gestire la complessità dell'inferenza LLM. Trattando gli iperparametri come un sistema configurabile, gli autori abilitano l'analisi sistematica dei compromessi e la previsione accurata delle metriche di prestazione, offrendo un percorso scalabile verso una distribuzione LLM più sostenibile ed efficiente.