Riepilogo Tecnico: RAP (Potatura Adattiva in Esecuzione per l'Inferenza di LLM)

Enunciato del Problema

I Large Language Models (LLM) affrontano barriere significative al deployment a causa dei loro ingenti footprint computazionali e di memoria. Sebbene le tecniche di compressione dei modelli (potatura, quantizzazione, distillazione) offrano soluzioni, i metodi esistenti soffrono di limitazioni critiche:

1. Euristica Statica: La maggior parte delle strategie di potatura attuali si basa su euristiche fisse, eseguite in un'unica passata, che assumono carichi di lavoro statici. Esse falliscono nell'adattarsi alle variazioni di memoria in runtime causate da richieste utente fluttuanti (ad esempio, dimensioni del batch e lunghezze delle sequenze variabili).
2. Trascuratezza della KV Cache: La potatura tradizionale si concentra principalmente sulla riduzione dei pesi statici del modello (parametri). Tuttavia, nell'inferenza autoregressiva, la memoria della cache Key-Value (KV) cresce linearmente con la dimensione del batch e la lunghezza della sequenza, spesso superando di gran lunga la memoria dei parametri statici. I rapporti di potatura fissi non possono accomodare il cambiamento dinamico da colli di bottiglia dominati dai parametri a colli di bottiglia dominati dalla KV cache.
3. Varianza a Livello di Sistema: Gli ambienti reali di edge e cloud sperimentano disponibilità di memoria stocastica a causa di applicazioni in esecuzione concorrente e interferenze, rendendo invalide le ipotesi di budget fissi.

La sfida principale affrontata è come selezionare una politica di potatura LLM ottimale che si adatti dinamicamente a carichi di lavoro eterogenei e variabili nel tempo, soddisfacendo al contempo budget di memoria fluttuanti senza degradare la qualità dell'output.

Metodologia: Il Framework RAP

Gli autori propongono RAP (Potatura Adattiva in Esecuzione), un framework di potatura elastico guidato dall'Apprendimento per Rinforzo (RL) che aggiusta dinamicamente le strategie di compressione in base agli stati del sistema in tempo reale.

1. Importanza Sequenziale Greed (GSI)

Per affrontare le limitazioni della potatura "in un'unica passata" (che ignora le dipendenze inter-layer e porta a un degrado delle prestazioni), RAP impiega l'Importanza Sequenziale Greed (GSI).

• Meccanismo: Invece di valutare tutti i blocchi una sola volta, GSI rimuove iterativamente il blocco la cui esclusione comporta il deterioramento minimo delle prestazioni del modello (misurato dalla perplessità).
• Ricalibrazione: Dopo ogni rimozione, i punteggi di importanza dei blocchi rimanenti vengono rivalutati all'interno della nuova architettura contratta. Questo processo passo-passo controlla l'accumulo di errori e tiene conto della sensibilità dinamica dei livelli man mano che la struttura del modello cambia.

2. Formulazione con Apprendimento per Rinforzo

RAP formula la selezione della politica di potatura come un problema di decisione sequenziale (Processo Decisionale di Markov) in cui un agente RL impara a bilanciare l'efficienza della memoria e la fedeltà del modello.

• Stato ($S_t$): L'agente osserva uno stato composito ad ogni passo di inferenza $t$:
  • Caratteristiche della Richiesta: Dimensione del batch ($R_{bs}$) e lunghezza della sequenza ($R_{sql}$).
  • Configurazione del Modello: Punteggi di importanza di tutti i blocchi Multi-Head Attention (MHA) e Feed-Forward Network (FFN) derivati da GSI.
  • Stato del Sistema: Memoria di sistema attualmente disponibile ($Sys_{avail}$) e sovraccarico di memoria stimato ($Sys_{req}$) per l'azione proposta.
• Azione ($A_t$): L'agente seleziona una politica di potatura decidendo se mantenere o rimuovere specifici blocchi MHA e FFN. Per gestire l'esplosione combinatoria dello spazio delle azioni ($2^{2N}$), la decisione è decomposta in selezioni sequenziali di singoli blocchi.
• Ricompensa ($R_t$): Una funzione di ricompensa unificata bilancia due obiettivi:
  • Perplessità ($R_{ppl}$): Incoraggia la preservazione delle prestazioni di modellazione linguistica.
  • Penalità di Memoria ($R_{mem}$): Penalizza il consumo di memoria di picco durante l'inferenza.
  • La ricompensa è una somma ponderata: $R_t = \sum (At)_i (\alpha R_{ppl, i} - \beta R_{mem, i})$, dove gli iperparametri $\alpha$ e $\beta$ regolano il compromesso tra accuratezza e memoria.

3. Flusso di Esecuzione

1. L'agente RL osserva l'ambiente in tempo reale (lunghezza dell'input, batch, disponibilità di memoria).
2. Seleziona un'azione di potatura (quali blocchi rimuovere) in base allo stato corrente.
3. Il modello base esegue l'inferenza sull'architettura potata.
4. L'agente riceve una ricompensa basata sull'utilizzo della memoria risultante e sulla perplessità, aggiornando la propria politica per ottimizzare le decisioni future.

Contributi Chiave

1. Framework Adattivo in Esecuzione: RAP è il primo framework a considerare congiuntamente i pesi del modello e la memoria della KV cache "al volo", regolando dinamicamente i livelli di sparsità in base al carico di lavoro istantaneo e allo stato del dispositivo.
2. Politica Guidata da RL: Gli autori formulano la potatura come un problema RL, addestrando un agente a imparare una politica ottimale che bilancia il risparmio di memoria con la fedeltà di generazione, superando le baseline euristico-statiche.
3. GSI per la Potatura Strutturale: L'introduzione dell'Importanza Sequenziale Greed affronta il problema delle dipendenze inter-layer nella potatura dei transformer, fornendo un metodo più robusto per determinare l'importanza dei blocchi sotto compressione aggressiva.
4. Validazione Empirica: Esperimenti estensivi dimostrano che RAP supera costantemente le migliori baseline di potatura statiche (ad esempio, LLM-Pruner, SliceGPT, ShortGPT) su modelli diversi (Llama2, Llama3, Qwen) e vincoli di memoria.

Risultati Sperimentali

Gli esperimenti sono stati condotti su Llama2-7B, Llama3-8B, Qwen1.5-7B e Qwen2.5-7B con budget di memoria unificati dell'80% e del 60% (coprendo sia parametri che KV cache).

• Capacità di Generazione: RAP ha mostrato la minima deriva della perplessità. Su Llama2-7B con un budget dell'80%, RAP ha aumentato la perplessità di soli +6.33 (WikiText2) e +21.47 (PTB), superando significativamente il metodo successivo per margini di 22.95 e 146.93, rispettivamente.
• Compiti Downstream: Nel ragionamento sul senso comune zero-shot, RAP ha preservato l'86% dell'accuratezza del modello denso sotto un budget dell'80%, superando le principali baseline del +8.2% (Llama2-7B) e del +11.5% (Llama3-8B).
• Resilienza: Sotto severi vincoli di memoria del 60%, RAP è stato l'unico metodo a mantenere oltre il 60% delle prestazioni del modello denso, mentre altri metodi hanno subito un degrado catastrofico.
• Studi di Ablazione:
  • La rimozione di GSI (utilizzando un punteggio statico in un'unica passata) ha causato un calo del 13.17% nell'accuratezza media sul senso comune.
  • La rimozione dell'agente RL (utilizzando la rimozione casuale di blocchi) ha portato a un massiccio aumento della perplessità (+301.71 su WikiText2) rispetto alla politica appresa, evidenziando la necessità di un processo decisionale adattivo.
• Sovraccarico: Il controller RL aggiunge un sovraccarico in runtime trascurabile (<1% di aumento della latenza) grazie alla sua architettura compatta (18K parametri), mentre il calcolo offline di GSI è un costo una tantum ammortizzato sul deployment.

Significato e Affermazioni

Il documento afferma che RAP colma il divario tra le tecniche di compressione statiche e gli scenari di deployment dinamici del mondo reale. Spostandosi dalle euristiche "taglia unica", RAP abilita:

• Deployment Edge Scalabile: Consente agli LLM di adattarsi su dispositivo sotto vincoli di memoria stretti e fluttuanti, potando pesi sostanziali quando necessario, pur mantenendo la capacità completa quando le risorse lo permettono.
• Efficienza senza Perdita di Qualità: Raggiunge risparmi di memoria superiori e inferenza più rapida con un impatto minimo sulla qualità dell'output, navigando efficacemente i compromessi tra colli di bottiglia pesanti sui parametri e colli di bottiglia pesanti sulla KV cache.
• Generalizzabilità: Il framework si dimostra agnostico rispetto all'architettura, performando bene su diverse famiglie di modelli (Llama, Qwen) e generazioni.

Gli autori posizionano RAP come un meccanismo di compressione flessibile e consapevole del contesto che rende l'inferenza LLM fattibile in ambienti eterogenei dove le strategie fisse falliscono.