Sintesi Tecnica: Oltre la Compressione Unidimensionale

Problematica

I Large Language Models (LLM) affrontano sfide significative di deployment a causa degli elevati costi di inferenza. Sebbene siano state sviluppate tecniche di compressione dei modelli come il pruning statico dei parametri e la computazione dinamica a livello di token per ridurre i requisiti di memoria e calcolo, esse condividono un limite comune: l'esistenza di un confine di sparsità essenziale. Oltre una soglia critica di sparsità, un ulteriore pruning aggressivo innesca un rapido degrado delle prestazioni.

La ricerca attuale studia tipicamente questi meccanismi di compressione in isolamento. Il pruning statico dei parametri rimuove la ridondanza strutturale prima dell'inferenza, mentre lo skipping dei token dinamico adatta la computazione per ogni input durante l'inferenza. La domanda centrale che questo lavoro affronta è se la combinazione di questi due distinti meccanismi possa ritardare l'insorgenza del degrado delle prestazioni distribuendo il carico della compressione su più dimensioni, piuttosto che esaurire la ridondanza di una singola dimensione.

Metodologia

Gli autori propongono un framework di sparsità composta minimalista progettato per controllare indipendentemente la sparsità dei parametri e la sparsità della computazione a livello di token. La pipeline consiste in due fasi sequenziali:

1. Compressione dello Spazio dei Parametri Statici:

   • Il framework applica il pruning strutturato al backbone pre-addestrato dell'LLM.
   • Utilizza LoRAP (Low-Rank Approximation Pruning) per i moduli di attenzione e il pruning dei canali per i moduli MLP.
   • Ciò riduce il costo strutturale del modello, convertendo l'operatore a strato completo $F(\cdot)$ in un operatore di backbone sparso $F_p(\cdot)$.

2. Compressione Dinamica della Computazione a Livello di Token:

   • Costruito sul backbone sottoposto a pruning, viene introdotto un meccanismo di routing leggero e adattivo all'inferenza.
   • Seguendo SkipGPT, un router post-addestrato genera indicatori binari per ogni token.
   • I token vengono divisi in un sottoinsieme Attivo (che subisce la computazione forward completa) e un sottoinsieme Inattivo (saltato e passato direttamente allo strato successivo).

Definizione di Sparità Composta:
Gli autori definiscono la sparsità composta globale ($S_{comp}$) basata sulla riduzione della computazione effettiva dell'inferenza:
$$S_{comp} = 1 - (1 - s_p)(1 - s_t)$$
Dove $s_p$ è il rapporto di sparsità dei parametri e $s_t$ è il rapporto di sparsità computazionale dei token. Questa formulazione permette un'allocazione flessibile di un budget totale di sparsità fisso tra le due dimensioni (ad esempio, un'allocazione bilanciata dove $s_p \approx s_t$).

Risultati Chiave

Gli esperimenti sono stati condotti utilizzando Llama3.1-8B su dati di addestramento Redpajama, valutati su benchmark di comprensione del linguaggio (BoolQ, PIQA, HellaSwag, ecc.) e di modellazione del linguaggio (WikiText-2 PPL).

1. Ritardo del Degrado:

   • La sparsità composta supera costantemente la compressione a meccanismo singolo sotto la stessa sparsità totale.
   • Sui compiti di comprensione, la soglia di collasso della "sparsità essenziale" (dove le prestazioni scendono drasticamente) viene ritardata da circa il 20% (meccanismo singolo) al 30% (composizione).
   • Nella modellazione del linguaggio, la sparsità composta mantiene prestazioni significativamente più elevate. Al 30% di sparsità totale, la sparsità composta mantiene circa il 70% delle prestazioni relative, rispetto al ~60% dello skipping dei token e al ~56% del solo pruning dei parametri.

2. Sensibilità al Task:

   • I compiti di modellazione del linguaggio sono più sensibili alla sparsità rispetto ai compiti di comprensione a scelta multipla. I compiti di modellazione mostrano una sparsità essenziale precoce (0–10%) seguita da un degrado approssimativamente lineare, mentre i compiti di comprensione mostrano un "cliff" (precipizio) nelle prestazioni più distinto.

3. Interferenza Cross-Dimensionale:

   • Lo studio rivela che il pruning dei parametri e lo skipping dei token non sono del tutto indipendenti. Un backbone lievemente sottoposto a pruning (ad esempio, 10% di sparsità dei parametri) diventa più sensibile allo skipping dei token.
   • Questa interferenza suggerisce un limite intrinseco e unificato per la sparsità composta; sebbene il degrado sia ritardato, non viene eliminato.

4. Allocazione Ottimale:

   • Sotto un budget totale di sparsità fisso (ad esempio, 50%), un'allocazione quasi bilanciata della sparsità tra parametri e token produce le prestazioni migliori.
   • Le prestazioni seguono una curva convessa: migliorano con una lieve sparsità dei parametri ma degradano drasticamente quando una dimensione viene sovra-compressa.

Contributi Chiave

1. Cambio di Prospettiva: Il lavoro investiga la sparsità essenziale da una prospettiva di compressione composta, sfidando la visione secondo cui i limiti di sparsità siano proprietà di singoli meccanismi.
2. Framework Controllabile: Introduce un framework disaccoppiato utilizzando LoRAP, pruning dei canali e skipping dinamico dei layer per token, consentendo la manipolazione indipendente della sparsità dei parametri e dei token per analizzare i trade-off.
3. Validazione Empirica: Lo studio dimostra che la sparsità composta migliora il trade-off tra compressione e prestazioni e ritarda il degrado delle prestazioni. Tuttavia, identifica anche un limite di sparsità cross-dimensionale più ampio che limita ulteriormente la compressione, supportando il principio di "Due Dimensioni, Un Muro".

Significato e Rivendicazioni

Il paper sostiene che la compressione composta fornisce un modo pratico per migliorare la compressione degli LLM distribuendo la pressione su dimensioni ortogonali (parametri e token). Questo approccio consente ai modelli di raggiungere una maggiore sparsità totale prima di colpire il precipizio delle prestazioni rispetto agli approcci a meccanismo singolo.

Tuttavia, gli autori mantengono una posizione modesta riguardo ai limiti ultimi della compressione. Essi affermano che, sebbene la condivisione del carico della compressione differisca il degrado delle prestazioni, essa non può aggirare il limite intrinseco di sparsità. Un muro di sparsità universale cross-dimensionale rimane il vincolo ultimo. Le scoperte offrono riferimenti principi per la pianificazione del budget cross-dimensionale, suggerendo che l'allocazione bilanciata è la strategia più efficace per massimizzare la capacità del modello sotto rigorosi vincoli di risorse.

Nota: Il codice per questo lavoro è disponibile su https://github.com/EIT-NLP/LLM-Pruning.