Sintesi Tecnica: Entropy Meets Importance (HIES)

1. Definizione del Problema

I modelli basati su Transformer, in particolare i Large Language Models (LLM), hanno raggiunto prestazioni allo stato dell'arte ma soffrono di costi computazionali e di memoria significativi durante l'inferenza a causa delle loro strutture profonde e dei numerosi capi di attenzione (attention heads). Sebbene i metodi di pruning strutturato, specificamente il Head Pruning, offrano una soluzione rimuovendo i capi di attenzione ridondanti, gli approcci esistenti affrontano critiche limitazioni:

• Dipendenza da Score Basati sul Gradiente (HIS): I metodi attuali utilizzano prevalentemente gli Head Importance Scores (HIS), che quantificano il contributo di un capo alla funzione di perdita tramite la sensibilità del gradiente. Sebbene efficaci con una sparsità moderata, i metodi basati su HIS mostrano un "calo brusco" (sharp-drop) nell'accuratezza quando i rapporti di pruning diventano aggressivi.
• Instabilità e Mancanza di Diversità: L'HIS non riesce a catturare la diversità dei pattern di attenzione. Tratta un capo con attenzione concentrata (focalizzato su token decisivi) e un capo con attenzione diffusa in modo simile, se i loro gradienti hanno magnitudo comparabili. Ciò porta alla rimozione di capi funzionalmente critici che stabilizzano il modello, risultando in una scarsa robustezza rispetto alle perturbazioni dell'input e ai cambiamenti di distribuzione.
• Limitazioni Layer-Agnostiche: I criteri esistenti spesso applicano regole di pruning uniformi su tutti i layer, ignorando l'evidenza che diversi layer richiedono comportamenti di attenzione distinti, portando a un pruning sbilanciato e a fluttuazioni delle prestazioni.

2. Metodologia: Head Importance–Entropy Score (HIES)

Gli autori propongono HIES (Head Importance–Entropy Score), un criterio di pruning unificato che integra l'importanza basata sul gradiente con la distribuzione strutturale dell'attenzione.

Componenti Core

1. Head Importance Score (HIS):

   • Misura l'aumento della perdita di primo ordine se un capo viene mascherato.
   • Formula: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$, dove $m_h$ è la variabile di maschera per il capo $h$.
   • Cattura la magnitudo del contributo di un capo alla perdita ma ignora i pattern di distribuzione dell'attenzione.

2. Attention Entropy (AE):

   • Misura la concentrazione o la dispersione dei pesi di attenzione di un capo attraverso i token di input.
   • Formula: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$.
   • Una bassa entropia indica un'attenzione concentrata (spesso su token decisivi), mentre un'alta entropia indica un'attenzione diffusa. Gli autori ipotizzano che i capi a bassa entropia siano cruciali per la stabilità e per prevenire il "collasso dell'entropia".

3. La Metrica HIES:

   • HIES combina l'HIS normalizzato e l'AE in un unico score:
     $$HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$$
   • Normalizzazione: Sia l'HIS che l'AE sono normalizzati min-max nell'intervallo $[0, 1]$ per garantire la comparabilità tra diverse scale.
   • Ponderazione: $\alpha$ è un iperparametro regolabile. Il termine $(1 - \widehat{AE}_h)$ assicura che i capi con minore entropia (più concentrati) ricevano punteggi più alti, dando priorità alla loro conservazione.

Giustificazione Teorica

Il paper fornisce un'analisi di decomposizione del rischio mostrando che:

• L'HIS controlla il termine di aumento della perdita (minimizzando la degradazione immediata dell'accuratezza).
• L'AE delimita il gap di generalizzazione (minimizzando l'instabilità e la sensibilità ai cambiamenti di distribuzione).
• Ortogonalità: Si dimostra che i gradienti di HIS e AE sono ortogonali in termini di aspettativa, il che significa che catturano segnali complementari: magnitudo del contributo vs dispersione dell'attenzione. Minimizzare il bound del rischio composito tramite HIES garantisce teoricamente una migliore stabilità e preservazione dell'accuratezza.

3. Contributi Chiave

• Nuovo Criterio di Pruning: Introduzione di HIES, che unifica l'importanza basata sul gradiente con l'entropia dell'attenzione per affrontare il fenomeno del "calo brusco" durante il pruning aggressivo.
• Focus sulla Stabilità: Inquadra esplicitamente l'entropia dell'attenzione come un proxy per la stabilità e la robustezza durante l'inferenza, sostenendo che preservare i capi a bassa entropia prevenga il collasso della diversità strutturale.
• Framework Teorico: Fornisce un bound del rischio formale che collega il pruning dei capi sia all'aumento della perdita che ai gap di generalizzazione, giustificando l'ortogonalità e la complementarità di HIS e AE.
• Pruning Layer-Adattivo: Dimostra che HIES consente un pruning più bilanciato tra i layer rispetto ai pattern bottom-up spesso osservati nei metodi basati solo su HIS.

4. Risultati Sperimentali

Gli autori hanno valutato HIES su BERT-base, LLaMA-2-7B, ViT-Large e LLaVA-1.5-7B attraverso vari compiti di NLP, visione e multi-modali (es. GLUE, HellaSwag, ImageNet, VizWiz-VQA).

• Qualità del Modello:

  • Su BERT-base, HIES ha migliorato la qualità media del modello dell'8,21% rispetto a HIS attraverso i rapporti di pruning.
  • Con un rapporto di pruning del 50%, HIES ha ottenuto un miglioramento della qualità del modello fino al 15,2% rispetto al miglior baseline.
  • Su LLaMA-2-7B, HIES ha migliorato l'accuratezza fino a +10,54% rispetto a HIS.
  • Su ViT-Large, con una sparsità del 20%, HIES ha ottenuto un'accuratezza superiore del 49,82% rispetto a HIS, prevenendo il collasso dell'accuratezza osservato nei metodi basati solo sul gradiente.

• Stabilità:

  • HIES ha dimostrato un miglioramento della stabilità fino a 2,04× (misurato rispetto al modello non prunato) rispetto ai metodi basati solo su HIS.
  • Con un pruning del 50% su BERT, HIES ha mostrato un guadagno di stabilità dell'8,65% rispetto a HIS.

• Generalizzabilità:

  • Il metodo ha superato costantemente i baseline (Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT) in compiti di NLP, visione e ragionamento multi-modale complesso.
  • HIES ha ritardato con successo il regime di "calo brusco" verso livelli di sparsità più aggressivi, mantenendo le prestazioni dove HIS falliva.

5. Significato e Rivendicazioni

Il paper afferma che HIES offre una soluzione più pratica e robusta per il deployment di modelli Transformer in ambienti con risorse limitate. Preservando sia l'accuratezza che la stabilità anche sotto compressione aggressiva, HIES affronta la barriera critica delle fluttuazioni imprevedibili delle prestazioni nelle implementazioni reali.

Gli autori sottolineano che il loro lavoro fornisce una direzione principiata per un pruning stabile ed efficiente, andando oltre la semplice sensibilità del gradiente per incorporare la diversità strutturale (entropia) come componente fondamentale della compressione del modello. Asseriscono che questo approccio è ampiamente applicabile a diverse architetture (BERT, LLaMA, ViT, LLaVA) e modalità, offrendo una via affidabile per il deployment di LLM efficienti senza sacrificare la robustezza.