Technische Samenvatting: Entropy Meets Importance (HIES)

1. Probleemstelling

Transformer-gebaseerde modellen, met name Large Language Models (LLM's), hebben state-of-the-art prestaties bereikt, maar lijden onder aanzienlijke computationele en geheugenkosten tijdens inferentie vanwege hun diepe structuren en talrijke attention-heads. Hoewel gestructureerde pruning-methoden, specifiek Head Pruning, een oplossing bieden door redundante attention-heads te verwijderen, kampen bestaande benaderingen met kritieke beperkingen:

• Afhankelijkheid van Gradiënt-gebaseerde Scores (HIS): Huidige methoden maken voornally gebruik van Head Importance Scores (HIS), die de bijdrage van een head aan de loss-functie kwantificeren via gradiënt-gevoeligheid. Hoewel effectief bij matige sparsity, vertonen HIS-gebaseerde methoden een "sharp-drop" in nauwkeurigheid wanneer de pruning-ratio's agressiever worden.
• Instabiliteit en Gebrek aan Diversiteit: HIS slaagt er niet in om de diversiteit van attention-patronen te vangen. Het behandelt een head met geconcentreerde aandacht (focus op beslissende tokens) en een head met diffuse aandacht op dezelfde manier als hun gradiënt-magnitudes vergelijkbaar zijn. Dit leidt tot het verwijderen van functioneel cruciale heads die het model stabiliseren, wat resulteert in een slechte robuustheid tegen input-perturbaties en distributieverschuivingen.
• Layer-Agnostische Beperkingen: Bestaande criteria passen vaak uniforme pruning-regels toe over alle lagen, waarbij wordt genegeerd dat verschillende lagen verschillende attention-gedragingen vereisen, wat leidt tot ongebalanceerde pruning en prestatiefluctuaties.

2. Methodologie: Head Importance–Entropy Score (HIES)

De auteurs stellen HIES (Head Importance–Entropy Score) voor, een verenigde pruning-criterium dat gradiënt-gebaseerde belangrijkheid integreert met de structurele distributie van attention.

Kerncomponenten

1. Head Importance Score (HIS):

   • Meet de eerstvolgende toename van de loss als een head gemaskeerd wordt.
   • Formule: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$, waarbij $m_h$ de mask-variabele is voor head $h$.
   • Vangt de magnitude van de bijdrage van een head aan de loss, maar negeert de distributiepatronen van de attention.

2. Attention Entropy (AE):

   • Meet de concentratie of dispersie van de attention-gewichten van een head over de input-tokens.
   • Formule: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$.
   • Lage entropie duidt op geconcentreerde aandacht (vaak op beslissende tokens), terwijl hoge entropie duidt op diffuse aandacht. De auteurs hypothetiseren dat heads met lage entropie cruciaal zijn voor stabiliteit en het voorkomen van "entropy collapse".

3. De HIES-metriek:

   • HIES combineert genormaliseerde HIS en AE in één enkele score:
     $$HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$$
   • Normalisatie: Zowel HIS als AE worden min-max genormaliseerd naar $[0, 1]$ om vergelijkbaarheid tussen verschillende schalen te garanderen.
   • Weging: $\alpha$ is een afstembare hyperparameter. De term $(1 - \widehat{AE}_h)$ zorgt ervoor dat heads met lagere entropie (meer geconcentreerd) hogere scores krijgen, waardoor hun behoud wordt geprioriteerd.

Theoretische Rechtvaardiging

Het artikel biedt een risico-decompositie-analyse die aantoont dat:

• HIS de loss-toename-term controleert (het minimaliseren van directe degradatie van de nauwkeurigheid).
• AE de generalisatiekloof begrenst (het minimaliseren van instabiliteit en gevoeligheid voor distributieverschuivingen).
• Orthogonaliteit: De gradiënten van HIS en AE zijn in verwachting orthogonaal, wat betekent dat ze complementaire signalen vangen: de magnitude van de bijdrage versus de dispersie van de attention. Het minimaliseren van de samengestelde risicobovengrens via HIES garandeert theoretisch een betere stabiliteit en het behoud van nauwkeurigheid.

3. Belangrijkste Bijdragen

• Nieuw Pruning-criterium: Introductie van HIES, dat gradiënt-gebaseerde belangrijkheid verenigt met attention-entropie om het "sharp-drop"-fenomeen bij agressieve pruning aan te pakken.
• Focus op Stabiliteit: Frameert attention-entropie expliciet als een proxy voor inferentie-tijd stabiliteit en robuustheid, met het argument dat het behouden van low-entropy heads de structurele diversiteits-collapse voorkomt.
• Theoretisch Kader: Biedt een formele risicobovengrens die head pruning koppelt aan zowel de loss-toename als de generalisatiekloof, wat de orthogonaliteit en complementariteit van HIS en AE rechtvaardigt.
• Layer-Adaptieve Pruning: Demonstreert dat HIES in staat is tot meer gebalanceerde pruning over lagen vergeleken met de bottom-up patronen die vaak bij HIS-only methoden worden gezien.

4. Experimentele Resultaten

De auteurs evalueerden HIES op BERT-base, LLaMA-2-7B, ViT-Large en LLaVA-1.5-7B over diverse NLP-, visie- en multi-modale taken (bijv. GLUE, HellaSwag, ImageNet, VizWiz-VQA).

• Modelkwaliteit:

  • Op BERT-base verbeterde HIES de gemiddelde modelkwaliteit met 8,21% ten opzichte van HIS over verschillende pruning-ratio's.
  • Bij een 50% pruning-ratio behaalde HIES een verbetering in modelkwaliteit van tot wel 15,2% vergeleken met de best presterende baseline.
  • Op LLaMA-2-7B verbeterde HIES de nauwkeurigheid met tot wel +10,54% ten opzichte van HIS.
  • Op ViT-Large, bij 20% sparsity, behaalde HIES een 49,82% hogere nauwkeurigheid dan HIS, waardoor de nauwkeurigheidsinstorting die bij gradiënt-only methoden wordt waargenomen, werd voorkomen.

• Stabiliteit:

  • HIES vertoonde tot wel een 2,04× verbetering in stabiliteit (gemeten ten opzichte van het on-geprunte model) vergeleken met HIS-only methoden.
  • Bij 50% pruning op BERT toonde HIES een 8,65% stabiliteitswinst over HIS.

• Generaliseerbaarheid:

  • De methode presteerde consistent beter dan baselines (Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT) over NLP-, visie- en complexe multi-modale redeneertaken.
  • HIES slaagde erin het "sharp-drop"-regime uit te stellen naar agressievere sparsity-niveaus, waarbij de prestaties werden behouden waar HIS faalde.

5. Betekenis en Claims

Het artikel claimt dat HIES een praktischere en robuustere oplossing biedt voor het inzetten van Transformer-modellen in omgevingen met beperkte middelen. Door zowel de nauwkeurigheid als de stabiliteit te behouden, zelfs onder agressieve compressie, adresseert HIES de kritieke barrière van onvoorspelbare prestatieschommelingen in real-world implementaties.

De auteurs benadrukken dat hun werk een geprincieerde richting biedt voor stabiele en efficiënte pruning, waarbij zij verder gaan dan eenvoudige gradiënt-gevoeligheid door structurele diversiteit (entropie) als een kerncomponent van modelcompressie te integreren. Zij stellen dat deze benadering breed toepasbaar is op verschillende architecturen (BERT, LLaMA, ViT, LLaVA) en modaliteiten, en een betrouwbaar pad biedt voor het inzetten van efficiënte LLM's zonder verlies van robuustheid.