Technische Samenvatting: Locality-Aware Redundancy Pruning voor LLM-Depth Compression

1. Probleemstelling

Grote Taalmodellen (LLM's) gebaseerd op Transformer-architecturen lijden onder extreme diepte en overparametrisatie, wat leidt tot aanzienlijke reken- en geheugenkosten tijdens inferentie. Hoewel laag-voor-laag (diepte) pruning een effectieve strategie is om latentie en geheugen te verminderen door volledige Transformer-blokken te verwijderen, vertrouwen bestaande one-shot, training-free methoden op gebrekkige aannames regarding redundantie.

Huidige benaderingen vallen over het algemeen in twee categorieën:

1. Op lokale belangrijkheid gebaseerde methoden: Schatten redundantie in met geïsoleerde laag-scores (bijv. Block Influence).
2. Op opeenvolgende gelijkenis gebaseerde methoden: Veronderstellen dat redundantie geconcentreerd is binnen aangrenzende diepteregions.

Empirische analyse toont echter aan dat deze aannames ontoereikend zijn. Inter-laag redundantie is niet uniform over architecturen; het kan gelokaliseerd zijn (geconcentreerd in specifieke diepteregions) of globaal verdeeld (verspreid over het volledige netwerk). Vaste pruning-priors falen om rekening te houden met deze architectuurge afhankelijke structurele verschillen, wat leidt tot suboptimale prestatiedegradatie.

2. Methodologie: Locality-Aware Redundancy Pruning (LoRP)

De auteurs stellen LoRP voor, een training-free, one-shot diepte-pruning framework dat zich aanpast aan de specifieke representatie-geometrie van elke LLM. De workflow bestaat uit vijf kernfasen:

2.1 Inter-laag Gelijkenismeting

Met behulp van een kleine kalibratie-dataset (128 sequenties uit C4) verzamelt LoRP input verborgen-toestand-activaties voor elke Transformer-blok. Het berekent een paarsgewijze inter-laag verborgen-toestand cosinusgelijkenismatrix ($S$), waarbij elke entry $S_{ij}$ de gemiddelde per-token cosinusgelijkenis vertegenwoordigt tussen de input-representaties van lagen $i$ en $j$.

2.2 Representatie-Locality Score (RLS)

Om de globale structuur van redundantie te kwantificeren, introduceren de auteurs de Representation Locality Score (RLS).

• Eerst wordt het globale diagonaal-vrije gemiddelde van gelijkenis ($\bar{S}_{off}$) berekend over alle lagenparen.
• De RLS wordt gedefinieerd als: $RLS(S) = -\log_2(\bar{S}_{off})$.
• Interpretatie: Een hoge RLS geeft een snelle afname in gelijkenis over de diepte aan, wat impliceert gelokaliseerde redundantie (redundantie is geconcentreerd in specifieke regions). Een lage RLS geeft sterke globale gelijkenis aan, wat impliceert verdeelde redundantie (redundantie is verspreid over het netwerk).

2.3 Laag-Clustering

Op basis van de gelijkenismatrix $S$ en de RLS worden lagen gepartitioneerd in representatieve clusters met behulp van spectrale clustering op een affiniteitsmatrix $A = (S + 1)/2$.

• De granulariteit van clustering wordt geleid door de RLS: een hogere RLS leidt tot grovere clustering (geconcentreerde regions), terwijl een lagere RLS fijnere partitie aanmoedigt om met verdeelde redundantie om te gaan.
• Deze stap groepeert lagen die vergelijkbare residual-stream-representaties verwerken, ongeacht hun fysieke nabijheid.

2.4 Twee-staps Redundantie-bewuste Pruning

LoRP allocateert het pruning-budget ($k$ lagen om te verwijderen) via een twee-staps procedure om dekking en redundantie in evenwicht te brengen:

1. Stap 1: Dekking-bewuste Initialisatie: Om te voorkomen dat pruning instort tot een enkele cluster, selecteert de methode de meest redundante in aanmerking komende laag uit elke cluster om een initiële kandidaat-pool te vormen.
2. Stap 2: Residuale Redundantie-allocation: Het resterende budget wordt iteratief toegewezen. In elke stap identificeert het algoritme de cluster met de hoogste residuale redundantie (gemiddelde paarsgewijze gelijkenis onder resterende in aanmerking komende lagen) en pruneert de meest redundante laag binnen die cluster.

Deze dynamische toewijzing zorgt ervoor dat architecturen met gelokaliseerde redundantie binnen geconcentreerde regions prunen, terwijl die met verdeelde redundantie over meerdere regions prunen.

3. Kernbijdragen

Het artikel maakt de volgende specifieke bijdragen:

• Empirische Observatie: Aangetoond dat representatie-lokalisatie aanzienlijk varieert tussen LLM-families (bijv. Qwen-modellen vertonen verdeelde gelijkenis, terwijl LLaMA/Mistral gelokaliseerde redundantie vertonen).
• Metingvoorstel: Introductie van de Representation Locality Score (RLS), een eenvoudige meting afgeleid van globale inter-laag verborgen-toestand gelijkenis om dit fenomeen te kwantificeren.
• Frameworkontwerp: Voorstellen van LoRP, een training-free, one-shot pruning framework dat lagen clusteren op representatieve gelijkenis en pruning toewijst op basis van de specifieke redundantiestructuur van de architectuur.
• Prestatievalidatie: Aangetoond dat LoRP consistent de perplexiteit en downstream redeneeraccuraatheid verbetert over diverse LLM-families zonder post-pruning recovery of fine-tuning te vereisen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op vijf open-source LLM's (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) met behulp van negen zero-shot redeneer benchmarks en drie perplexiteit datasets (WikiText-2, C4, PTB).

• Perplexiteit (PPL): LoRP behaalde de laagste gemiddelde perplexiteit over de meeste modellen en pruning-budgetten in vergelijking met baselines (ShortGPT, LLM-Streamline, LaCo). De verbetering was bijzonder significant voor Qwen-modellen, waarbij opeenvolgende pruning methoden faalden.
• Downstream Accuratheid: LoRP behield zero-shot redeneerprestaties beter dan bestaande methoden. Bijvoorbeeld, op Qwen3-8B met 7/36 lagen gepruned, behaalde LoRP 56,65% gemiddelde accuraatheid, wat ShortGPT (51,50%) en LaCo (55,82%) overtrof.
• Pruning Patronen: Visualisatie bevestigde dat LoRP zijn pruning-patroon aanpast aan het model: het verwijdert lagen uit geconcentreerde regions voor LLaMA/Mistral (hoge RLS) en spreidt verwijderingen over het netwerk voor Qwen (lage RLS).
• Vergelijking met Iteratieve Methodes: Hoewel iteratieve methoden zoals Shortened LLaMA soms lagere perplexiteit bereikten (door adaptatie aan het kalibratie-doel), behield LoRP superieure downstream generalisatie-accuraatheid, wat suggereert dat het robuuster is buiten de kalibratieset.

5. Betekenis en Claims

Het artikel claimt dat representatie-lokalisatie een kritieke, architectuurge afhankelijke factor is voor effectieve diepte-pruning. De betekenis van dit werk ligt in het verschuiven van het paradigma van vaste, opeenvolgende of geïsoleerde laag-scores naar een globale, geometrie-bewuste aanpak.

• Bescheiden Claims: De auteurs stellen expliciet dat hun bevindingen suggereren dat redundantie een gestructureerde eigenschap is van representatie-geometrie. Ze claimen niet dat LoRP een universele oplossing is voor alle compressietaken, maar eerder een framework dat efficiency verbetert door architecturale verschillen te respecteren.
• Beperkingen: De auteurs erkennen dat hun RLS-geleid clustering-beleid empirisch is afgeleid van de geëvalueerde modellen. Ze merken op dat de huidige methode vertrouwt op een handmatig gespecificeerd aantal clusters ($K$) gebaseerd op RLS-bereiken en nog geen post-pruning recovery of fine-tuning omvat. Toekomstig werk is nodig om generalisatie te valideren over bredere architecturen, schalen en trainingsrecepten, en om volledig automatische strategieën te ontwikkelen voor het selecteren van clustering-parameters.

Kortom, LoRP toont aan dat door het karakteriseren en aanpassen aan de specifieke redundantiestructuur van een LLM, men efficiëntere diepte-compressie kan bereiken zonder modelprestaties te offeren.