💬 NLP

High-Layer Attention Pruning with Rescaling

Dit artikel introduceert High-Layer Attention Pruning with Rescaling (HARP), een nieuwe training-vrije methode die strategisch attention heads uit de hogere lagen van grote taalmodellen verwijdert en adaptieve herschaling toepast om de representatiemagnitude te behouden, waardoor het superieure prestaties bereikt over diverse generatieve en discriminerende taken vergeleken met bestaande gestructureerde pruning-technieken.

Oorspronkelijke auteurs: Songtao Liu, Peng Liu

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Songtao Liu, Peng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent robotbrein hebt, een "Large Language Model" (LLM), dat verhalen kan schrijven, wiskundige problemen kan oplossen en kan chatten als een mens. Deze breinen zijn ongelooflijk krachtig, maar ook enorm groot — alsof je een hele bibliotheek in je rugzak probeert te dragen. Omdat ze zo groot zijn, denken ze traag en nemen ze veel ruimte in beslag, wat het lastig maakt om ze op gewone telefoons of laptops te gebruiken. Om dit op te lossen, gebruiken wetenschappers een techniek genaamd "pruning" (snoeien). Denk bij pruning aan het snoeien van een bonsai-boompje: je knipt zorgvuldig de takken weg die niet veel werk verrichten, zodat de boom gezond blijft maar wel kleiner en sneller wordt.

Normaal gesproken kijken mensen, wanneer ze deze robotbreinen snoeien, naar de "attention heads" (aandachtskoppen) — de kleine onderdelen van het brein die helpen bepalen welke woorden belangrijk zijn voor elkaar. Stel je deze aandachtskoppen voor als een team detectives in een kamer, waarbij elke detective naar een andere aanwijzing kijkt. De oude manier van snoeien was om simpelweg een paar detectives uit elke kamer te kiezen en hen eruit te zetten, in de hoop dat het team nog steeds werkt. Maar dit artikel suggereert dat dat niet de slimste manier is. Het blijkt namelijk dat in de bovenste kamers van het gebouw (de hogere lagen van het model), de detectives vaak herhalen wat degenen onder hen al hebben gezegd. Ze voegen niet veel nieuwe waarde toe. De auteurs van dit artikel, Songtao Liu en Peng Liu van Penn State, wilden onderzoeken of we een beter resultaat konden krijgen door alleen de detectives van de bovenste verdiepingen te snoeien en de hardwerkende detectives op de lagere verdiepingen met rust te laten. Ze bedachten ook een slimme truc om ervoor te zorgen dat het brein niet in de war raakt wanneer we die detectives op de bovenste verdiepingen verwijderen.

Het Grote Idee: Snijden van de Bovenkant, Niet uit het Midden

De onderzoekers stelden een nieuwe methode voor genaamd HARP (High-layer Attention Rescaled Pruning). Hun belangrijkste ontdekking is dat de "hogere lagen" van een Large Language Model eigenlijk minder belangrijk zijn dan de lagere lagen. Om te begrijpen waarom, stel je een estafette voor. De hardlopers aan het begin (de lagere lagen) doen het zware werk; zij bepalen de basisvorm van de woorden en zinnen. Terwijl de wandelstok naar de hogere lagen in de race omhoog beweegt, zijn de hardlopers alleen maar bezig de stok door te geven. Tegen de tijd dat de wandelstok de bovenkant van de baan bereikt, zijn de hardlopers zo goed op elkaar afgestemd dat ze allemaal precies hetzelfde doen. Als je een hardloper van de bovenkant van de baan verwijdert, verandert de race niet echt, omdat ze toch gewoon de persoon onder hen kopieerden.

De auteurs ontdekten dat als je de aandachtskoppen in deze bovenste lagen snoeit (eruit snijdt), het model eigenlijk beter werkt dan wanneer je ze willekeurig overal zou weghalen. Ze testten dit op verschillende beroemde modellen zoals LLaMA3.1-8B, Mistral-7B, Qwen2-7B en Gemma2-9B. In hun experimenten verwijderden ze specifieke aandachtskoppen uit de hoogste 8 lagen van de modellen.

De "Volume-knop" Truc

Er was echter een addertje onder het gras. Wanneer je die aandachtskoppen op de bovenste verdiepingen verwijdert, wordt het signaal dat het brein uitzendt iets zachter of luider dan voorheen. Het is alsoat je een luidspreker uit een stereosysteem verwijdert; de muziek speelt misschien nog wel, maar het volume klopt niet meer en het geluid kan vervormd raken. Om dit op te lossen, introduceerden de auteurs een "rescaling parameter" (herschalingsparameter). Denk hierbij aan een volumeknop of een dimmer. Nadat ze de bovenste lagen hebben weggesneden, draaien ze aan deze knop om de grootte van de signalen aan te passen, zodat de resterende delen van het brein elkaar nog steeds duidelijk kunnen horen. Ze hebben niet zomaar een instelling geraden; ze gebruikten een slimme zoekmethode om het perfecte volumeniveau voor elke laag te vinden, waarbij ze verschillende getallen testten totdat het model het beste klonk.

Wat Ze Hebben Ontdekt

De resultaten waren erg indrukwekkend. Wanneer ze hun HARP-methode testten op 27 verschillende taken — variërend van het beantwoorden van trivia vragen tot het oplossen van complexe wiskundige problemen en het samenvatten van lange documenten — versloof het consequent de andere populaire snoeimethoden.

Generatie-taken: Dit is waar het model nieuwe dingen moet schrijven, zoals het stap voor stap oplossen van een wiskundig probleem. Hier blonk HARP het meest uit. Bijvoorbeeld, op het LLaMA3.1-8B model behaalde HARP een gemiddelde score van 31,10% op generatietaken, terwijl de op één na beste methode slechts 20,58% haalde. Dat is een enorme sprong!
Lange Context: Het papier keek ook naar hoe goed de modellen omgaan met zeer lange verhalen of documenten (tot 65.536 tokens). Omdat het aandachtsmecanisme het deel is dat het traagst wordt bij lange teksten, maakte het snoeien van de bovenste lagen het model aanzienlijk sneller. Ze ontdekten dat voor een sequentie van 65.536 tokens, hun gesnoeide model 16,7% sneller was dan het originele, ongesnoeide model, terwijl de kwaliteit hoog bleef.
Discriminatieve Taken: Dit zijn taken waarbij het model simpelweg het juiste antwoord uit een lijst kiest (zoals een meerkeuzevraag). Hier was de verbetering kleiner maar nog steeds positief. HARP presteerde even goed als of beter dan de andere methoden, wat aantoont dat het snoeien van de bovenste lagen het vermogen van het model om feiten te begrijpen niet heeft beschadigd.

Waarom Dit Belangrijk Is

De auteurs suggereren dat deze methode een game-changer is voor het sneller en goedkoper maken van AI zonder dat het hele model opnieuw getraind hoeft te worden. Door te beseffen dat de bovenste verdiepingen van het AI-gebouw het meest "redundant" zijn (het minst unieke werk verrichten), kunnen ze het overtollige vet wegsnijden zonder de spieren te beschadigen. De "rescaling" truc zorgt ervoor dat het model niet duizelig wordt wanneer je die onderdelen verwijdert.

Kortom, het artikel betoogt dat we de verschillende onderdelen van een AI-brein niet hetzelfde moeten behandelen. Net als bij een wolkenkrabber zijn de bovenste verdiepingen misschien minder cruciaal voor de structuur dan de fundering. Door zorgvuldig de bovenkant te snoeien en het volume aan te passen, kunnen we deze gigantische AI-breinen kleiner, sneller en klaar voor dagelijks gebruik maken. De code voor deze methode is beschikbaar voor iedereen om te proberen, en de auteurs hopen dat het het praktisch maken van long-context AI (zoals het in enkele seconden lezen van hele boeken) veel toegankelijker zal maken voor de echte wereld.

Technische Samenvatting: High-Layer Attention Pruning met Rescaling (HARP)

Probleemstelling

Large Language Models (LLM's) bereiken state-of-the-art prestaties, maar lijden onder hoge inferentielatentie en geheugenkosten, vooral in scenario's met lange contexten. Hoewel gestructureerde pruning een training-vrije oplossing biedt om parameters te verminderen, maken bestaande methoden vaak gebruik van heuristische metrieken die aandachtskoppen (attention heads) willekeurig over alle netwerklagen verwijderen. Deze benaderingen houden geen rekening met de positionele redundantie van aandachtskoppen binnen de architectuur. Specifiek maken huidige methoden geen onderscheid tussen of aandachtskoppen in lagere lagen (die diverse token-representaties verwerken) belangrijker zijn dan die in hogere lagen (waar representaties sterk gealigneerd kunnen zijn). Bov�elijk gezien verandert het verwijderen van aandachtskoppen de magnitude van token-representaties omdat de aggregatiestap (gewogen middeling) wordt overgeslagen, wat de schaal van de output van het model potentieel kan destabiliseren.

Methodologie

De auteurs stellen HARP (High-layer Attention Rescaled Pruning) voor, een training-vrij algoritme voor gestructureerde pruning dat deze problemen aanpakt via twee kernmechanismen:

1. High-Layer Attention Pruning

HARP werkt op basis van het theoretische en empirische uitgangspunt dat aandachtskoppen in de hogere lagen van LLM's minder belangrijk zijn dan die in de lagere lagen.

Theoretische basis: Naarmate tokens door het netwerk propageren, neigen hun verborgen representaties steeds meer op elkaar te lijken (over-smoothing). Wanneer de gemiddelde paarwijze cosinusgelijkenis van token-representaties de 1 nadert, worden de queries en keys bijna parallel. Bijgevolg worden de softmax attention-gewichten uniform, waardoor de aandachtskop degradeert tot een eenvoudige middelingsoperator die niet in staat is om tussen tokens te onderscheiden.
Empirische basis: Metrieken zoals Block Importance (BI) scores geven aan dat parameters in lagere lagen over het algemeen een grotere impact hebben op de modelprestaties dan parameters in hogere lagen.
Implementatie: HARP pruneert selectief de Query ( $Q$ ) en Key ( $K$ ) parameters van de aandachtskoppen in de hoogste lagen van het model. Door $Q$ en $K$ te verwijderen, wordt het self-attention mechanisme voor deze lagen effectief omzeild. De laag past vervolgens alleen de Value ( $V$ ) en Output ( $O$ ) projecties toe, waardoor de computationele complexiteit wordt verminderd van $O(N^2d)$ naar $O(Nd)$ voor de geprunede lagen.

2. Adaptieve Rescaling

Het prunen van de aandacht-aggregatiestap verandert de schaal (magnitude) van de verborgen staat-representaties, aangezien de gewogen middeling-operatie wordt verwijderd.

Probleem: Zonder de aggregatiestap verandert de Frobenius-norm van de verborgen staten, wat potentieel tot prestatievermindering leidt.
Oplossing: HARP introduceert een niet-differentieerbare rescaling-parameter, $\alpha$ , in de residual connection van de geprunede lagen. De output wordt geformuleerd als $H = H + \alpha H W_V W_O$ .
Optimalisatie: Omdat $\alpha$ een niet-differentieerbare hyperparameter is in plaats van een trainbare parameter, gebruiken de auteurs een greedily, top-down zoekstrategie. Startend vanaf de bovenste geprunede laag, zoeken zij naar de optimale $\alpha$ -waarde (uit een discrete verzameling $\{0, 0.1, \dots, 1.0\}$ ) door de Perplexity (PPL) op een held-out corpus te minimaliseren. Dit proces wordt laag-voor-laag naar beneden door het netwerk herhaald.

Belangrijkste Bijdragen

Nieuwe Pruning-strategie: De introductie van HARP, die specifiek zich richt op de aandachtskoppen in de hogere lagen van LLM's, gebaseerd op de observatie dat deze koppen minder informatief zijn vanwege over-smoothing van representaties.
Rescaling Mechanisme: Het voorstel van een adaptieve rescaling-parameter om de magnitude van token-representaties na pruning te kalibreren, wat de schaalverschuiving tegengaat die wordt veroorzaakt door het omzeilen van de aandacht-aggregatiestap.
Uitgebreide Evaluatie: Uitgebreide experimenten over vier diverse LLM-architecturen (LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B) en 27 downstream taken, variërend van generatieve als discriminatieve benchmarks.
Efficiëntiewinst: Demonstratie van significante versnellingen in inferentie, met name in long-context taken, door de kwadratische complexiteit van het aandachtmechanisme in geprunede lagen te verminderen.

Experimentele Resultaten

De auteurs hebben HARP geëvalueerd tegen state-of-the-art baselines inclusief Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP en Wanda.

Generatieve Taken: HARP presteerde consequent beter dan alle baselines. Op LLaMA3.1-8B behaalde HARP een gemiddelde score van 31,10% op generatieve taken (TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH), waarmee het FLAP (15,05%) en Wanda-sp (12,61%) aanzienlijk overtrof. De verbetering was bijzonder merkbaar in taken die lange antwoorden vereisen (bijv. GSM8K), waar foutpropagatie een grote uitdaging vormt voor geprunede modellen.
Discriminatieve Taken: HARP behaalde de hoogste gemiddelde prestaties op LLaMA3.1-8B, Mistral-7B-v0.3 en Qwen2-7B, en presteerde op gelijke voet met de beste baseline op Gemma2-9B.
Long-Context Modellering: Op de LongBench benchmark demonstreerde HARP superieure robuustheid in multi-document QA en samenvattings-taken, waarbij langetermijn-afhankelijkheden beter werden behouden dan andere methoden.
Ablatie-studies:
- Laagselectie: Het prunen van de bovenste 8 lagen (Top-8) leverde aanzienlijk betere resultaten op dan het prunen van de onderste 8 lagen (Bottom-8) of het gebruik van Hessian/Similarity-gebaseerde metrieken voor laagselectie.
- Rescaling: De inclusie van de gezochte $\alpha$ -parameter resulteerde in substantiële prestatiewinsten, met name op generatieve taken, wat de noodzaak van magnitude-kalibratie bevestigt.
Efficiëntie: Voor een sequentie van 65.536 tokens bereikte HARP een versnelling van 16,7% in de inferentietijd met slechts een reductie van 3,3% in parameters, wat de efficiëntie van het targeten van aandachtskoppen in long-context scenario's benadrukt.

Betekenis en Claims

Het artikel claimt dat HARP een praktische, training-vrije methode biedt om LLM's te comprimeren zonder dat architecturale wijzigingen of retraining vanaf nul nodig zijn. Door strategisch de redundantie in hogere lagen aan te pakken en de resulterende schaalverschuivingen te corrigeren, faciliteert HARP de implementatie van LLM's in omgevingen met beperkte middelen en maakt het snellere serving mogelijk voor interactieve applicaties. De auteurs benadrukken dat hun aanpak long-context redeneren toegankelijker maakt voor real-world systemen.

De studie erkent beperkingen en merkt op dat de focus primair ligt op het prunen van aandachtskoppen in hogere lagen, waardoor andere componenten minder onderzocht zijn. Toekomstig werk suggereert om HARP uit te breiden naar grotere en multimodale modellen en het te combineren met quantisatie of KV-cache compressietechnieken.