Identifying and Evaluating Inactive Heads in Pretrained LLMs

Dit onderzoek identificeert en evalueert inactieve attention-heads in vooraf getrainde grote taalmodellen door middel van diverse scoresystemen en modelinterventies, waarbij wordt vastgesteld dat gemiddeld meer dan 12% van deze heads kan worden verwijderd zonder noemenswaardig verlies van prestaties, en dat methoden die uitsluitend op attentieweights vertrouwen het aantal inactieve heads onderschatten.

De kern

Titel: Het "Slapende Helden"-probleem in slimme computers

Stel je voor dat een grote taalmodel (zoals een slimme chatbot) niet één brein is, maar een gigantisch team van 1000 kleine specialisten die allemaal tegelijk werken. Deze specialisten noemen we "attention heads" (aandachtshoofden). Hun job is om te kijken naar de woorden in een zin en te beslissen: "Welk woord is nu belangrijk?"

In dit nieuwe onderzoek ontdekten de auteurs een verrassend geheim: een groot deel van dit team slaapt eigenlijk de hele dag. Ze zitten in de kamer, kijken mee, maar doen eigenlijk niets. Ze zijn "inactief".

Hier is hoe het onderzoek werkt, vertaald in een simpel verhaal:

1. Het oude idee: "Kijk naar wie er naar de eerste persoon kijkt"

Vroeger dachten onderzoekers dat ze de slapende specialisten konden vinden door te kijken naar wie er naar het eerste woord in de zin kijkt.

• De analogie: Stel je voor dat je een vergadering hebt. Als een specialist alleen maar naar de voorzitter (het eerste woord) staart en die voorzitter zegt niets belangrijks, dan is die specialist waarschijnlijk lui.
• Het probleem: De auteurs ontdekten dat dit een valstrik is. Soms kijken specialisten naar de voorzitter, maar doen ze nog steeds nuttig werk. En soms kijken ze naar niemand en doen ze ook niets, maar dat zag je niet met de oude methode. Het was alsof je alleen de mensen telde die naar de klok kijken, en vergeten was dat er ook mensen zijn die gewoon in de leegte staren.

2. De nieuwe methode: "Kijk naar wat ze eigenlijk doen"

De auteurs bedachten een betere manier om te zien wie er echt niets doet. Ze keken niet naar naar wie ze kijken, maar naar wat ze produceren.

• De analogie: In plaats van te kijken naar wie er naar de voorzitter kijkt, kijken we naar het werkstuk dat elke specialist aflevert. Als een specialist een werkstuk maakt dat zo klein is dat het bijna niet bestaat (bijna nul), dan is die specialist inactief. Het maakt niet uit of hij naar de voorzitter, de achterwand of de deur kijkt; als zijn bijdrage aan het eindresultaat verwaarloosbaar klein is, kan hij weg.

Ze testten 12 verschillende manieren om dit te meten, maar de beste methode was simpelweg: "Hoe groot is het eindproduct van deze specialist?"

3. Het experiment: "De ontslagronde"

Om te bewijzen dat deze specialisten echt niet nodig waren, deden ze een experiment:

• Ze namen een slimme computer en zetten de output van deze "slapende" specialisten op nul. Alsof ze die mensen uit de vergadering haalden of hun pen uit hun hand namen.
• Het resultaat: Het team bleef bijna even goed presteren! Zelfs als ze meer dan 12% van de specialisten uitschakelden, bleef de computer net zo slim als voorheen.
• De les: We hebben al die extra mensen niet nodig. Ze kosten alleen maar energie en tijd.

4. Waarom is dit belangrijk?

• Efficiëntie: Als we weten wie er slaapt, kunnen we die delen van de computer uitschakelen. Dat betekent dat de computer sneller werkt en minder stroom verbruikt.
• Geen "one size fits all": Ze ontdekten ook dat elke familie van computers (Llama, Qwen, OLMo) een beetje anders werkt. Wat voor de ene computer een slapende specialist is, werkt voor de ander misschien wel. Maar de methode van "kijk naar het eindproduct" werkt overal het beste.
• Training: Ze ontdekten ook dat als je een computer "bijleert" (finetuning), de slaapgedrag van de specialisten nauwelijks verandert. Ze blijven gewoon slapen, ongeacht wat je hen leert.

Samenvatting in één zin

Dit onderzoek laat zien dat grote AI-modellen veel "dode gewicht" hebben; door simpelweg te kijken naar wat de onderdelen daadwerkelijk produceren in plaats van waar ze naar kijken, kunnen we een groot deel van de computer uitschakelen zonder dat de slimme antwoorden minder goed worden. Het is alsof je een orkest ontdekt dat halfvol zit met muzikanten die alleen maar meeblazen, en je merkt dat het orkest net zo mooi klinkt als je die stilhoudt.

Technische samenvatting

Probleemstelling

Aandacht (attention) is de fundamentele bouwsteen van Large Language Models (LLMs) en Transformer-architecturen. Hoewel verschillende attention heads bedoeld zijn om verschillende aspecten van de input te focussen, suggereren eerdere studies dat veel heads "dormant" (inactief) kunnen zijn. Een bekend fenomeen is de "attention sink", waarbij het eerste token van een sequentie disproportioneel veel aandacht ontvangt, ondanks vaak beperkte semantische relevantie.

De kernvraag van dit paper is: Hoe prevalent zijn inactieve attention heads in voorgeönde LLMs?
Eerdere werken (zoals Guo et al., 2024a; Gu et al., 2025) definieerden inactiviteit uitsluitend op basis van attentie-weights (bijv. als een head voornamelijk naar het eerste token kijkt). Dit paper stelt echter dat deze definitie onvolledig is. Een head kan inactief zijn door:

1. Lage attentie-weights naar relevante tokens.
2. Waarde-vectoren (value vectors) met een norm die dicht bij nul ligt.
3. Een kleine output-norm, ongeacht de input-attentie.

Het risico van het uitsluitend vertrouwen op attentie-weights is dat men de ware prevalentie van inactieve heads onderschat en mogelijk heads verwijdert die toch een bijdrage leveren, of juist inactieve heads over het hoofd ziet.

Methodologie

1. Evaluatie van 12 Score-functies
De auteurs evalueren 12 verschillende score-functies om inactieve heads te identificeren. Deze functies meten drie componenten van de attention-mechanisme:

• Attentie-weights: Bijv. Avg Weight of First Token (AWFT) en Avg Entropy of Query Distributions.
• Waarde-vectoren (Value Vectors): Bijv. First Token Value Vector Norm en Avg Value Vector Norm.
• Head Outputs: Bijv. Last Token Head Output Norm en Avg Head Output Norm (AHON).

Voor elke score-functie wordt ook een genormaliseerde versie ("Layer Normalized" of LN) geïntroduceerd, waarbij de score van een head wordt vergeleken met de gemiddelde score van alle andere heads in dezelfde laag. Dit is cruciaal omdat absolute waarden sterk variëren tussen lagen en modellen.

2. Model Interventies (Ablation Study)
Het identificeren van heads is niet genoeg; hun inactiviteit moet worden verifieerd. De auteurs voeren model-interventies uit op 14 modellen uit 3 verschillende families (Llama-3, OLMo-2, Qwen2.5).

• Proces: Voor elke forward pass worden de outputs van de geïdentificeerde "inactieve" heads op nul gezet (geablateerd).
• Evaluatie: De prestaties worden gemeten op de MMLU-benchmark (5-shot), een veelzijdige meerkeuzetest.
• Doel: Bepalen welk percentage van de heads kan worden verwijderd zonder dat de nauwkeurigheid van het model met meer dan 1% daalt ten opzichte van het originele model.

3. Analyse van Score-distributies
De auteurs analyseren de verdeling van de scores om inzicht te krijgen in hoe attention-gedrag verandert bij:

• Schaling: Vergelijking van modellen binnen dezelfde familie met verschillende groottes (van 0.5B tot 14B parameters).
• Finetuning: Vergelijking van base-modellen met hun instructie-gefinetuned versies (SFT, DPO, RLHF).

Belangrijkste Bijdragen

1. Uitgebreide Definitie van Inactiviteit: Het paper beweert dat het meten van de gemiddelde output-norm van een head (AHON) de meest robuuste indicator is voor inactiviteit, en dat dit beter werkt dan het meten van alleen attentie-weights.
2. Verificatie door Interventie: Het biedt empirisch bewijs dat meer dan 12% van de attention heads in voorgeönde LLMs gemiddeld inactief is en veilig kan worden verwijderd zonder significante prestatieverlies.
3. Kritiek op Bestaande Methodes: Het toont aan dat methodes gebaseerd op de "attention sink" (AWFT) de prevalentie van inactieve heads sterk onderschatten (gemiddeld minder dan 5% vs. de werkelijke 12%+), en dat ze niet model-agnostisch zijn.
4. Inzicht in Trainingseffecten: Door analyse van score-distributies wordt aangetoond dat finetuning (SFT, DPO) weinig tot geen veranderingen teweegbrengt in het onderliggende attention-gedrag, en dat schaling pas bij zeer grote modellen (boven de 7B/14B) significante veranderingen in attention-gedrag veroorzaakt.

Resultaten

• Beste Score-functie: De Avg Head Output Norm (LN) (gemiddelde output-norm genormaliseerd per laag) presteert consistent het beste. Deze functie rangschikt als nummer 1 voor 8 van de 14 geteste modellen en zit in de top-3 voor 13 van de 14 modellen.
• Prestatieverbetering:
  • Bij gebruik van de beste score-functie (AHON LN) kan gemiddeld 12,18% van de heads worden verwijderd met minder dan 1% verlies in MMLU-nauwkeurigheid.
  • In vergelijking hiermee kan de traditionele Avg Weight of First Token (AWFT) slechts gemiddeld 4,61% van de heads verwijderen met hetzelfde prestatiebehoud.
  • Dit betekent dat AWFT gemiddeld 7% meer inactieve heads mist dan de nieuwe methode.
• Model-Familie Specifiek: Voor de OLMo-2-familie presteert AWFT extreem slecht (soms <1% verwijderbaar), terwijl AHON (LN) tot 20% van de heads kan verwijderen. Dit bevestigt dat AWFT niet model-agnostisch is.
• Stabiliteit: De AHON (LN) score is stabiel over verschillende datasets (MMLU, PIQA, WinoGrande), terwijl AWFT sterk varieert afhankelijk van de dataset en de taak.
• Finetuning en Schaling:
  • Finetuning verandert de verdeling van de scores nauwelijks; de attention-gedragingen blijven grotendeels behouden.
  • Bij schaling (Qwen2.5 familie) zijn modellen tot 7B parameters zeer vergelijkbaar in hun attention-gedrag. Pas bij het 14B-model treden significante verschillen op, wat suggereert dat grotere modellen hun heads op unieke manieren specialiseren.

Betekenis en Toekomstperspectief

Dit paper heeft belangrijke implicaties voor de efficiëntie en het begrip van LLMs:

1. Efficiëntie en Inference: Hoewel het paper zich richt op het begrijpen van inactiviteit, biedt het een basis voor dynamische pruning. Als heads tijdens de inferentie als inactief kunnen worden geïdentificeerd, zou dit kunnen leiden tot snellere inferentie en lagere rekenkosten.
2. KV-Cache Compressie: Het inzicht dat bepaalde heads inactief zijn, kan worden gebruikt om de Key-Value cache te comprimeren door alleen de actieve heads op te slaan.
3. Architectuur-ontwerp: De bevinding dat attention-weights een misleidend signaal kunnen zijn, suggereert dat toekomstige architecturen (zoals MoE voor attention) zich moeten richten op de output-norm in plaats van alleen op de attentie-verdeling.
4. Theoretisch Inzicht: Het paper corrigeert het huidige paradigma dat "attention sinks" synoniem zijn met "dormant heads". Het toont aan dat inactiviteit een complexer fenomeen is dat beter wordt gemeten via de daadwerkelijke bijdrage aan de residual stream (de output).

Samenvattend stelt dit paper dat we moeten stoppen met het kijken naar alleen de "waar" de aandacht naartoe gaat (weights), en moeten beginnen met kijken naar "wat" de aandacht produceert (output norm) om echte inactiviteit in LLMs te begrijpen en te benutten.