Technische Samenvatting: Head Pursuit: Probing Attention Specialization in Multimodal Transformers

Probleemstelling

Grootschalige generatieve modellen, zowel unimodale taalmodellen (LLM's) als multimodale visie-taalmodellen (VLM's), hebben opmerkelijke prestaties geleverd over diverse taken heen. Hun interne mechanismen worden echter slechts gedeeltelijk begrepen. Hoewel eerdere interpretatie-instrumenten zoals de Logit Lens semantische informatie in verborgen toestanden (hidden states) hebben onthuld, worden ze vaak heuristisch toegepast op individuele voorbeelden, wat het moeilijk maakt om bevindingen te generaliseren of de belangrijkheid van specifieke componenten (zoals attention heads) bij het vormgeven van de modeloutput te kwantificeren. Er is behoefte aan een principiële methode om te identificeren welke attention heads specialiseren in specifieke semantische of visuele attributen en om te bepalen of het manipuleren van deze heads gerichte controle over modelgedrag mogelijk maakt zonder aanvullende training.

Methodologie

De auteurs stellen een raamwerk voor genaamd Head Pursuit, dat de praktijk van het proberen van intermediaire activaties herinterpreteert door de lens van sparse signaalverwerking. De kernmethodologie omvat de volgende stappen:

1. Sparse Decompositie via SOMP: De auteurs maken gebruik van Simultaneous Orthogonal Matching Pursuit (SOMP), een gulzig algoritme (greedy algorithm) voor het benaderen van hoogdimensionale signalen met sparse lineaire combinaties van basis-elementen.

   • Input: Voor een gegeven attention head $h$ in laag $l$ wordt de activatiematrix $H_{h,l}$ (die $n$ monsters representeert) geanalyseerd.
   • Dictionary: In plaats van een dictionary te leren van activaties, gebruikt de methode de unembedding matrix $D$ van het model als een vaste dictionary. Elke rij van $D$ komt overeen met een token in de vocabulaire, wat een directe link biedt naar menselijk interpreteerbare semantische concepten.
   • Proces: SOMP selecteert iteratief dictionary atoms (tokens) die maximaal correleren met de head-residuals over alle monsters in de dataset. Dit levert een sparse coëfficiëntmatrix $W^*$ op waarvoor geldt: $H \approx W^*D$.
   • Generalisatie: In tegen tegenstelling tot de Logit Lens, die een enkele residual vector projecteert, opereert SOMP op meerdere monsters simultaan en selecteert het meerdere dictionary richtingen, wat zorgt voor een robuuste, dataset-niveau karakterisering van de functionele rol van een head.

2. Head Selectie en Ranking:

   • Om heads te identificeren die relevant zijn voor een specifiek doelconcept (bijv. "kleuren", "toxiciteit", "getallen"), wordt de unembedding dictionary beperkt tot tokens die geassocieerd zijn met dat concept.
   • SOMP wordt toegepast op deze concept-specifieke dictionary.
   • Heads worden gerangschikt op basis van de fractie van de variantie in hun activaties die verklaard wordt door de SOMP-reconstructie. Een hoge verklaring van variantie duidt op sterke specialisatie voor dat concept.

3. Interventie:

   • Zodra de top-$k$ gespecialiseerde heads zijn geïdentificeerd, grijpen de auteurs in door hun bijdrage aan de residual stream te herschalen.
   • Inhibitoire Interventie: Het teken van de head-representaties wordt omgekeerd ($\alpha = -1$) om het doelattribuut te onderdrukken.
   • Versterkende Interventie: De head-representaties worden versterkt ($\alpha > 1$) om de generatie van het doelattribuut te bevorderen.
   • Deze interventie wordt uitgevoerd tijdens de forward pass zonder de modelgewichten bij te werken.

Belangrijkste Bijdragen

1. Theoretische Inkadering: Het artikel kadert Matching Pursuit (MP) en de multi-sample variant SOMP binnen de context van generatieve model-interpretatie, en legt een formeel verband met standaardinstrumenten zoals de Logit Lens, terwijl het dit generaliseert om meerdere monsters en meerdere semantische richtingen gelijktijdig te verwerken.
2. Ontdekking van Specialisatie: De methode onthult consistente patronen van head-specialisatie in zowel unimodale (Mistral-7B) als multimodale (LLaVA-NeXT, Gemma3, Qwen2.5-VL) transformers. Er worden specifieke heads gevonden die betrouwbaar semantisch coherente groepen tokens genereren (bijv. landnamen, maanden, getallen, sentimenten).
3. Controleerbaarheid: De auteurs demonstreren dat het interveniëren op een zeer klein deel van de heads (slechts 1% van het totaal) betrouwbaar de doelconcepten kan onderdrukken of versterken. Dit suggereert dat attention layers een hoogst interpreteerbare en manipuleerbare lineaire structuur bevatten.

Resultaten

De auteurs hebben hun aanpak gevalideerd op verschillende taken:

• Vraagbeantwoording (TriviaQA): Het omkeren van de tekens van slechts 8 gespecialiseerde heads (0,8% van het model) die gewijd zijn aan "landnamen", degradeerde de prestaties op landnaam-gerelateerde vragen aanzienlijk, terwijl de impact op andere vragen minimaal was. Random head-selectie of Logit Lens-gebaseerde selectie vertoonde niet dit gerichte effect.
• Mitigatie van Toxiciteit: Door een beperkte lijst van toxische trefwoorden te gebruiken om heads te selecteren, slaagden de auteurs erin de frequentie van toxische generaties in de RealToxicityPrompts (RTP) en Thoroughly Engineered Toxicity (TET) datasets te verminderen. Het omkeren van 32 gespecialiseerde heads verminderde toxische generaties met ongeveer 30-50% vergeleken met baselines, terwijl random interventies de toxiciteit vaak juist verhoogden.
• Beeldclassificatie (LLaVA): Het omkeren van de top-32 heads geselecteerd via SOMP voor specifieke datasets (bijv. MNIST, SVHN) verstoorde de classificatienauwkeurigheid aanzienlijk. De studie vond dat datasets met gerelateerde semantiek (bijv. taken voor cijferherkenning) overlappende sets van gespecialiseerde heads deelden, wat de functionele overlap tussen domeinen bevestigt.
• Beeldbeschrijving (Flickr30k):
  • Inhibitie: Het omkeren van 16 gespecialiseerde heads voor attributen zoals "kleuren", "sentimenten" of "hoeveelheid" verwijderde deze trefwoorden bijna volledig uit de beschrijvingen, terwijl de CIDEr-scores (kwaliteit van de beschrijving) hoog bleven.
  • Versterking: Het versterken van deze heads ($\alpha=5$) verhoogde de aanwezigheid van doelconcepten met meer dan 60%, met slechts marginale degradatie in de kwaliteit van de beschrijving.

Betekenis en Claims

Het artikel claimt dat attention layers in grote generatieve modellen een gestructureerde, concept-gealigneerde lineaire subspace bezitten. Deze bevinding ondersteunt de hypothese dat hoogwaardige concepten worden gerepresenteerd in ongeveer lineaire residual subspaces.

De betekenis van dit werk ligt in het bieden van eenvoudige, zonder training benaderbare tools voor het begrijpen en bewerken van grootschalige modellen. Door te identificeren dat een klein aantal eenheden brede semantische controle kan uitoefenen, bieden de auteurs een principieel alternatief voor heuristische prompt-gebaseerde interventies of fine-tuning. Deze aanpak maakt het volgende mogelijk:

• Interpretatie: Het decomponeren van modelgedrag in een kleine set interpreteerbare elementen.
• Controle: Gerichte onderdrukking of versterking van specifieke attributen (bijv. toxiciteit, specifieke visuele concepten) met minimale impact op algemene modelcapaciteiten.

De auteurs blijven bescheiden over beperkingen en merken op dat de methode uitgaat van lineariteit (wat mogelijk niet alle niet-lineaire structuren vangt), afhankelijk is van de kwaliteit van de semantische dictionary, en eenvoudige globale herschaling gebruikt in plaats van fijnmazige sturing. Ze suggereren dat toekomstig werk zich kan richten op positie-specifieke interventies of het toepassen van deze technieken op beeldgeneratietaken.