🤖 AI

Geometric Analysis of Token Selection in Multi-Head Attention

Dit artikel introduceert een geometrisch kader voor het analyseren van multi-head attention in grote taalmodellen door precisie, recall en F-score metrieken te definiëren om token-scheidbaarheid te kwantificeren, niet-asymptotische grenzen af te leiden die optimale prestaties in kleine-N-regimes voorspellen, en deze bevindingen empirisch te valideren over meerdere modellen om onderscheidende patronen van hoofdspecialisatie te onthullen en geometrie-bewuste sparsificatie te informeren.

Oorspronkelijke auteurs: Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, digitale bibliotheek voor waar een robotbibliothecaris probeert je vragen te beantwoorden. Om dit te doen, leest de bibliothecaris niet slechts één boek; hij scant miljoenen pagina's tegelijkertijd. Maar alles tegelijkertijd lezen is chaotisch en traag. Daarom gebruikt de bibliothecaris een speciale truc die "aandacht" wordt genoemd. Denk aan aandacht als een spotlight. Wanneer de bibliothecaris naar een specifiek woord in je vraag kijkt, schijnt de spotlight op de belangrijkste woorden uit de geschiedenis van het gesprek om een antwoord te vormen.

In de wereld van kunstmatige intelligentie wordt dit spotlight-systeem "Multi-Head Attention" genoemd. Het is de motor die moderne AI-modellen aandrijft, waardoor ze context en nuance kunnen begrijpen. Echter, voor een lange tijd behandelden wetenschappers deze spotlight als een eenvoudige gemiddelde-machine — zoals een smoothie waarin elk ingrediënt gelijkmatig is gemengd. Maar recente observaties suggereerden dat de spotlight eigenlijk meer een selectief filter is, dat specifieke ingrediënten uitkiest terwijl andere worden genegeerd. De grote vraag die onderzoekers hebben gesteld is: Is de groep woorden die de spotlight uitkiest daadwerkelijk een samenhangend, georganiseerd team, of is het slechts een willekeurige mix van woorden die toevallig in de buurt zijn? Het begrijpen van deze geometrie — de vorm en de ordening van de geselecteerde woorden — zou ons in staat kunnen stellen om AI-modellen kleiner, sneller en efficiënter te maken zonder hun slimheid te verliezen.

In dit artikel besloten de auteurs, Timur Mudarisov en zijn team, te stoppen met het bekijken van de spotlight als een wazige gloed en begonnen ze de individuele lichtstralen te onderzoeken die de spotlight werpt. Ze ontwikkelden een nieuwe manier om te kijken naar hoe AI-modellen kiezen waar ze zich op moeten concentreren, waarbij ze het selectieproces behandelden als een spel van "geometrische sortering". In plaats van te vragen of de geselecteerde woorden taalkundig zinvol zijn, stelden ze een simpelere, meer visuele vraag: Vormen de geselecteerde woorden een nette, compacte groep, of liggen ze verspreid overal?

Om dit te beantwoorden, bedachten ze een set "geometrische linialen" genaamd precisie en recall. Stel je voor dat je een mand met knikkers hebt (de woorden die de AI heeft gekozen) en een mand met steentjes (de woorden die de AI heeft genegeerd). Als de knikkers allemaal in één hoek van de kamer gebundeld zijn en de steentjes ver weg zijn, is dat een perfecte score. Als de knikkers gemengd zijn met de steentjes, is de score laag. De auteurs ontdekten dat wanneer AI-modellen hun topwoorden kiezen, die woorden inderdaad een veel compactere, meer georganiseerde cluster vormen dan wanneer je willekeurig woorden zou hebben gekozen. Het is alsof de AI een geheim instinct heeft om gerelateerde ideeën bij elkaar te groeperen, zelfs als het alleen naar de wiskunde achter de schermen kijkt.

Het verhaal wordt echter een beetje vreemder wanneer ze naar het allereerste woord van elke zin keken. In AI-land staat dit bekend als de "sink token". Het is als een uniek anker in het midden van de kamer dat een enorme hoeveelheid aandacht ontvangt, ook al draagt het geen nuttige informatie over. De auteurs ontdekten dat deze "sink" een geometrische vreemdheid is. Het heeft een afwijkende, kleinere grootte (norm) en wijst in de tegenovergestelde richting van alle andere woorden. Wanneer de AI deze "sink" in zijn topkeuzes opneemt, verstoort dit de nette clustering van de andere woorden. Het is alsof je probeert een groepsfoto te organiseren, maar één persoon staat in een andere dimensie en trekt de rest uit balans. Het papier laat zien dat als je deze "sink" uit de selectie verwijdert, de resterende woorden een veel perfectere, georganiseerdere vorm aannemen.

Op basis van deze geometrische observaties creëerde het team een nieuwe manier om de verschillende "spotlights" (of attention heads) binnen de AI te classificeren. Ze gebruikten geen complexe wiskundige formules of giswerk; ze keken gewoon naar welk woord elke spotlight het liefst vond. Dit leidde tot drie duidelijke persoonlijkheden voor de aandacht-heads van de AI:

Retrievers: Dit zijn de gefocuste detectives. Ze kiezen bijna altijd het huidige woord waarover wordt gesproken als hun belangrijkste bron. Ze zijn zeldzaam en maken slechts 6% tot 17% van het team uit.
Mixers: Dit zijn de sociale vlinders. Ze houden van de "sink" (het eerste woord) en gebruiken het als basis om informatie van andere woorden te mengen. Ze komen veel voor in sommige modellen, zoals Gemma en LLaMA-3.
Resets: Dit zijn de dwalers. Ze hebben geen favoriet woord; ze kiezen van overal. Dit is het meest voorkomende type in modellen zoals Mistral en LLaMA-2.

De auteurs testten dit nieuwe classificatiesysteem door te proberen delen van de AI te "prunen" of te verwijderen om te zien of het nog steeds kon werken. Ze ontdekten dat weten of een head een Retriever, Mixer of Reset is, een nuttige aanwijzing geeft over welke delen van de AI belangrijk zijn. Het is alsof je weet welke spelers op een sportteam de doelpuntenmakers zijn en welke de verdedigers zijn. Ze waren echter voorzichtig om op te merken dat dit geen wondermiddel is. Hoewel het helpt bij matige niveaus van inkrimping, wint het het niet altijd van andere methoden wanneer je de AI tot het absolute minimum terugbrengt. Ook ontdekten ze één specifieke "super-head" in het Gemma-model die zo cruciaal was dat het verwijderen ervan het hele systeem liet breken, wat bewees dat zelfs met deze nette categorieën, sommige individuele onderdelen onvervangbaar zijn.

Uiteindelijk suggereert dit artikel dat de manier waarop AI-modellen informatie selecteren veel gestructureerder en geometrischer is dan we dachten. Het is niet zomaar een willekeurige waas; het is een zorgvuldig georganiseerde dans waarbij sommige woorden leiden, anderen volgen, en één klein "sink"-woord de hele groep in een vreemde richting trekt. Door deze vormen te begrijpen, kunnen we in de toekomst misschien slimmere, lichtere AI-modellen bouwen, hoewel we nog steeds voorzichtig moeten zijn dat we niet de verkeerde stukken wegsnijden.

Technische Samenvatting: Geometrische Analyse van Tokenselectie in Multi-Head Attention

Probleemstelling
Hoewel het aandachtsmecanisme (attention mechanism) de kern vormt van moderne Large Language Models (LLMs), richten bestaande theoretische kaders zich vaak op universele benaderingscapaciteiten of beschouwen ze aandacht als een genormaliseerde kernel-smoother. Deze perspectieven verduidelijken de expressiviteit, maar falen in het beschrijven van de specifieke geometrie van de door aandachtskoppen (attention heads) geselecteerde tokens. Empirische observaties, zoals het "attention sink"-fenomeen waarbij vroege tokens een onevenredig grote massa ontvangen, suggereren dat aandacht betrokken is bij gestructureerde selectie in plaats van diffuse middeling. Echter, er ontbrak een eenvoudig kader om te bepalen of de door aandacht geselecteerde tokens een geometrisch scheidbare klasse vormen in de waarde-toestandruimte (value-state space). Dit artikel adresseert de vraag: vormen de top- $N$ door aandacht geselecteerde bijdragen een coherente, scheidbare verzameling in de waarde-toestandruimte, en hoe beïnvloedt de "attention sink" deze geometrie?

Methodologie
De auteurs stellen een geometrisch kader voor dat een enkele aandachtskop behandelt als een classifier over aandacht-geschaalde waarde-bijdragen ( $y_i = \alpha_i v_i$ ), in plaats van de ruwe aandachtgewichten te analyseren.

Geometrische Metrieken: Voor een vaste query-positie worden de top- $N$ tokens op basis van aandachtsgewicht geselecteerd. De auteurs definiëren de geaggregeerde vector $s_N = \sum_{i \in I_N} \alpha_i v_i$ . Ze introduceren Geometrische Precisie en Geometrische Recall om te meten hoe goed de geselecteerde bijdragevectoren zich scheiden van de niet-geselecteerde vectoren rondom $s_N$ . Deze worden samengevat in een Extreem Geometrische F-score ( $F_N$ ).
Theoretische Grenzen: De auteurs leiden deterministische ondergrenzen af voor precisie en recall op basis van "geselecteerd-niet-geselecteerd inversies" (gevallen waarbij een niet-geselecteerd token dichter bij het aggregaat ligt dan een geselecteerd token). Cruciaal is dat ze een sink-bewust constant-norm regime introduceren. Deze theorie gaat ervan uit dat niet-sink tokens een constante norm en begrensde directionele coherentie delen, terwijl het sink-token (het eerste token) een afwijkende, kleinere norm en een gesigneerde directionele relatie heeft (vaak negatieve alignment) met niet-sink tokens.
Hoofd-Taxonomie: Een parametervrije taxonomie wordt geïntroduceerd op basis van de "source-winner" regel. Voor elke kop wordt de bronpositie geïdentificeerd die de bijdrage ( $\alpha_j \|v_j\|$ $α_{j} ∥ v_{j} ∥$ ) maximaliseert. Koppen worden geclassificeerd als:
- Retriever: De huidige token is de dominante bron.
- Mixer: Het sink-token is de dominante bron.
- Reset: Geen enkele geprivilegieerde bron domineert (de winnende bronnen zijn verspreid).
Empirische Validatie: Het kader wordt geëvalueerd op LLaMA, Gemma en Mistral modellen met behulp van de WikiText-103 en OpenWebText corpora. Experimenten omvatten het vergelijken van top- $N$ selectie met willekeurige subsets, het analyseren van sink-geometrie (normen en cosinus) en het testen van de bruikbaarheid van de taxonomie voor gestructureerde head-sparsificatie.

Belangrijkste Bijdragen

Geometrische Classifier Visie: Het artikel herformuleert top- $N$ aandacht als een geometrisch classificatieprobleem in de waarde-toestandruimte, waarbij precisie, recall en een extreme scheidbaarheidsscore ( $F_N$ ) worden geïntroduceerd.
Sink-Bewuste Grenzen: Het leidt deterministische ondergrenzen af op geometrische scheidbaarheid die expliciet rekening houden met de afwijkende geometrie van het sink-token, wat conservatieve certificaten van scheidbaarheid biedt.
Parametervrije Hoofd-Taxonomie: Het vestigt een taxonomie van Retriever, Mixer en Reset regimes op basis van enkel de bijdrage-maximaliserende bronnen, zonder dat er fitted drempelwaarden of marges nodig zijn.
Empirische Karakterisering: De studie levert empirisch bewijs dat top-aandacht subsets geometrisch beter scheidbaar zijn dan willekeurige subsets en dat het sink-token fungeert als een distinct geometrisch component dat de scheidbaarheid verstoort wanneer het in de top- $N$ selecties wordt opgenomen.

Resultaten

Scheidbaarheid: Over alle modellen (LLaMA, Gemma, Mistral) heen zijn top-aandacht subsets consistent geometrisch beter scheidbaar dan willekeurige subsets van dezelfde grootte, met name voor ijle (sparse) en intermediaire $N$ .
Sink Geometrie: Het sink-token vertoont een duidelijke geometrie: de waarde-norm van het token is 3–10 $\times$ kleiner dan die van niet-sink tokens, en de richting is systematisch negatief uitgelijnd met niet-sink richtingen. Het opnemen van de sink in de top- $N$ selectie vermindert de geometrische scheidbaarheidsscore ( $F_N$ ) aanzienlijk, vaak met een factor twee.
Taxonomie Verdeling: Retriever-koppen zijn consequent een minderheid (5,8–17,2% over de modellen heen). Het dominante regime (Mixer vs. Reset) varieert per architectuur maar blijft stabiel over corpora (OpenWebText vs. WikiText). Mixer-koppen vertonen sterke sink-alignment, terwijl Retriever-koppen uitlijnen met de huidige token.
Sparsificatie Bruikbaarheid: De taxonomie biedt een nuttig grof signaal voor gestructureerde verwijdering van koppen, met name bij matige retentieniveaus. Het presteert echter niet universeel beter dan single-metric baselines (zoals gewichtsmagnitude of entropie) onder agressieve pruning. Een kritieke anomalie werd geïdentificeerd in Gemma-7B (Laag 0, Kop 12), waarbij de verwijdering van een enkele kop een duidelijk faalmechanisme veroorzaakte, wat benadrukt dat gemiddelden op regimeniveau essentiële individuele koppen kunnen maskeren.

Betekenis en Claims
Het artikel beweert een "eenvoudig kader" te bieden dat verder gaat dan het zien van aandacht als louter middeling, en onthult dat er sprake is van gestructureerde selectie en niveau-specifieke specialisatie van koppen. De betekenis ligt in:

Diagnostisch Vermogen: De geometrische metrieken en sink-bewuste grenzen dienen als conservatieve certificaten voor scheidbaarheid, wat valideert dat door aandacht geselecteerde tokens niet alleen semantisch gerangschikt zijn, maar ook geometrisch coherent zijn.
Mechanistisch Inzicht: De taxonomie verfijnt de binaire "actief-dormant" visie op aandachtskoppen naar drie verschillende mechanistische regimes (Retriever, Mixer, Reset), en laat zien dat de balans tussen sink-gemedieerde en diffuse computatie een architecturale eigenschap is en geen universele constante.
Praktische Beperkingen: De auteurs claimen bescheiden dat hoewel de taxonomie een nuttig signaal biedt voor head-sparsificatie, het geen universeel optimale pruning-regel is. Het moet worden gebruikt als een diagnostisch signaal in combinatie met head-level sensitiviteitsanalyse, vooral gezien het bestaan van kritieke, individueel essentiële koppen die door gemiddelden op regimeniveau kunnen worden verborgen.

Meer zoals dit