🤖 machine learning

Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models

Dit artikel presenteert de eerste mechanistische interpreteerbaarheidsstudie van Multi-head Latent Attention (MLA), die onthult dat de low-rank bottleneck effectief inhoud van positie scheidt door de identiteit van entiteiten te behouden terwijl positionele informatie wordt weggegooid, waardoor de organisatie van transformer-circuits wordt hervormd naar afzonderlijke inductie- en semantische hublagen.

Oorspronkelijke auteurs: Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

Gepubliceerd 2026-07-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een geheime boodschap probeert te versturen door een drukke kamer. In de wereld van kunstmatige intelligentie zijn grote taalmodellen als superintelligente studenten die bijna alles op het internet hebben gelezen. Om je vragen te beantwoorden, moeten ze het gesprek tot nu toe onthouden. Maar het onthouden van elk woord en de exacte plek ervan in de zin kost een enorme hoeveelheid "mentale ruimte", wat hen vertraagt en veel geld kost om te draaien.

Onlangs hebben ingenieurs een slimme truc uitgevonden genaamd Multi-head Latent Attention (MLA). Denk aan een superefficiënte koeriersdienst. In plaats van een volumineuze, zware doos te sturen met elk detail van de boodschap, comprimeert de koerier het "wat" (de eigenlijke woorden en betekenis) tot een kleine, lichtgewicht envelop, terwijl hij het "waar" (de positie van de woorden) via een apart, snel spoor verstuurt. Dit bespaart een enorme hoeveelheid ruimte—tot wel 81% minder geheugen! Maar dit is het mysterie: we wisten dat deze truc werkte, maar we wisten niet hoe de koerier de doos eigenlijk verpakte. Gooide de koerier belangrijke details weg? Haalde de koerier het "wat" en het "waar" door elkaar? Of heeft de koerier echt geleerd om ze perfect gescheiden te houden?

Een team van onderzoekers besloot in deze zwarte doos te gluren. Ze bouwden een kleinere, eenvoudigere versie van dit AI-model om het brein te bestuderen zonder verdwaald te raken in de complexiteit van de gigantische modellen die in de echte wereld worden gebruikt. Ze wilden zien of de "kleine envelop" echt alleen de betekenis van de woorden bevatte, of dat er per ongeluk ook positie-informatie in zat. Ze wilden ook zien hoe deze nieuwe verpakking de manier waarop de interne circuits van de AI werkten, veranderde.

De Grote Scheiding: Betekenis versus Locatie

De onderzoekers ontdekten dat de "kleine envelop" van de AI (die zij de cKV-bottleneck noemen) ongelooflijk goed is in zijn werk. Het fungeert als een strikte bibliothecaris die alleen geeft om wie er in het verhaal zit, niet om waar ze staan.

Toen ze het model testten, ontdekten ze dat de gecomprimeerde informatie 98% van de identiteit van personages en objecten behield. Als het verhaal over een "kat" ging, wist de gecomprimeerde versie dat het een kat was. Echter, wanneer ze de gecomprimeerde versie vroegen om de positie van een woord te raden (zoals "is dit het 5e woord of het 10e?"), zat de versie er bijna even vaak naast als wanneer hij simpelweg willekeurig zou gokken.

Dit bevestigt dat het ontwerp precies werkt zoals de ingenieurs hoopten: het model heeft geleerd om de inhoud (het verhaal) en de positie (de tijdlijn) volledig van elkaar te scheiden. De "waar"-informatie wordt door een ander deel van het systeem afgehandeld, waardoor het "wat"-gedeelte vrij en schoon blijft. Het is alsof de AI besloot om geen kaart meer in zijn zak te dragen omdat hij een GPS om zijn pols heeft; de zak is nu leeg en klaar voor iets anders.

Het "Inductie"-feestje op één verdieping

Een van de meest verrassende ontdekkingen ging over hoe de AI zijn "denkteams" organiseert. In oudere AI-modellen waren speciale teams, inductiekoppen genoemd (die de AI helpen patronen te leren, zoals opmerken dat "na 'De' komt 'kat'"), verspreid over vele verschillende verdiepingen van het gebouw. Ze waren als een groep vrienden die op verschillende niveaus van een winkelcentrum hangen.

Maar in dit nieuwe MLA-model ontdekten de onderzoekers dat alle vijf deze speciale inductieteams op één enkele verdieping hingen: Laag 12. Het is alsof de gedeelde, gecomprimeerde "envelop" al deze vrienden naar dezelfde kamer heeft gedwongen, omdat ze allemaal uit dezelfde bron moeten lezen om hun werk te kunnen doen. De onderzoekers suggereren dat, omdat de informatie zo compact is, het efficiënter is voor deze teams om op één plek samen te werken in plaats van te proberen de coördinatie over het hele gebouw te regelen.

De Drukke Hub en de Lege Kamer

Het team keek ook naar hoeveel ruimte van de "envelop" daadwerkelijk werd gebruikt. De envelop was ontworpen om 128 eenheden informatie te bevatten. Echter, gemiddeld gebruikte het model slechts 46% van die ruimte. Het was alsof je een bus met 128 zitplaatsen kocht, maar er slechts 59 mensen in vulde.

Dit suggereert dat het model "overgeprovisioneerd" is—het heeft meer ruimte dan het nodig heeft. De onderzoekers merkten echter op dat één specifieke verdieping, Laag 15, de uitzondering was. Dit was de "semantische hub", de drukste plek in het gebouw. Deze verdieping gebruikte de meeste ruimte (88 van de 128 eenheden) en was het meest cruciaal voor de voorspellingen van het model. Als je de informatie op deze verdieping zou verstoren, werden de antwoorden van het model veel slechter. Dit suggereert dat, hoewel het hele gebouw extra ruimte heeft, deze ene specifieke verdieping het zware werk doet.

Wat dit betekent (en wat het niet betekent)

De onderzoekers benadrukken voorzichtig dat ze een relatief klein model (114 miljoen parameters) hebben bestudeerd dat getraind is op een specifieke mix van verhalen en code. Ze beweren niet dat dit het definitieve antwoord is voor elke gigantische AI die bestaat. Ze geven toe dat de specifieke laagnummers (zoals Laag 12 of 15) anders kunnen zijn in grotere modellen, en ze hebben nog niet bewezen dat deze bevindingen met een "perfect" experiment zijn onderbouwd.

Echter, hun werk suggereert iets spannends: het MLA-ontwerp drukt data niet alleen samen om ruimte te besparen; het verandert ook de manier waarop de AI denkt. Het dwingt de AI om zijn gedachten anders te organiseren, door de "wie" en de "waar" strikt gescheiden te houden en de teams voor patroonherkenning te clusteren in enkele, efficiënte groepen.

De auteurs stellen voor dat we in de toekomst nog betere modellen kunnen bouwen door de drukke verdiepingen (zoals Laag 15) meer ruimte te geven en de rustige verdiepingen minder ruimte, in plaats van elke verdieping dezelfde grote envelop te geven. Voor nu is deze studie een fascinerende eerste blik in het geheime leven van deze gecomprimeerde AI-hersenen, die ons laten zien dat je soms, om een model slimmer en sneller te maken, het moet leren om de details los te laten die het niet nodig heeft.

Technische Samenvatting: Door de Flessenhals

Probleemstelling

Multi-head Latent Attention (MLA), geïntroduceerd in DeepSeek-V2, is een cruciale architecturale innovatie voor efficiënte large language models (LLMs). Het bereikt een reductie van de KV-cache-geheugengebruik van wel 81% door key-value (KV) paren te comprimeren via een gedeelde low-rank flessenhals ($cKV$) voordat ze worden geprojecteerd naar per-head keys en values. Hoewel dit is toegepast in productiemodellen met honderden miljarden parameters (bijv. DeepSeek-V2, DeepSeek-V3), blijft de interne mechanica van deze flessenhals onverkend. Specifiek is door voorafgaand onderzoek niet vastgesteld:
* Welke linguïstische informatie het model behoudt of wegwerpt binnen de gecomprimeerde $cKV$-representatie.
* Hoe de gedeelde flessenhals de vorming van bekende transformer-circuits beïnvloedt, zoals inductie-heads.
* Welke lagen's flessenhalzen causaal belangrijk zijn voor modelvoorspellingen.
* Of de architecturale scheiding van inhoud (via $cKV$) en positie (via RoPE) actief wordt geëxploiteerd door het geleerde model.

Methodologie

De auteurs voerden een uitgebreide mechanistische interpreteerbaarheidsstudie uit op een 114M-parameter MLA-transformer. Het model werd voorgetraind op een mix van webtekst, code en wiskundige tekst, en vervolgens gefinetuned op de TinyStories dataset. De studie maakte gebruik van vier complementaire experimenten:

SVD-analyse: Decompositie van de compressiematrices ( $W_{DKV}$ en $W_{DQ}$ ) om de effectieve rang (dimensionaliteit) van de informatie die door de flessenhals stroomt, per laag te meten.
Attention Head Taxonomie: Classificatie van alle 192 attention heads (24 lagen $\times$ 8 heads) op basis van functionele metrieken: vorige-token aandacht, inductie-scores, BOS-sink en lokale window-aandacht.
Lineaire Probing: Het trainen van lineaire classifiers op de $cKV$ (128-dim) en de residual stream (512-dim) representaties om de lineaire toegankelijkheid van specifieke linguïstische kenmerken (entiteit-identiteit, woordsoort, token-identiteit, positie en next-token voorspelling) te bepalen.
$cKV$ Disruptie Attributie: Een lichtgewicht variant van activation patching. In plaats van chirurgisch zuivere activaties te herstellen, voegden de auteurs Gaussische ruis toe aan de vroege token-embeddings, maten de resulterende verandering in $cKV$ op elke laag, en herwegten deze verandering op basis van de daling in output-waarschijnlijkheid. Dit diende als een correlationele proxy voor causale belangrijkheid.

Belangrijkste Bijdragen en Resultaten

1. Scheiding van Inhoud en Positie wordt Actief Geëxploiteerd

De studie levert het eerste empirische bewijs dat het architecturale ontwerp van MLA functioneel wordt gerealiseerd door het model.
* Bevindingen: De $cKV$-flessenhals leert een pure inhoudsrepresentatie. Het behoudt entiteit-identiteit met een retentie van 98–100% over alle lagen. Daarentegen verwijdert het positie-informatie, waarbij de probe-nauwkeurigheid voor positie-bins rond het niveau van toeval schommelt (13–22% voor 16 bins).
* Implicatie: Het model codeert positie niet redundant in de flessenhals; het houdt zich strikt aan het ontwerp waarbij inhoud via $cKV$ stroomt en positie via het aparte RoPE-pad ( $k^{rope}_h$ ).

2. Inductie-heads Co-loceren op een Enkele Laag

In tegen tegenstelling tot standaard Multi-Head Attention (MHA), waar inductie-heads doorgaans verspreid zijn over meerdere lagen, vertoont het MLA-model een duidelijke topologische beperking.
* Bevindingen: Alle vijf de gedetecteerde inductie-heads in dit model bevinden zich uitsluitend op Laag 12.
* Hypothese: De gedeelde $cKV$-flessenhals beperkt de circuit-topologie. Omdat het inductie-circuit gecoördineerde Key-Value berekeningen vereist die afgeleid zijn van dezelfde gecomprimeerde representatie, is het efficiënter voor deze heads om op de flessenhals van een enkele laag te opereren in plaats van consistente informatie over verschillende lagen heen te reconstrueren.

3. Identificatie van een "Semantische Hub"

De analyse identificeert een specifieke laag die fungeert als een kritieke verwerkingsnode.
* Bevindingen: Laag 15 komt naar voren als een "semantische hub". Deze vertoont simultaan de hoogste SVD effectieve rang (88/128 dimensies gebruikt) en de hoogste disruptie-attributie score.
* Implicatie: Deze laag vertegenwoordigt het punt waar de flessenhals het meest volledig wordt benut en waar corruptie van de $cKV$ het sterkst geassocieerd is met gedegradeerde voorspellingen, wat wijst op een centrale rol in semantische integratie.

4. Globale Over-provisioning van de Flessenhals

De studie onthult dat de vaste flessenhalscapaciteit niet uniform wordt benut.
* Bevindingen: De 128-dimensionale flessenhals is globaal over-geprovisioneerd. Gemiddeld gebruikt het model slechts 46% van zijn capaciteit (effectieve rang ~59).
* Heterogeniteit: Er is een significante variatie tussen de lagen. Terwijl Laag 15 69% van de capaciteit gebruikt, gebruiken andere lagen (bijv. Laag 7) aanzienlijk minder.
* Voorstel: De auteurs stellen heterogene rang-allocatie voor als een architecturale verbetering, waarbij gesuggereerd wordt dat het toewijzen van grotere flessenhalzen aan kritieke lagen (zoals 13–19) en kleinere aan anderen, de KV-cache-geheugenruimte met nog eens ~30% kan verminderen met minimale impact op de prestaties.

Betekenis en Omvang

Het artikel positioneert deze bevindingen als een initieel datapunt in plaats van een definitieve karakterisering van MLA op schaal. De auteurs benadrukken dat de studie gebaseerd is op een enkel 114M-parameter model getraind op een smal domein (TinyStories) na brede pretraining.

Nieuwigheid: Dit is de eerste mechanistische interpreteerbaarheidsstudie van MLA, die verder gaat dan de engineering-efficiëntie om de interne circuitorganisatie te begrijpen.
Bescheidenheid: De auteurs waarschuwen expliciet tegen het generaliseren van de specifieke laag-indices (bijv. inductie-heads op Laag 12, hub op Laag 15) naar alle MLA-modellen, waarbij zij opmerken dat de circuitorganisatie kan verschuiven met schaal en trainings-seeds.
Beperkingen: De studie erkent verschillende beperkingen, waaronder het ontbreken van een gematchte MHA-baseline die onder identieke omstandigheden is getraind, het gebruik van lineaire probes (die niet-lineaire codering niet kunnen uitsluiten), en het gebruik van disruptie-attributie (correlationeel) in plaats van volledige activation patching (causaal).

Concluderend suggereert het artikel dat MLA niet alleen passief comprimeert, maar ook actief de manier waarop het model inhoud, positie en circuitstructuur organiseert vormgeeft, wat potentieel efficiëntere en semantisch bewustere compressiestrategieën mogelijk maakt.