💻 computer science

Multi-Head Attention Residuals

Dit artikel introduceert Multi-Head Attention Residuals (MHAR), een parameterloze architecturale modificatie die verschillende feature-subruimtes in staat stelt om via meerdere routing-heads onafhankelijk aandacht te besteden aan de dieptegeschiedenis, waardoor subspace-discrepantie wordt opgelost en de validatieverlies en prestaties bij downstream-taken over diverse model-schalen aanzienlijk worden verbeterd vergeleken met standaard Transformers.

Oorspronkelijke auteurs: Cheng Luo, Zefan Cai, Junjie Hu

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cheng Luo, Zefan Cai, Junjie Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, meerverdiepingsbibliotheek bouwt waarbij elke nieuwe verdieping een nieuwe kamer van kennis toevoegt. In de wereld van Kunstmatige Intelligentie worden deze "bibliotheken" Transformers genoemd, en zij zijn de hersenen achter veel van de slimme tools die we vandaag de dag gebruiken. Om een verhaal of een wiskundig probleem te begrijpen, moet de bibliotheek zich kunnen herinneren wat er op de eerste verdieping gebeurde terwijl hij op de tiende verdieping aan het werk is. Traditioneel hebben deze bibliotheken een enkele, smalle gang die elke verdieping met elkaar verbindt. Wanneer een kamer op de tiende verdieping terug wil kijken, kan deze alleen kijken naar de kamer direct eronder. Het moet erop vertrouwen dat de kamer eronder alles van de eerste verdieping tot dat moment perfect heeft samengevat. Het is alsof je probev een hele film te onthouden door alleen de persoon die recht voor je zit te vragen wat er is gebeurd; als diegene een detail heeft gemist, mis jij het ook.

Om dit op te lossen, hebben onderzoekers onlangs een nieuw idee geprobeerd genaamd "Attention Residuals". In plaats van alleen naar de kamer eronder te kijken, kreeg de bibliotheek elke kamer een magische telescoop waarmee ze naar elke eerdere verdieping konden kijken. Er zat echter een addertje onder het gras: de telescoop had slechts één lens. Elk detail in de kamer — elke kleur, elk geluid, elk getal — moest door diezelfde enkele lens kijken om te beslissen op welke verdieping de focus moest liggen. Het was alsof je een groep vrienden met totaal verschillende smaken (de een houdt van actiefilms, een ander van documentaires, een derde van tekenfilms) dwong om allemaal op precies hetzelfde kanaal te stemmen om samen te kijken. Ze moesten een compromis sluiten, en dat compromis betekende vaak dat niemand kon zien wat ze echt nodig hadden.

Dit artikel introduceert een slimme upgrade genaamd Multi-Head Attention Residuals (MHAR). De onderzoekers realiseerden zich dat, net zoals een bioscoop meerdere schermen heeft om tegelijkertijd verschillende genres te tonen, de telescoop van de bibliotheek over meerdere lenzen zou moeten beschikken. Ze splitsen die enkele, gedeelde lens in verschillende kleinere, onafhankelijke lenzen. Nu kan het "actiefilm"-gedeelte van de kamer naar de actievolle verdiepingen kijken, terwijl het "documentaire"-gedeelte naar de geschiedenisverdiepingen kijkt, zonder ruzie te maken of compromissen te sluiten.

Het team testte dit idee door bibliotheken van verschillende groottes te bouwen, van kleine modellen van 100 miljoen parameters tot een enorme van 1 miljard parameters. Ze ontdekten dat voor de kleine bibliotheken het oude systeem met één lens prima werkte. Maar naarmate de bibliotheken groter en complexer werden, werd de enkele lens een flessenhals, waardoor de AI zelfs slechter werd dan het standaard gangenstelsel. Het nieuwe systeem met meerdere lenzen werd echter steeds beter naarmate de bibliotheken groeiden. Op de grootste schaal verminderde de nieuwe methode de verwarring van de AI (gemeten als validatieverlies) met ongeveer 0,063 vergeleken met het standaardmodel, terwijl de oude methode met één lens de situatie juist verslechterde met 0,140.

De onderzoekers lieten ook zien dat deze upgrade niet vereiste dat er een grotere telescoop werd gebouwd of dat er meer gewicht aan de bibliotheek werd toegevoegd; het was gewoon een slimmere manier om het bestaande glas te rangschikken. Ze bouwden zelfs speciale, supersnelle tools om ervoor te zorgen dat de bibliotheek niet vertraagde door het extra kijkwerk, waardoor de snelheid bijna net zo snel bleef als het originele ontwerp. Ten slotte bewezen ze dat deze truc werkt, zelfs op een gigantische, reeds gebouwde bibliotheek van 8 miljard parameters, wat hun vermogen om wiskundige problemen op te lossen en lastige wetenschappelijke vragen te beantwoorden een boost geeft zonder dat ze vanaf nul opnieuw gebouwd hoeft te worden. De kernontdekking is dat naarmate AI-modellen breder en complexer worden, ze stoppen met het eens te zijn over wat ze moeten onthouden, en het geven van meerdere, onafhankelijke manieren om terug te kijken is de sleutel tot het ontsluiten van hun volledige potentieel.

Technische Samenvatting: Multi-Head Attention Residuals (MHAR)

1. Probleemstelling

Standaard Transformers verspreiden informatie over de diepte via een enkele additieve residu-stroom, waarbij elke sublaag alleen de onmiddellijk voorafgaande staat leest ( $h_\ell = h_{\ell-1} + f_\ell(h_{\ell-1})$ ). Hoewel nuttige kenmerken berekend in eerdere lagen in de lopende som blijven, zijn ze individueel niet meer adresseerbaar.

Attention Residuals (Kimi, 2025) versoepelen dit door alle voorgaande sublaag-outputs als een geheugen te behandelen, waardoor elke sublaag een geleerd, via softmax gewogen combinatie van de volledige dieptegeschiedenis kan ophalen. Dit mechanisme lijdt echter aan een structurele bottleneck: het gebruikt een enkele gedeelde routing-query ( $q \in \mathbb{R}^d$ ) om de dieptegeschiedenis te scoren. Gevolgelijk worden alle $d$ kenmerkcoördinaten gedwongen om uit dezelfde lagen te lezen in dezelfde proporties via een enkele distributie $\alpha$ .

Het artikel stelt dat dit een "gedwongen compromis" creëert. Naarmate de modelbreedte toeneemt, ontwikkelen verschillende kenmerk-subruimtes waarschijnlijk uiteenlopende voorkeuren voor welke historische lagen het meest relevant zijn. Een enkele query kan niet tegelijkertijd aan deze verschillende voorkeuren voldoen, waardoor onderscheidende dieptevoorkeuren worden samengeperst tot een enkele leesactie. De kosten van dit compromis groeien met de modelbreedte, wat single-query routing potentieel schadelijk maakt bij grote schaal.

2. Methodologie: Multi-Head Attention Residuals (MHAR)

De auteurs stellen Multi-Head Attention Residuals (MHAR) voor, een strikte generalisatie van attention residuals die het gedwongen compromis elimineert zonder extra parameters of significante rekenkracht toe te voegen.

Kernmechanisme

In plaats van een enkele query $q$ , hervormt MHAR de routing-query naar $H$ per-subruimte koppen (heads), elk met een eigen onafhankelijke softmax over de dieptegeschiedenis.

Hervorming (Reshaping): De enkele query-vector $q \in \mathbb{R}^d$ wordt hervormd tot een tensor met de vorm $(H, d/H)$ .
Onafhankelijke Routing: Voor elke kop $h$ berekent het model een distincte dieptedistributie $\alpha^{(h)}$ op basis van de slice van de bronvector die bij die kop hoort.
Blokdiagonaal Lezen: De opgehaalde mix is blokdiagonaal; elke subruimte leest de dieptegeschiedenis onafhankelijk.
Herstel: Het instellen van $H=1$ herstelt exact de oorspronkelijke single-head attention residuals.

Implementatiedetails

Parameter-efficiëntie: De transformatie is een reshape, wat nul parameters toevoegt ten opzichte van de single-head baseline.
Reken-efficiëntie: De overhead is verwaarloosbaar en bestaat enkel uit $H$ kleine softmax-operaties over de diepte-as (lengte $\le 2L+1$ ) in plaats van één grote.
Systeemoptimalisatie: In het besef dat diepte-routing geheugenbeperkt is (vereist $O(L^2 B T d)$ verkeer), bieden de auteurs gefuseerde Triton-kernels. Deze kernels voeren online softmax uit met gefuseerde RMSNorm, waardoor de tussenliggende materialisatie van keys en gestapelde bronnen wordt geëlimineerd. Dit vermindert de routingtijd met $2\times$ vergeleken met torch.compile en $6,4\times$ vergeleken met eager referentie-implementaties, waardoor de trainingsdoorvoer wordt verhoogd naar $0,55\text{--}0,88\times$ van de baseline.

Hyperparameter Instelling

Het aantal routing-koppen $H$ wordt gelijkgesteld aan het aantal KV-koppen in het model. De auteurs vinden dit een bijna-optimaal, hyperparameter-vrij default dat de granulariteit van de routing afstemt op de granulariteit van de consumptie van het model.

3. Belangrijkste Bijdragen

MHAR Architectuur: Een parameter-vrije modificatie die de routing-query splitst in onafhankelijke koppen, waardoor het gedwongen compromis van single-query diepte-routing wordt opgeheven.
Efficiënte Kernels: Gefuseerde Triton-kernels die diepte-routing praktisch maken op schaal, door de geheugenoverschrijding en latentie aanzienlijk te verminderen.
Identiteitsbehoudende Conversie: Een methode om MHAR op getrainde modellen te implementeren via "delta attention residuals" (het gerouteerde term toe te voegen aan de bestaande stroom in plaats van deze te vervangen), wat mid-training mogelijk maakt zonder loss-pieken.
Mechanistisch Inzicht: Directe probing van getrainde queries bevestigt dat de discrepantie tussen subruimtes toeneemt met de modelbreedte en dat dit de primaire drijfveer is van de degradatie van single-head routing.

4. Experimentele Resultaten

Pretraining (Vanaf nul)

Getraind op FineWeb-Edu over drie schalen (100M, 350M, 1B):

Validatie Loss: MHAR verbetert de validatie loss consistent ten opzichte van standaard Transformers en single-head attention residuals.
- 100M: $-0,049$ nats vs. baseline.
- 350M: $-0,080$ nats vs. baseline.
- 1B: $-0,063$ nats vs. baseline.
Schaalgedrag: Het voordeel van MHAR ten opzichte van single-head routing wordt groter naarmate de schaal toeneemt. Terwijl single-head routing helpt bij 100M ($-0,039$), degradeert het tot schadelijk bij 350M ( $+0,055$ ) en 1B ( $+0,140$ ).
Reken-equivalentie: MHAR bereikt een reken-equivalente winst van $1,3\text{--}1,5\times$ over de baseline.

Mid-Training (8B)

Gebruikmakend van een schedule-matched controle op een 8B model (Marin-8B) geanneald op een capaciteitsgeoriënteerde corpus:

Identiteitsbehoud: De conversie introduceert geen optimalisatie-schok; de loss-curves komen overeen met de baseline voor de eerste 100 stappen.
Downstream Winsten: MHAR levert statistisch significante verbeteringen op redeneertaken:
- GSM8K: $+3,2$ punten (gepaarde McNemar $p=0,004$ ).
- GPQA: $+3,1$ punten (gepaarde McNemar $p=0,038$ ).
- Winsten in MMLU, MATH en code-taken waren niet statistisch significant in deze specifieke setup.

Ablatie Studies

Aantal Koppen (Head Count): Het optimale aantal koppen $H$ volgt het aantal KV-koppen. In ondergetrainde regimes helpen meer koppen altijd; in geconvergeerde regimes is $H=KV$ het "knikpunt" van de curve.
Breedte vs. Diepte: Probing van getrainde queries onthult dat "breedte-discrepantie" (divergerende routing-voorkeuren over subruimtes) monotoon groeit met de modelbreedte, wat de hypothese van het gedwongen compromis valideert.
Head Alignment: Het afstemmen van routing-koppen op aandacht-KV-groepen levert geen meetbaar voordeel op boven willekeurige subruimte-routing, wat suggereert dat het voordeel voortkomt uit de multipliciteit van koppen in plaats van hun specifieke afstemming op aandacht-structuren.

5. Betekenis en Claims

Het artikel claimt dat Multi-Head Attention Residuals een fundamentele architecturale beperking oplossen in de manier waarop Transformers toegang hebben tot de dieptegeschiedenis. Door verschillende kenmerk-subruimtes onafhankelijk naar verschillende lagen te laten attenderen, schaalt MHAR effectief waar single-query routing faalt.

De auteurs benadrukken dat:

De verbetering niet te danken is aan extra parameters of rekenkracht, maar aan het verwijderen van een structurele bottleneck.
De methode praktisch is op schaal dankzij gefuseerde kernels die de geheugenbeperkte aard van diepte-routing verzachten.
De aanpak veelzijdig is, werkend vanaf de start en via identiteitsbehoudende mid-training.
De noodzaak van multi-head routing een direct gevolg is van de modelbreedte; naarmate modellen groeien, wordt het "gedwongen compromis" van een enkele query een last, waardoor MHAR een cruciaal onderdeel wordt voor schaalbare diepte-bewuste architecturen.