🤖 machine learning

A Controlled Study of Attention-Only Transformers

Deze studie toont aan dat feed-forward netwerken niet strikt noodzakelijk zijn voor de prestaties van transformers, aangezien attention-only modellen (SANs) die gelijk zijn qua parameters, rekenkracht en diepte bijna identieke loss bereiken als standaard transformers, waarbij het resterende kleine verschil uitsluitend toe te schrijven is aan verschillen in parametrische recall in plaats van aan architecturale beperkingen.

Oorspronkelijke auteurs: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de ultieme hersenen voor een robot probeert te bouwen. Jarenlang hebben wetenschappers twee soorten "neuronen" op elkaar gestapeld om deze robots slimmer te maken. Het eerste type is als een boodschapper die kijkt naar wat er nú gebeurt en beslist waar de aandacht naar uit moet gaan. Het tweede type is als een notitieblok dat feiten en regels opslaat die in het verleden zijn geleerd. De hersenen van de robot zijn gebouwd met een herhalend patroon: een boodschapper, dan een notitieblok, dan een boodschapper, dan een notitieblok.

In de wereld van kunstmatige intelligentie worden deze "boodschappers" attention mechanisms genoemd, en de "notitieblokken" zijn feed-forward networks (FFNs). Lange tijd namen mensen aan dat het notitieblok essentieel was. Sterker nog, in moderne robothersenen nemen deze notitieblokken ongeveer twee derde van de totale ruimte (parameters) in beslag. De grote vraag was: Is het notitieblok eigenlijk wel nodig? Of kan de boodschapper al het werk doen als we hem maar genoeg ruimte geven? Dit artikel is een gigantisch, gecontroleerd experiment om uit te zoeken of we een superintelligente robot kunnen bouwen met alleen maar boodschappers, zonder enige notitieblokken.

Het Grote Hersenchirurgie-experiment

De onderzoekers van Cactus Compute, Inc. besloten een zeer precieze "hersenchirurgie" uit te voeren op een standaard AI-model. Ze namen een standaardmodel en haalden, laag voor laag, het "notitieblok" (het feed-forward network) er volledig uit, waardoor alleen de "boodschapper" (het attention mechanism) overbleef. Ze noemden dit nieuwe, gestripte model een Simple Attention Network (SAN).

Maar hier is de lastige kant: je kunt niet zomaar een enorm deel van een brein verwijderen en verwachten dat het op dezelfde manier werkt. Als je het notitieblok verwijdert, heb je plotseling veel lege ruimte. Daarom voerden de onderzoekers drie verschillende versies van het experiment uit om te zien wat er echt toe doet:

Dezelfde Diepte: Ze hielden het aantal lagen gelijk maar verwijderden de notitieblokken. (Dit maakte de SAN veel kleiner en zwakker).
Dezelfde Rekencapaciteit: Ze pasten de grootte aan zodat beide modellen exact dezelfde hoeveelheid elektriciteit (FLOPs) gebruikten om na te denken.
Dezelfde Grootte: Ze gebruikten de lege ruimte die overbleef door de notitieblokken te verwijderen om meer lagen boodschappers toe te voegen. Dit is de eerlijkste test: "Als we de boodschapper dezelfde totale hersenkracht geven als het notitieblok, kan hij dan de klus klaren?"

De Schokkende Resultaat: Het Notitieblok is Geen Magie

De resultaten waren verrassend. Wanneer ze de notitieblokken simpelweg verwijderden zonder de boodschappers meer ruimte te geven, werd de robot aanzienlijk dommer. Maar wanneer ze die "verwijderde" hersencapaciteit gebruikten om diepere stapels boodschappers te bouwen, verdween het gat bijna volledig.

In de eerlijkste test (waarbij de totale grootte werd gematcht), waren het standaardmodel met notitieblokken en het nieuwe "alleen boodschappers"-model bijna identiek. Het verschil was een minieme 0,006 nats (een eenheid van meting voor hoe fout een voorspelling is). Om dat in perspectief te plaatsen: dat is een verschil van slechts 0,27% in hun prestaties. Het is zo klein dat als je het experiment met andere willekeurige seeds zou uitvoeren, de resultaten reproduceerbaar zijn tot één deel op tienduizend.

Het artikel concludeert dat voor het type gegevens dat zij gebruikten (een redeneer-zwaar synthetisch corpus), het "notitieblok" geen magische, onvervangbare component is. Het is slechts een manier om informatie op te slaan. Als je de "boodschapper" genoeg diepte geeft, kan hij die informatie zelf opslaan.

Waar het Kleine Gat zich Verbergt

Dus, als ze bijna hetzelfde zijn, waarom is het verschil dan niet exact nul? De onderzoekers groeven diep om erachter te komen. Ze ontdekten dat het probleem niet overal lag; het was heel specifiek.

Het model met alleen boodschappers was iets slechter in het beantwoorden van vragen waarbij de context (het verhaal of de tekst die wordt aangeboden) het model absoluut niets om mee te werken gaf.

De "Context-Gegrondde" Overwinning: Wanneer het antwoord ergens in de verstrekte tekst verborgen zat (zoals een feit vinden in een Wikipedia-artikel), was het model met alleen boodschappers feitelijk beter of gelijkwaardig.
Het Verlies van "Geheugen": Het kleine gat ontstond alleen wanneer het model een feit uit het niets moest ophalen — pure geheugenopname waarbij de tekst geen aanwijzingen bood.

Denk er maar zo over na: de boodschapper is geweldig in zeggen: "Hé, ik zie een aanwijzing in de tekst, laten we daar eens kijken!" Maar het notitieblok was iets beter in zeggen: "Ik herinner me dit feit uit mijn training, ook al is er hier geen aanwijzing." De onderzoekers ontdekten dat het model met alleen boodschappers nog steeds dingen kon onthouden, maar dat het harder moest werken om die feiten in zijn "attention"-lagen op te slaan in plaats van in een toegewezen "notitieblok"-laag. Het is alsof je een dossierkast uit een kantoor verwijdert; de werknemers (de boodschappers) zouden de bestanden dan gewoon in hun zakken beginnen te dragen. Het werkt, maar het is een iets andere manier van organiseren.

Hoe de Hersenen Eigenlijk Werken

Het artikel keek ook onder de motorkap om te zien hoe deze modellen leerden. Ze ontdekten een fascinerend ritme in hoe de hersenen groeien:

De Routing Kristalliseert Vroeg: Het deel van de hersenen dat beslist waar te kijken (de routing), wordt zeer snel vastgesteld, in het eerste kwart van de training, en blijft daarna bevroren.
De Content Groeit Langzaam: Het deel dat daadwerkelijk de informatie opslaat, blijft gedurende het hele trainingsproces groeien en complexer worden.

Toen ze het notitieblok verwijderden, verdween de "opslag"-taak niet; deze verplaatste zich simpelweg. De outputlaag van de boodschapper nam de taak van het opslaan van feiten over. Het is alsof je een dossierkast uit een kantoor verwijdert; de werknemers (de boodschappers) zouden de bestanden dan gewoon in hun zakken beginnen te dragen. Het werkt, maar het is een iets andere manier van organiseren.

Het Geheime Ingrediënt: Normalisatie

Een van de meest praktische bevindingen ging over het voorkomen dat deze diepe "alleen boodschappers"-hersenen uit elkaar zouden vallen. De onderzoekers ontdekten dat een specifieke truc genaamd QK-normalisatie absoluut cruciaal was. Zonder dit zouden de diepe modellen met alleen boodschappers simpelweg crashen en stoppen met leren. Het blijkt dat het niet het "notitieblok" was dat de hersenen stabiel hield, maar deze specifieke normalisatietechniek.

De Kern van het Verhaal

Dit artikel zegt niet dat notitieblokken nutteloos zijn. Het zegt dat voor het specifieke type redeneer-zware data dat zij testten, het "notitieblok" geen fundamentele vereiste is voor intelligentie. Als je een beperkt budget hebt voor de grootte van de hersenen, kun je het notitieblok inruilen voor meer lagen boodschappers en bijna hetzelfde resultaat krijgen.

De enige keer dat het notitieblok echt schittert, is wanneer het model feiten moet oproepen die niets met de huidige tekst te maken hebben. Maar zelfs dan is het verschil minimaal. De belangrijkste les is dat de "boodschapper" ongelooflijk krachtig en flexibel is, in staat om de taak van het "notitieblok" te vervullen als je hem maar genoeg diepte geeft. Het verschil tussen de twee is zo klein dat het bijna verwaarloosbaar is, wat bewijst dat de architectuur van de transformer flexibeler is dan we dachten.

Technische Samenvatting: Een Gecontroleerde Studie naar Attention-Only Transformers

Probleemstelling
Het feed-forward netwerk (FFN) vormt ongeveer twee derde van de niet-embedding parameters van een transformer en wordt breed geïnterpreteerd als het parametrische geheugen van het model (Geva et al. 2021, 2022; Meng et al. 2022; Dai et al. 2022). De noodzaak van het FFN is echter nooit onder gecontroleerde omstandigheden rigoureus getest. Eerdere pogingen om FFN's te verwijderen, ofwel verplaatsten hun capaciteit terug naar de attention via persistente geheugenvectoren (Sukhbaatar et al. 2019), waardoor de vraag naar de noodzaak open bleef, of analyseerden theoretische settings zonder residuele verbindingen die in de praktijk niet worden gebruikt (Dong, Cordonnier, en Loukas 2021). De kern van de experimentele uitdaging is dat het verwijderen van het FFN simultaan drie cruciale variabelen verstoort: het aantal parameters, de rekenkracht per token (FLOPs) en het aantal niet-lineaire compositiestappen (diepte). Een controle op één as is daarom onvoldoende om de werkelijke kosten van het FFN te isoleren.

Methodologie
De auteurs voeren een "noodzakelijkheidstest" uit door Simple Attention Networks (SANs) — transformers waarvan de FFN's zijn verwijderd — te pretrainen tegenover standaard transformers. Om te controleren voor verstorende variabelen, hanteert de studie drie verschillende matchingstrategieën (Tabel 1):

Iso-depth: Het matchen van het aantal lagen (20 lagen). Dit verwijdert 72% van de parameters uit de standaard transformer.
Iso-param: Het matchen van het totale aantal niet-embedding parameters. Het vrijgekomen budget wordt geheralloceerd naar attention-diepte (20 SAN-lagen versus 4 standaard lagen).
Iso-FLOP: Het matchen van de trainingsrekenkracht (GFLOPs per token). Omdat attention een parameter-vrije kwadratische kostenpost met zich meebrengt in sequentielengte, draagt de standaard transformer in dit regime meer parameters met zich mee.

Experimentele Controles en Rechtvaardigheid:

Hyperparameter Rechtvaardigheid: Elke architectuurarm ondergaat zijn eigen learning-rate sweep (0,5× tot 16×) bij een checkpoint van 5B tokens om te waarborgen dat geen enkele arm concurreert op de voorkeurshyperparameters van een andere arm.
Optimizer Controle: Training maakt gebruik van Muon tegenover een AdamW-controle, met een gekalibreerde ruisvloer van 0,0015 nats vastgesteld via optimizer-equivalente controles.
Data Regime: Modellen worden gepretrained op SYNTH, een redeneer-rijke synthetische corpus, tot 105B tokens. Een aparte, vooraf geregistreerde test wordt uitgevoerd op Fineweb-edu (kennis-rijke tekst).
Architectuur: SANs gebruiken pre-norm attention met Grouped Query Attention (GQA), RoPE en specifieke normalisatiestrategieën (ZCN, QK-normalisatie).

Belangrijkste Resultaten
De studie deelt het prestatieverschil tussen SANs en standaard transformers op in een monotone sequentie gebaseerd op de matchingstrategie:

Kosten van Verwijdering (Iso-depth): Het verwijderen van FFN's op matchende diepte resulteert in een aanzienlijk verlies van 0,47 nats in validatieverlies.
Reken-efficiëntie (Iso-FLOP): Bij matchende training FLOPs leidt de standaard transformer nog steeds met 0,26 nats, omdat het attention-only model meer rekenkracht moet besteden aan de parameter-vrije kwadratische term, waardoor er minder parameters overblijven voor capaciteit.
Parameter-efficiëntie (Iso-param): Wanneer het vrijgekomen parameterbudget wordt geheralloceerd naar attention-diepte, krimpt het gat tot een kleine, zeer reproduceerbare +0,0055 tot +0,0054 nats (0,27% van het totale verlies) op schone seed-paren. Dit verschil is stabiel over budgetten van 5B, 30B en 105B tokens en blijft nabij de 0,02 nats over een bereik van 29× in niet-embedding parameters.

Lokalisatie van het Residuele Gat
Het resterende prestatiedeficiet is niet diffuus; het is strikt gelokaliseerd:

Token Regio's: Het tekort concentreert zich volledig op low-context query tokens (waar de context weinig biedt om te routeren). Op redeneersporen en antwoordregio's (inclusclusief memorisatie-oefeningen) presteert de SAN vaak beter dan of gelijk aan het FFN-model. Tegen 105B tokens leidt de SAN op alle antwoordregio's, waarbij het tekort alleen overleeft op de query tokens.
Taaktypen: Op benchmarks die out-of-distribution recall vereisen (bijv. Lambada), wint het FFN-model consistent. Op taken waarbij het antwoord in de context wordt gegeven (bijv. SciQ), wint de SAN, waarbij het verschil groter wordt naarmate de training vordert.
Distributie Afhankelijkheid: Een vooraf geregistreerde test op Fineweb-edu (kennis-rijke tekst) mat een gat van 0,040 nats, wat de voorspelling bevestigt dat het voordeel van het FFN het grootst is op low-context, kennis-rijke tekst. Omgekeerd, op Lambada getraind op Fineweb-edu, keerde de voorkeur om, wat aangeeft dat "opslag versus routering" een eigenschap is van de match tussen taak en distributie, en geen intrinsieke taakeigenschap.

Mechanisme: Gewicht-Spectrum Dynamiek
Het papier identificeert het mechanisme achter deze resultaten via gewichtsspectrumanalyse:

Routing versus Content: Routing-matrices (Query/Key) kristalliseren spectraal (bevriezen) binnen het eerste kwart van de training. Content-matrices accumuleren een stabiele rang gedurende de stabiele trainingsfase.
Relocatie van Opslag: In standaard transformers vindt de content-accumulatie plaats in de FFN down-projectie. In SANs wordt deze accumulatie verplaatst naar de attention output projectie ( $W_o$ ), die de enige 'write path' wordt naar de residuele stroom.
Stabiliteit: De studie identificeert QK-normalisatie als het cruciale onderdeel voor het trainen van diepe (48-laagse) attention-only stacks. Het verwijderen ervan veroorzaakt onmiddellijke divergentie. Scalaire residuele gates werden gevonden als prestatie-neutraal maar nuttig voor diagnostiek.

Betekenis en Claims
Het artikel claimt de eerste gecontroleerde noodzakelijkheidstest van de transformer FFN te bieden. De belangrijkste conclusies zijn:

Het FFN is geen afzonderlijk computationeel primitief: De verwijdering ervan breekt het model niet; het vertegenwoordigt eerder een specifieke allocatie van parameter-capaciteit aan een write path.
Functionele Vorm versus Capaciteit: Op redeneer-rijke data doet de functionele vorm van het FFN er grotendeels niet toe; wat belangrijk is, is de parameter-capaciteit. Het heralloceren van deze capaciteit naar attention-diepte herstelt bijna de volledige prestatie.
Specifiek Tekort: De enige resterende kosten zijn een klein, voorspelbaar tekort op tokens waar de context geen informatie biedt voor routing, wat dwingt tot vertrouwen op parametrische geheugen.
Robuustheid: SANs vertonen een grotere trainingsstabiliteit dan standaard transformers onder learning-rate stress, waarbij geen divergentie-gebeurtenissen werden waargenomen in SAN-runs vergeleken met instabiliteit in FFN-runs.

De auteurs concluderen dat binnen het geteste regime "attention de rest doet", mits de parameter-budget wordt gematcht en de architectuur wordt gestabiliseerd met QK-normalisatie. De studie herkadert het FFN niet als een essentieel structureel onderdeel, maar als een specifiek mechanisme voor het opslaan van kennis dat effectief kan worden vervangen door diepere attention-lagen, waarbij de trade-off een gelokaliseerd prestatieverlies is op taken met lage context en hoge kennismassa.