🤖 machine learning

Feed-Forward Steering in Transformer Residual Dynamics

Dit artikel breidt de uitsluitend op aandacht gebaseerde dynamische theorieën van Transformers uit door feed-forward netwerken te modelleren als lokale sturende velden, waarbij wordt aangetoond dat hun tangentiële componenten essentieel zijn voor residuele beweging en modelprestaties, terwijl commutatordefecten worden geïdentificeerd als een belangrijke metriek voor het bepalen van de haalbaarheid van het paralleliseren van aandacht- en FFN-blokken.

Oorspronkelijke auteurs: Timur Mudarisov, Mikhail Burtsev, Radu State

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Timur Mudarisov, Mikhail Burtsev, Radu State

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je kijkt naar een enorm, onzichtbaar dansfeest in een computerbrein. Dit is geen feest met muziek en flitsende lichten, maar met woorden en getallen. In de wereld van kunstmatige intelligentie, specifits de "Transformers" die chatbots en zoekmachines aandrijven, is er een constante stroom van informatie die een "residual stream" wordt genoemd. Denk aan deze stroom als een rivier die kleine bootjes (tokens) vervoert die woorden vertegenwoordigen. Voor een lange tijd geloofden wetenschappers dat het enige dat deze bootjes stuurde een mechanisme was dat "Attention" (aandacht) wordt genoemd. Je kunt Attention zien als een enorme, onzichtbare magneet die bootjes naar elkaar toe trekt als ze over vergelijkbare dingen praten. Als een bootje "koning" zegt, trekt de magneet het misschien dichter naar een bootje dat "koningin" zegt. Deze trekkracht wordt "aggregatie" genoemd, en dit is waarom woorden die bij elkaar horen, in dezelfde richting beginnen te klonteren.

Echter, er is nog een ander deel van de dansvloer: het Feed-Forward Network, of FFN. Als Attention de magneet is die bootjes naar elkaar toe trekt, dan is de FFN als een lokale DJ of een persoonlijke coach die vlak naast elk bootje staat en het in een specifieke richting duwt op basis van wat dat specifieke bootje zegt. Jarenlang dachten onderzoekers dat de FFN slechts een bijrol speelde, misschien alleen de snelheid van de bootjes aanpas of het volume corrigeerde. Maar een nieuw artikel stelt een grote vraag: Is de FFN slechts een volumeknop, of is het daadwerkelijk het stuur dat bepaalt waar de bootjes heen gaan? Het begrijpen hiervan is belangrijk omdat als we precies weten hoe deze bootjes bewegen, we AI sneller, slimmer en gemakkelijker kunnen repareren wanneer het fouten maakt.

De Grote Ontdekking van het Papier: De DJ is de Kapitein

Dit artikel, getiteld "Feed-Forward Steering in Transformer Residual Dynamics", suggereert dat het oude beeld een cruciaal puzzelstukje miste. De auteurs stellen een nieuwe manier voor om naar de dansvloer te kijken: Attention is de "aggregatie" die iedereen naar een gedeelde groep trekt, maar de FFN is een "stuurveld" dat individuele bootjes actief in nieuwe richtingen duwt. Ze behandelen de beweging van deze woord-bootjes als een natuurkundig probleem, waarbij de bootjes deeltjes zijn die bewegen op een sfeer (zoals het oppervlak van een wereldbol).

De onderzoekers ontdekten dat de FFN de bootjes niet alleen naar voren of naar achteren duwt (wat alleen hun snelheid of grootte zou veranderen). In plaats daarvan is het belangrijkste deel van de taak van de FFN hen zijwaarts, of "tangentieel", duwen. Stel je een bootje voor op een wereldbol voor; het duwen naar de Noordpool verandert de grootte ten opzichte van het centrum, maar het zijwaarts duwen verandert de werkelijke richting op de kaart. Het papier laat zien dat deze zijwaartse duw is wat de betekenis en het pad van het woord daadwerkelijk verandert.

Wat Ze Deden en Wat Ze Vonden

Om dit te bewijzen, voerde het team een reeks experimenten uit op verschillende beroemde AI-modellen, waaronder GPT-2, Pythia, Mistral en Llama-3. Ze behandelden de AI als een wetenschappelijk laboratorium waar ze onderdelen aan of uit konden zetten of de manier waarop ze werkten konden veranderen.

Eerst controleerden ze of Attention alleen kon verklaren waar de bootjes heen gingen. Ze vonden een enorme "angular-alignment deficit" (hoekmatig uitlijningstekort). In gewone mensentaal: als ze alleen de Attention-magneet zouden laten werken, zouden de bootjes in de verkeerde richting wijzen vergeleken met waar de echte AI de bootjes naartoe stuurde. Dit tekort werd groter in grotere, nieuwere modellen, van ongeveer 0,41 in GPT-2 naar 0,63 in Llama-3-8B. Dit suggereert dat zonder de sturing van de FFN, de AI de weg kwijt zou zijn.

Vervolgens voerden ze een "operatie" uit op de FFN. Ze splitsen de duw van de FFN in twee delen: het "radiale" deel (naar voren/achteren duwen) en het "tangentiële" deel (zijwaarts duwen).

Wanneer ze alleen het radiale deel behielden, stortte de prestatie van de AI volledig in, net alsof ze de FFN volledig hadden verwijderd.
Wanneer ze alleen het tangentiële deel behielden, bleef de AI bijna perfect werken, met slechts een minimale daling in kwaliteit.

Dit was het bewijs. Het bewees dat de belangrijkste taak van de FFF het sturen van de richting van de woorden is, en niet alleen het aanpassen van hun grootte.

Ze keken ook naar wat er gebeurt als de Attention-magneet te hard trekt en probeert alle bootjes in één kleine klomp te proppen (een probleem dat "rank collapse" wordt genoemd). Ze ontdekten dat de FFF fungeert als een tegenkracht. Terwijl Attention probeert de bootjes bij elkaar te drukken, duwt de FFF ze juist uit elkaar, waardoor de groep divers blijft en ze niet allemaal hetzelfde woord worden. Het is als een DJ die merkt dat iedereen naar het midden kruipt en dan een beat begint te spelen die mensen weer doet verspreiden.

Een Praktische Truc: Het Dansfeest Versnellen

Het meest opwindende deel van het artikel is een praktische truc die ze ontdekten. In een standaard AI worden de bootjes eerst getrokken door de Attention-magneet, en daarna geeft de FFN-coach ze een duwtje. Dit gebeurt één na het ander (sequentieel). De onderzoekers vroegen zich af: "Wat als we de magneet en de coach tegelijkertijd (in parallel) laten werken?"

Normaal gesproken kun je dit niet doen omdat de coach eerst moet zien waar de magneet het bootje naartoe heeft getrokken. Maar het team mat een "defect score" om te zien hoeveel de volgorde uitmaakte voor elke laag van de AI. Ze ontdekten dat voor sommige lagen de volgorde niet veel uitmaakte. Door deze "low-defect" lagen te identificeren, konden ze de Attention- en FFN-onderdelen tegelijkertijd laten draaien.

In GPT-2-large slaagden ze erin het proces met ongeveer 1,24 keer te versnellen met bijna geen kwaliteitsverlies (slechts +0,02 verlies).
In Mistral behaalden ze een versnelling van 1,10 keer met een minimaal verlies van +0,009.

Echter, als ze dit probeerden te doen op lagen waar de volgorde wel uitmaakte (high-defect lagen), stortte de prestatie van de AI in. Dit suggereert dat hoewel we de hele AI niet direct in parallel kunnen laten draaien, we specifieke delen ervan kunnen versnellen door precies te weten hoe de sturing werkt.

Wat Dit Betekent

Het artikel beweert niet dat het alles over AI heeft opgelost, maar het verandert de manier waarop we de motor zien. Het suggereert dat de FFN niet alleen een helper is; het is een directioneel stuurveld dat de geometrie van de gedachten van de AI vormgeeft. Het voorkomt dat de AI vastloopt in één enkele richting en stelt de AI in staat om complexe ideeën te navigeren. Door te begrijpen dat de FFF het "stuur" is en niet alleen het "gaspedaal", kunnen onderzoekers mogelijk snellere, efficiëntere AI-modellen bouwen die niet de weg kwijtraken. De bevindingen zijn gebaseerd op zorgvuldige metingen en simulaties over meerdere modellen, wat suggereert dat dit "aggregatie-sturing" beeld een robuuste manier is om te begrijpen hoe deze digitale breinen bewegen.

Technische Samenvatting: Feed-Forward Steering in de Transformer Residual Dynamica

Probleemstelling
Bestaande continue theorieën over Transformer-dynamica modelleren de residual stream primair als een systeem van deeltjes die aggregeren op een sfeer, gedreven uitsluitend door het attention-mechanisme. Hoewel dit "attention-only" kader fenomenen zoals rank-collaps en clustering verklaart, houdt het geen rekening met de rol van het Feed-Forward Network (FFN). Tegelijkertijd identificeert interpretatieonderzoek FFN's als opslagplaatsen voor key-value geheugens en effectieve doelwitten voor bewerkingen (editing), maar deze visies blijven losgekoppeld van het dynamische systemen-perspectief. Het centrale probleem dat wordt geadresseerd is hoe de FFN geïntegreerd kan worden in een verenigd dynamisch model van de evolutie van de residual stream om de geometrische impact op token-richtingen te verklaren en om de haalbaarheid te bepalen van het benaderen van sequentiële blokken met parallelle blokken.

Methodologie
De auteurs breiden het continue attention-dynamica framework uit door de FFN te incorporeren als een lokaal sturende veld (steering field) dat inwerkt op token-toestanden. Het model behandelt de residual stream $x_i = r_i u_i$ (waarbij $u_i$ de richting op de eenheidsfeer is en $r_i$ de magnitude) als evoluerend volgens:
$\dot{u}_i = \frac{1}{s_i(t)} P_{u_i} \left[ A_i(U) + \Phi_i(u_i) \right]$
Hierbij is $A_i(U)$ het niet-lokale aggregatieveld van de attention, en $\Phi_i(u_i)$ het lokale sturende veld van de FFN. $P_{u_i}$ is de orthogonale projectie op de raaklijn (tangent space), wat ervoor zorgt dat alleen de tangentiële component van het vectorveld de richting verandert, terwijl de radiale component de magnitude beïnvloedt (en daarmee de hoeksnelheid).

De studie hanteert vier primaire experimentele protocollen over GPT-2, Pythia, Mistral en Llama modellen:

Angular-Deficit Diagnostic: Het meten van de uitlijning tussen de attention-only update en de gerealiseerde blok-update om de bijdrage van de FFN aan de hoekbeweging te kwantificeren.
Radial/Tangential Ablation: Het deconstrueren van de FFN-output in radiale ( $\langle u, \Phi(u) \rangle u$ ) en tangentiële ( $P_u \Phi(u)$ ) componenten om te isoleren welke de richtingveranderingen drijft.
Diversity under Aggregation: Het analyseren van sferische diversiteitsstatistieken vóór en na de attention- en FFN-lagen om te observeren hoe de FFF de door attention geïnduceerde concentratie tegengaat.
Sequential-to-Parallel Defect: Het schatten van een laag-specifieke sensitiviteitsscore ( $C_\ell$ ) om te bepalen of sequentiële blokken ( $x + A(x) + \Phi(x+A(x))$ ) kunnen worden benaderd door parallelle surrogaten ( $x + A(x) + \Phi(x)$ ) zonder significant prestatieverlies.

Aanvullende diagnostiek omvat laag-specifieke FFN gate-kalibratie, kritieke punt-geometrie analyse (identificatie van attractoren, zadelpunten en repellers) en prefix-sensitiviteitstests.

Kernbijdragen

Aggregation-Steering Framework: Het artikel formuleert de Transformer residual dynamica als een aggregatie-sturing flow op een sfeer, waarbij attention zorgt voor niet-lokale aggregatie en de FFN zorgt voor lokale sturing.
Identificatie van Tangential Steering: De auteurs demonstreren mathematisch en empirisch dat de tangentiële component van het FFN-veld noodzakelijk is voor beweging in de residual-richtieruimte. De radiale component beïnvloedt primair de herschaling van de magnitude, terwijl de tangentiële component de richting dicteert.
Critical Direction Geometry: De studie identificeert dat kritieke residual-richtingen overeenkomen met niet-lineaire projectieve evenwichten. In tegenstelling tot de intuïtie dat FFN's stabiele attractoren creëren, laat de analyse zien dat FFN-sturing de lokale geometrie actief reorganiseert naar zadel-achtige en rotationele transportmodi, waardoor diversiteit behouden blijft.
Sequential-to-Parallel Defect Metric: Een directe defect-metriek wordt afgeleid om te karakteriseren wanneer een sequentieel attention-FFN blok accuraat kan worden benaderd door een parallel, additieve kaart. Dit defect wordt beheerst door de directionele afgeleide term $D_\Phi A$ , die onderscheidend is van enkel de Lie bracket.

Resultaten

Angular Misalignment: De attention-tak alleen vertoont een substantiële angular-alignment deficit ten opzichte van de gerealiseerde blok-update. Dit deficit neemt toe met de model schaal, variërend van 0,41 voor GPT-2 tot 0,63 voor Llama-3-8B, wat aangeeft dat de FFN niet slechts een secundaire correctie is, maar een primaire drijver van hoekupdates.
Ablatiebevindingen: Het behouden van enkel de tangentiële FFN-component behoudt het grootste deel van de modelkwaliteit (loss toename van 0,07–1,72), terwijl het behouden van enkel de radiale component leidt tot een instorting van de prestaties (loss toename van 7,19–12,96), vergelijkbaar met het volledig verwijderen van de FFN.
Diversiteit Preservatie: Attention contraheert doorgaans de residual richtingen (wat diversiteit vermindert), terwijl de FFN deze diversiteit vaak herstelt of hervormt. De tangentiële FFN-component injecteert zadel-achtige en rotationele transportmodi die excessieve concentratie onder aggregatiedruk voorkomen.
Parallelisatie Haalbaarheid: Lagen met kleine sequential-to-parallel defects (lage sensitiviteitsscores) kunnen ongeveer geparalleliseerd worden met een bescheiden toename in loss. Bijvoorbeeld, het paralleliseren van 18 low-defect lagen in GPT-2-large levert een geschatte 1,24× versnelling op met slechts +0,02 loss, terwijl het paralleliseren van high-defect lagen de prestaties snel degradeert.
Critical Geometry: Component-ablatie van het kritieke-richtingsveld toont aan dat FFN-only kandidaten voornamelijk zadel-achtig zijn (mixed-sign spectra). De FFN creëert niet simpelweg stabiele attractoren, maar herstructureert het faseportret om de hoog-dimensionale representatiegeometrie te handhaven.

Betekenis en Claims
Het artikel beweert de interpretatie te ondersteunen dat FFN-lagen directionele sturende velden zijn die de Transformer residual geometrie vormgeven. Het betoogt dat de FFN essentieel is voor het beheersen van de haalbaarheid van blok-niveau interventies en voor het behouden van representatie-diversiteit tegen de instortingsdruk van attention.

De auteurs positioneren hun bevindingen als een brug tussen dynamische systemen theorie en interpretatie, en suggereren dat de "sturing"-visie verklaart waarom FFN's effectieve locaties zijn voor bewerkingen (editing) en waarom ze noodzakelijk zijn voor de geometrische stabiliteit van het model. De praktische betekenis ligt in de identificatie van lagen die veilig geparalleliseerd kunnen worden om de inference latentie te verlagen zonder significante prestatievermindering.

Het artikel blijft bescheiden over de reikwijdte, waarbij wordt opgemerkt dat de theoretische mean-field resultaten de volledige attention beschrijven, terwijl causal decoder-only modellen prefix-geïndexeerde dynamica vereisen. De kritieke punt-analyses worden gepresenteerd als lokale diagnostiek in plaats van globale beschrijvingen van de volledige residual ruimte. Bovendien worden de praktische parallelisatie resultaten geframed als geschatte submodule-tijdversnellingen in plaats van claims over geoptimaliseerde productie-kernel prestaties. De auteurs geven expliciet aan dat hun bevindingen diagnostisch zijn en geen universele garanties claimen voor anti-collaps of perfecte parallelisatie over alle architecturen.

Meer zoals dit