🔬 applied physics

Adaptive inference and function vectors in deep transformers

Dit artikel introduceert een veldentheorie van deep transformers als gedistribueerde inferentiesystemen die interne "functievectoren" gebruiken om hiërarchisch latente contextvariabelen te infereren, waarmee wordt aangetoond dat feedforward-blokken en diepte een rijkere klasse van adaptieve in-context leeralgoritmen mogelijk maken dan voorheen begrepen.

Oorspronkelijke auteurs: Ravin Raj, Gautam Reddy

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ravin Raj, Gautam Reddy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen, maar je hebt slechts een paar verspreide aanwijzingen (de "context") en een specifieke vraag om te beantwoorden (de "query"). Je moet de verborgen regel ontdekken die alle aanwijzingen met het antwoord verbindt.

Dit paper stelt een nieuwe manier voor om te begrijpen hoe Transformers (de AI-hersenen achter tools zoals chatbots) deze mysteries oplossen. In plaats van alleen naar de wiskunde te kijken, behandelen de auteurs de Transformer als een team van detectives dat samenwerkt om een zaak op te lossen.

Hier is de uitleg van hun theorie met behulp van eenvoudige analogieën:

1. Het Team van Detectives (De Tokens)

Stel je een kamer vol detectives voor (dit zijn de "tokens" of datapartjes). Ze weten allemaal een beetje over de zaak, maar geen enkele detective heeft het volledige plaatje. Hun doel is om de "verborgen regel" (de latente context) te ontdekken die alles verklaart.

In een standaard AI zouden deze detectives misschien al hun gedachten tegelijkertijd naar buiten roepen. Maar dit paper suggereert dat diepe Transformers werken als een estafette of een meerstaps-onderzoek.

2. De "Function Vector" (Het Gedeelde Notitieblok)

De kern van het idee is iets dat een Function Vector wordt genoemd. Denk hierbij aan een gedeeld notitieblok dat door de kamer wordt rondgegeven.

Ronde 1: Elke detective kijkt naar zijn eigen aanwijzing en schrijft een korte samenvatting in het notitieblok.
Ronde 2: Ze lezen het notitieblok, beseffen dat ze iets gemist hebben, en voegen een nieuwe, meer verfijnde notitie toe.
Ronde 3: Ze lezen het bijgewerkte notitieblok opnieuw en voegen nog meer details toe.

Aan het einde van het proces bevat dit notitieblok (de Function Vector) een gecomprimeerde, perfecte samenvatting van alles wat het team heeft geleerd over de verborgen regel. Wanneer de laatste detective (de "query") om het antwoord vraagt, hoeft hij alleen maar dit notitieblok te lezen.

3. De Twee Typen Werknemers (MLP vs. Attention)

Het paper legt uit dat de Transformer twee soorten werknemers heeft die om de beurt werken:

De Lokale Denker (MLP): Dit is de individuele detective die naar zijn eigen aanwijzing en het huidige notitieblok kijkt. Hij besluit: "Op basis van wat ik weet en wat er in het notitieblok staat, wat is het belangrijkste nieuwe ding dat ik moet toevoegen?" Hij fungeert als een router, die bepaalt welke informatie het waard is om te delen.
De Groepsmixer (Attention): Dit is de persoon die ieders nieuwe aantekeningen neemt en ze samenvoegt tot één enkele, bijgewerkte samenvatting voor de volgende ronde.

4. De Grote Ontdekking: Waarom "Diepte" Ertoe Doet

De auteurs testten twee scenario's om te zien of het hebben van veel lagen (een "diep" team) beter is dan het hebben van slechts één grote laag.

Scenario A: De Gladde Heuvel (Gaussian Prior)
Stel je voor dat de verborgen regel op een gladde, vlakke heuvel ligt. Je kunt de top vinden door er simpelweg vanuit één hoek naar te kijken.

Resultaat: Het maakt niet uit of je een team van 10 mensen hebt die een notitieblok rondgeven, of één superintelligent persoon die het allemaal tegelijk doet. Ze bereiken hetzelfde resultaat. De "diepte" helpt hier niet.

Scenario B: De Doolhof (Tree Prior)
Stel je nu voor dat de verborgen regel zich in een complex doolhof bevindt met veel bochten (een "boom"-structuur). Om de uitgang te vinden, moet je een reeks keuzes maken: Links of Rechts? Dan Omhoog of Omlaag?

Het "Ondiepe" Team (Niet-adaptief): Dit team probeert het hele pad in één keer te raden. Ze krijgen de eerste paar bochten misschien goed, maar raken snel verdwaald omdat ze hun plan niet kunnen aanpassen op basis van nieuwe informatie.
Het "Diepe" Team (Adaptief): Dit team beweegt stap voor stap.
- Stap 1: Ze controleren de eerste kruising.
- Stap 2: Op basis van dat resultaat beslissen ze welk pad ze als volgende moeten controleren.
- Stap 3: Ze passen zich opnieuw aan.
- Resultaat: Omdat ze hun strategie bij elke stap kunnen aanpassen (door de Function Vector te gebruiken om te onthouden waar ze zijn), navigeren ze veel beter door het doolhof dan het ondiepe team.

5. Het Bewijs: Het "Key-Patching" Experiment

Om dit te bewijzen, voerden de onderzoekers een "operatie" uit op de AI. Ze namen de "keys" (de besluitvormende aantekeningen) van een detective die een ander doolhof had opgelost, en dwongen deze in het notitieblok van de huidige detective.

Wat gebeurde er? Als ze de aantekeningen vroeg in het proces verwisselden, raakte de detective in de war en faalde hij. Als ze ze later verwisselden, maakte het minder uit.
Waarom? Dit bewees dat de AI niet simpelweg een statisch antwoord aan het onthouden was. Het was actief een strategie aan het opbouwen laag voor laag, precies zoals de theorie voorspelde.

De Kernboodschap

Dit paper betoogt dat diepe Transformers niet alleen slimme patroonherkenners zijn. Het zijn adaptieve inferentie-machines.

Wanneer het probleem eenvoudig is, werkt een ondiepe aanpak prima. Maar wanneer het probleem complex en hiërarchisch is (zoals een boom met veel takken), gebruikt de Transformer zijn diepte en zijn interne aantekeningen (Function Vectors) om te handelen als een slimme detective: het verzamelt aanwijzingen, werkt een theorie bij en besluit wat het volgende moet zoeken, en dat alles binnen één enkele passage van het lezen van de data. Dit stelt het in staat om complexe puzzels op te lossen die simpelere, "ondiepe" modellen niet kunnen oplossen.

Probleemstelling
Transformers zijn opgekomen als een universele substraat voor het leren van complexe correlaties in diverse domeinen, maar hun interne mechanismen voor in-context learning (ICL) blijven mysterieus. Hoewel empirisch werk twee primaire motieven voor ICL heeft geïdentificeerd—attention-circuits die specifieke algoritmen implementeren (bijv. kopiëren, gradiëntafdaling) en de vorming van "functievectoren" (interne representaties van de taak)—blijft het theoretische begrip van dat laatste beperkt. Specifiek is het onduidelijk hoe diepe transformers functievectoren gebruiken om inferentie uit te voeren, en welke specifieke computationele rollen diepte en feedforward (MLP) blokken spelen in dit proces. Bestaande theorieën richten zich vaak op attention-gebaseerde circuits, waardoor de mechanismen die mogelijk worden gemaakt door multi-layer interacties tussen attention en MLPs onderbelicht blijven.

Methodologie
De auteurs stellen een theoretisch kader voor waarin een diepe transformer wordt gemodelleerd als een mean-field interagerend systeem dat gedistribueerde Bayesiaanse inferentie implementeert. Het model is onderworpen aan architecturale beperkingen op communicatie (kanaaldimensie $d$ ), lokaliteit en diepte ( $L$ ).

Theoretisch Model: Het kader stelt dat een transformer een set tokens verwerkt die gekoppeld zijn door een latente contextvariabele $\theta$ . Inferentie wordt bemiddeld door "functievectoren" ( $\Phi_\ell$ ), die fungeren als gecomprimeerde staatsvariabelen.
- Op elke laag $\ell$ verwerkt een lokale niet-lineariteit (MLP) een token en de huidige staat $\Phi_\ell$ om een embedding $\lambda_{\ell+1}$ te produceren.
- Een attention-achtige operatie poolt deze embeddings over tokens om een nieuwe statistiek $\phi_{\ell+1}$ te vormen.
- De staat wordt bijgewerkt via directe sommatie: $\Phi_{\ell+1} = \Phi_\ell \oplus \phi_{\ell+1}$ .
- De MLP-blokken worden gehypothetiseerd als "routers" (die kiezen welke informatie wordt overgedragen) en decoders, terwijl attention informatie poolt.
Optimalisatiestrategie: De auteurs kaderen de selectie van embeddings als een dynamisch programmeerprobleem. De optimale strategie op laag $\ell$ minimaliseert de verwachte loss op laag $L$ , waarbij de keuze van de embedding effectief wordt behandeld als een experimenteel ontwerpstrategie voor adaptieve inferentie.
Analytische Casussen: De theorie wordt geanalyseerd onder twee prior-verdelingen voor de latente variabele $\theta$ :
- Gaussische Prior: Waarbij de latente variabele een standaard normale verdeling volgt.
- Tree Prior: Een hiërarchisch gestructureerde prior waarbij $\theta$ wordt geconstrueerd op basis van een pad door een gebalanceerde binaire boom. Deze structuur test het voordeel van diepte bij het oplossen van latente variabelen op steeds fijnere schalen.
Empirische Validatie: De voorspellingen worden getest met een beperkte lineaire attention transformer-architectuur met drie configuraties:
- Model A: Een diep ( $L=M$ ) model met kanaaldimensie $d=1$ en MLP-blokken op elke laag.
- Model B: Een enkel-laags model met kanaaldimensie $M$ en identieke MLPs.
- Model C: Een enkel-laags model met kanaaldimensie $M$ en geen MLPs (alleen lineaire attention).
- Causale Perturbatie: Een "key-patching" experiment wordt uitgevoerd waarbij key-matrices van een "donor"-context in een "target"-context worden ingevoegd op specifieke lagen om het routingmechanisme te testen.

Kernbijdragen

Theorie van Functievectoren: Het artikel biedt een formele theorie die functievectoren definieert als interne staatrepresentaties die contextinformatie comprimeren voor voorspelling. Het toont aan dat deze vectoren een model in staat stellen om latente contextvariabelen op steeds fijnere schalen over lagen heen te infereren.
Rol van Diepte en MLPs: De theorie voorspelt dat voor niet-Gaussische, hiërarchische priors, diepte en MLP-blokken essentieel zijn voor het implementeren van adaptieve inferentiestrategieën die non-adaptieve, single-layer benaderingen overtreffen. Omgekeerd biedt diepte voor Gaussische priors geen voordeel ten opzichte van een enkele laag met een equivalente totale communicatiebudget.
Mechanistische Mapping: Het werk mapt de theoretische componenten naar de transformer-architectuur, waarbij de MLP de rol van een "router" krijgt die statistieken selecteert om te meten, en de attention-mechanisme de rol van het poolen van deze statistieken.
Experimentele Bevestiging: Numerieke experimenten bevestigen dat diepe transformers met MLPs (Model A) adaptieve inferentiestrategieën kunnen leren op hiërarchische tree priors, waarbij ze optimized single-layer non-adaptieve strategieën (Model B) en lineaire attention-modellen (Model C) aanzienlijk overtreffen.

Resultaten

Gaussische Prior: In het geval van een Gaussische prior is de Mean Squared Error (MSE) loss onafhankelijk van de specifieke realisatie van de functievector en hangt deze alleen af van de meetstrategie. De theorie en experimenten laten zien dat een diep model (Model A) niet beter presteert dan een single-layer model met een equivalente kanaalcapaciteit (Model B).
Tree Prior: Voor de hiërarchische tree prior voorspelt de theorie dat een adaptieve strategie (het meten van één coördinaat tegelijk op basis van eerdere resultaten) een MSE loss oplevert die exponentieel schaalt met de diepte ( $\alpha^M$ $α^{M}$ ), terwijl non-adaptieve strategieën schalen als een macht van $M$ $M$ .
- Experimenten tonen aan dat Model A een aanzienlijk lagere MSE loss bereikt dan Model B, wat bevestigt dat het model een adaptieve inferentiestrategie leert.
- Model C (geen MLPs) presteert vergelijkbaar met de non-adaptieve theoretische baseline, wat de noodzaak van MLPs voor het adaptieve routingmechanisme bevestigt.
Causale Perturbatie: Key-patching experimenten onthullen dat het invoegen van keys van een donor-context (blad $\sigma'$ ) in een target-context (blad $\sigma$ ) een grote toename in loss veroorzaakt als de paden vroegtijdig divergeren en de interventie vroeg in het netwerk plaatsvindt. Dit bevestigt dat de interne staat (functievector) van het model adaptief evolueert op basis van het specifieke contextpad.

Significantie
Het artikel beweert twee perspectieven op in-context learning te verenigen: het standpunt dat ICL Bayesiaanse inferentie is over een latente variabele, en het mechanistische standpunt dat ICL algoritmische executie is (bijv. gradiëntafdaling). Door aan te tonen dat diepe transformers Bayesiaanse inferentie kunnen implementeren als een gedistribueerde, adaptieve, layerwise procedure gemedieerd door functievectoren, demonstreren de auteurs dat diepte en MLP-blokken een rijkere klasse van ICL-algoritmen mogelijk maken dan eerder beschreven (zoals preconditioned gradient descent). Het werk plaatst functievectoren binnen een circuit-niveau framework, wat suggereert dat de organisatie van miljarden-parameter modellen deze structuur bevoordeelt omdat het efficiënte, adaptieve inferentie mogelijk maakt onder communicatiebeperkingen. De auteurs merken op dat hoewel hun theorie lineaire pooling gebruikt, het uitwisselbaarheid (exchangeability) respecteert en voldoende kan zijn voor scenario's waar de specifieke token-naar-token retrieval van softmax attention niet de primaire drijfveer van ICL is.