💬 NLP

Mechanistic evaluation of Transformers and state space models

Dit artikel maakt gebruik van causale interventies om aan te tonen dat hoewel Transformers en SSM's vergelijkbare nauwkeurigheid kunnen bereiken op associatieve recall-taken, ze fundamenteel verschillende mechanismen gebruiken—specifiek gebruiken Transformers en Based-modellen in-context inductie, terwijl de meeste SSM's vertrouwen op single-layer state-computaties, waarbij Mamba uniek is door inductie te bereiken via korte convoluties in plaats van via zijn kern-SSM-component.

Oorspronkelijke auteurs: Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

Gepubliceerd 2026-02-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een geheugenspel moet spelen. Het spel is simpel: je laat de robot een lijst met paren zien, zoals "Appel = Rood," "Banaan = Geel," en "Druif = Paars." Vervolgens vraag je: "Wat is de kleur van de Banaan?" De robot moet terugkijken naar de lijst, "Banaan" vinden, en zich herinneren dat deze gekoppeld is aan "Geel."

In de wereld van AI wordt dit Associatieve Recall genoemd. De paper die je deelde, is een diepe duik in hoe verschillende soorten AI-hersenen (architecturen) dit spel oplossen. De onderzoekers keken niet alleen naar wie de hoogste score behaalde; ze legden de robots onder een microscoop om precies te zien wat er in hun "hoofden" gebeurde terwijl ze speelden.

Hier is het verhaal van hun bevindingen, uitgelegd aan de hand van eenvoudige concepten.

De Twee Belangrijkste Medestanders

Het paper vergelijkt twee hoofdtypen AI-architecturen:

Transformers: De huidige kampioenen van AI (zoals de modellen die de meeste chatbots aandrijven). Ze gebruiken een mechanisme genaamd "Attention" (Aandacht), wat te vergelijken is met een spotlight die de hele lijst met paren direct kan scannen om het antwoord te vinden.
State Space Models (SSM's): De nieuwe, snellere en efficiëntere uitdagers (zoals Mamba en DeltaNet). Ze zijn ontworpen om lichter en sneller te zijn dan Transformers, maar er wordt vermoed dat ze slechter zijn in geheugentaken.

De Grote Ontdekking: Het Gaat Niet Alleen Om de Score

Meestal, als een AI 99% scoort op een test, nemen we aan dat de AI de les heeft geleerd. Maar dit paper betoogt dat het behalen van het juiste antwoord niet betekent dat je de juiste manier hebt geleerd.

De onderzoekers gebruikten een speciale "chirurgische" techniek genaamd Causal Intervention (Causale Interventie). Stel je voor dat je een robot hebt die het geheugenspel perfect speelt. Vervolgens vervang je in het geheugen van de robot stiekem het woord "Banaan" door "Auto" nadat de robot de lijst heeft gelezen, maar voordat hij het antwoord geeft.

Als de robot plotseling zegt "Geel is de kleur van een Auto," dan betekent dit dat hij de link daadwerkelijk onthouden heeft (Inductie).
Als de robot gewoon gokt of faalt, betekent dit dat hij de link niet op een flexibele manier heeft opgeslagen; hij keek alleen naar de directe omgeving.

Wat Ze Hebben Gevonden

1. Het Verschil tussen "Inductie" en "Directe Retrieval"

Transformers en "Based"-modellen: Deze modellen leerden het spel op de "slimme" manier spelen. Ze creëerden een mentale kaart waarbij ze de verbinding tussen het item en de waarde (bijv. "Banaan" hoort bij "Geel") opsloegen terwijl ze de lijst lazen. Wanneer er een vraag werd gesteld, zoch even in deze opgeslagen kaart. De onderzoekers noemen dit Inductie.
De meeste SSM's (zoals H3 en Hyena): Deze modellen faalden voor het spel. Ze konden niet begrijpen hoe ze de links moesten opslaan.
Mamba en DeltaNet: Deze modellen behaalden hoge scores, maar ze hebben valsgespeeld! Ze bouwden geen mentale kaart op. In plaats daarvan gebruikten ze een "shortcut" (snelkoppeling). Wanneer de vraag "Banaan?" kwam, keken ze onmiddellijk naar de token vlak vóór de banaan of gebruikten ze een zeer specifieke, rigide truc om het antwoord te grijpen. Ze leerden niet de algemene regel van "associëren"; ze leerden gewoon het antwoord vanuit een specifieke plek te grijpen.

2. Het Geheimwapen: De "Short Convolution"

De onderzoekers ontdekten dat de modellen die wel slaagden (Mamba en Based) een geheim wapen hadden: een klein, kortetermijngeheugeninstrument genaamd een short convolution (korte convolutie).

Analogie: Stel je voor dat je een boek leest. Een "long convolution" is als het lezen van een heel hoofdstuk om een zin te begrijpen. Een "short convolution" is als een vluchtige blik op het woord dat je net hebt gelezen en het woord ervoor.
De Bevinding: Mamba gebruikt deze "vluchtige blik" (short convolution) om "Banaan" aan "Geel" te koppelen terwijl het leest. Zonder dit specifieke instrument vergeet Mamba volledig hoe het het spel moet spelen. Het blijkt dat Mamba niet zijn "hoofdbrein" (het SSM-gedeelte) gebruikt voor het geheugenwerk; het gebruikt dit kleine "vluchtige blik"-instrument om het zware werk te doen.

3. De Twist: Het "Boom"-spel (ATR)

Om te zien of deze bevindingen een toevalstreffer waren in het simpele spel, bedachten de onderzoekers een moeilijkere versie genaamd Associative Treecall (ATR).

De Verandering: In het simpele spel stonden "Banaan" en "Geel" altijd direct naast elkaar. In het "Boom"-spel konden ze ver uit elkaar staan, gescheiden door andere woorden, zoals een stamboom. "Jan had een hond. De hond achtervolgde een kat. De kat zag een vogel. Wat had Jan?"
Het Resultaat:
- Transformers en Based: Gebruikten nog steeds hun "Inductie"-kaart. Ze gingen gemakkelijk om met de afstand.
- Mamba (met de shortcut): Gebruikte nog steeds zijn "vluchtige blik"-instrument en deed het goed.
- Mamba (zonder de shortcut): Hier kwam de verrassing! Toen de onderzoekers Mamba's "short convolution"-instrument verwijderden, faalde Mamba bij het simpele spel, maar slaagde het bij het moeilijkere "Boom"-spel.
- Waarom? Zonder de shortcut werd Mamba gedwongen om de "Inductie"-kaart te leren (dezelfde manier als Transformers) om het moeilijkere probleem op te lossen. Het bewees dat Mamba in staat is om op de slimme manier te leren, maar dat het dit alleen doet wanneer het absoluut moet.

De Conclusie

Het paper concludeert dat nauwkeurigheid een leugenaar is.

Twee AI-modellen kunnen dezelfde score halen op een test, maar de een kan een genie zijn dat de regels begrijpt (Inductie), terwijl de ander een bedrieger is die gewoon het antwoordenoverzicht van die specifieke test heeft uit het hoofd geleerd (Direct Retrieval).

Transformers zijn als bibliothecarissen die boeken in de schappen ordenen zodat ze later elke verbinding kunnen vinden.
Mamba (in zijn standaardvorm) is als iemand die alleen het laatste ding onthoudt dat hij zag, tenzij hij een specifiek "plakbriefje" (short convolution) gebruikt om te helpen.
De Les: Om AI echt te begrijpen, kunnen we niet alleen naar de testscores kijken. We moeten onder de motorkap kijken om te zien hoe de machine denkt. Deze "mechanistische evaluatie" is het nieuwe instrument dat de auteurs voorstellen om te voorkomen dat we worden misleid door hoge scores die een zwak begrip verbergen.

Technische Samenvatting: Mechanistische Evaluatie van Transformers en State Space Models

Probleemstelling

Hoewel State Space Models (SSM's) een efficiënt, subkwadratisch alternatief bieden voor Transformers bij taalmodellering, vertonen ze tekortkomingen in retrieval-taken—specifiek het kopiëren van informatie uit de context—die standaard benchmarks vaak niet volledig vangen. Voorgaand werk heeft gebruikgemaakt van synthetische taken zoals Associative Recall (AR) om deze prestatiekloof te identificeren, maar het vertrouwen op gedragsmatige metrieken (bijv. taaknauwkeurigheid) biedt weinig inzicht in waarom bepaalde architecturen wel of niet slagen. Het kernprobleem is het gebrek aan een mechanistisch begrip over hoe verschillende architecturen in-context retrieval implementeren en of ze robuuste, generaliseerbare oplossingen leren (zoals inductie) of vertrouwen op breekbare, positieafhankelijke heuristieken.

Methodologie

De auteurs stellen een kader voor mechanistische evaluatie voor met behulp van causale interventies om te analyseren hoe modellen retrieval-taken oplossen.

Taken:
- Associative Recall (AR): Een synthetische taak waarbij een model een sequentie van sleutel-waarde paren (key-value pairs) gepresenteerd krijgt, gevolgd door een query-sleutel, waarna het model de bijbehorende waarde moet produceren.
- Associative Treecall (ATR): Een nieuwe, hiërarchische retrieval-taak gegenereerd via een Probabilistic Context-Free Grammar (PCFG). In tegenstelling tot AR, waar sleutels en waarden aangrenzend zijn, vereist ATR het associëren van niet-aangrenzende tokens op basis van latente boomstructuren, wat de retrieval in de echte wereld nauwer nabootst.
Mechanistische Metrieken (Interchange Interventies):
- De auteurs maken gebruik van interchange interventies (Geiger et al., 2021; 2024) op de interne toestanden van het model.
- Procedure: Ze corrumperen een specifieke token in de input (bijv. de sleutel) om de prestaties te verslechteren. Vervolgens interveniëren ze op specifieke verborgen toestanden (bij de sleutel, waarde of query-positie) binnen specifieke lagen, waarbij de gecorrumpeerde representatie wordt vervangen door een "schone" representatie van een contrafactuele input.
- Metriek: Ze meten in welke mate deze interventie de waarschijnlijkheid van het juiste antwoord herstelt. Een hoge herstelgraad bij de waarde (value) duidt op een inductie-mechanisme (het opslaan van associaties bij de waarde voor latere retrieval). Een hoge herstelgraad bij de query of sleutel (key) duidt op directe retrieval (het direct berekenen van de associatie bij de query of een specifieke laag).
Geëvalueerde Architecturen:
- Transformers (Attention)
- SSM's: Mamba, DeltaNet, H3, Hyena
- Hybride Modellen: Based, BaseConv, DeltaNet
Ablatie-studies:
- Systematische verwijdering of modificatie van korte convoluties (variërende kernel-groottes $d_{conv}$ ) in Mamba en Based om hun noodzaak voor associatie te bepalen.

Belangrijkste Bijdragen en Resultaten

1. Divergerende Mechanismen bij Gelijke Nauwkeurigheid

Gedragsmatige metrieken laten zien dat Transformers, Based en Mamba een hoge nauwkeurigheid bereiken op AR, terwijl andere SSM's (H3, Hyena) falen. Echter, mechanistische analyse onthult fundamentele verschillen:

Transformers en Based: Leren een inductie-mechanisme. Ze slaan sleutel-waarde associaties op bij de waarde-token tijdens de forward pass, waardoor een daaropvolgende laag het antwoord kan ophalen. Dit is een robuuste, twee-lagen oplossing.
Mamba en DeltaNet: Gebruiken primair directe retrieval. Ze berekenen de associatie bij de query-token (vaak in laag 0 of 1) zonder de associatie expliciet op te slaan bij de waarde-token.
H3 en Hyena: Slagen er niet in de taak effectief te leren onder deze omstandigheden.

2. De Kritieke Rol van Korte Convoluties

De auteurs identificeren korte convoluties als het cruciale onderdeel dat associatie mogelijk maakt in Mamba en Based:

In Mamba: Korte convoluties zijn noodzakelijk voor AR. Wanneer de convolutie-kernel-grootte wordt verminderd tot 1 of wordt verwijderd, stort de prestatie van Mamba op AR naar bijna nul.
Mechanisme in Mamba: In tegenstelling tot de aanname dat Mamba uitsluitend op de SSM-toestand vertrouwt, vinden de auteurs dat de korte convolutie binnen Mamba de inductie-achtige associatiestap uitvoert (het verplaatsen van sleutelinformatie naar de waarde of de volgende sleutel), terwijl het SSM-component de retrieval afhandelt.
In Based: Het vervangen van korte convoluties door impliciete lange convoluties verslechtert de prestaties aanzienlijk, wat de noodzaak van het korte receptieve veld voor deze specifieke taak bevestigt.

3. Generalisatie naar Hiërarchische Retrieval (ATR)

De auteurs introduceren ATR om te testen of deze mechanismen verder gaan dan aangrenzende tokens:

Gedragsmatige Resultaten: Mamba presteert beter dan of gelijk aan alle andere architecturen op ATR, zelfs zonder korte convoluties.
Mechanistische Verschuiving: Op ATR leert Mamba zonder korte convoluties succesvol een twee-lagen inductie-mechanisme (opslag bij de waarde), vergelijkbaar met Transformers.
Implicatie: Dit suggereert dat Mamba de capaciteit bezit voor inductie, maar standaard kiest voor directe retrieval via korte convoluties op eenvoudigere, aangrenzende taken (AR). De afhankelijkheid van korte convoluties is taakafhankelijk; ze zijn essentieel voor AR, maar niet strikt noodzakelijk voor ATR, waar het model kan terugvallen op een algemener inductie-mechanisme.

Betekenis en Claims

Het artikel betoogt dat mechanistische evaluaties essentieel zijn voor het begrijpen van architecturale capaciteiten, aangezien gedragsmatige nauwkeurigheid alleen misleidend kan zijn.

Substantiële Verschillen: Architecturen met gelijke nauwkeurigheid (bijv. Transformers vs. Mamba) kunnen fundamenteel verschillende interne mechanismen hanteren. Transformers en Based leren een generaliseerbaar inductie-mechanisme, terwijl het succes van Mamba op AR sterk afhankelijk is van een specifiek architecturaal component (de korte convolutie) dat inductie lokaal implementeert.
Taakafhankelijkheid: De geleerde mechanismen zijn niet statisch; Mamba past zijn strategie aan op basis van de taakstructuur (aangrenzend versus hiërarchisch).
Ontwerpimplicaties: De bevindingen suggereren dat korte convoluties een belangrijke enabler zijn voor associatief geheugen in SSM's, maar dat hun afwezigheid de leer van inductie-mechanismen niet in de weg staat als de taakstructuur (zoals ATR) dit vereist.
Toekomstige Richting: De auteurs stellen dat mechanistische metrieken als een standaardinstrument voor architectuuranalyse moeten worden geadopteerd om de "black box" van AI-vooruitgang te openen, waarbij men verder gaat dan intuïtie en empirische benchmarking om te verklaren hoe modellen taken oplossen.

Het artikel concludeert dat hoewel synthetische taken zoals AR de architecturale innovatie hebben gestimuleerd, het louter behandelen van deze als gedragsmatige benchmarks waardevolle signalen negeert. Door causale interventies toe te passen, onthullen de auteurs dat het "succes" van SSM's op retrieval-taken vaak rust op specifieke, taakgevoelige componenten in plaats van op een universele, robuuste inductie-capaciteit die inherent is aan de SSM-formulering zelf.