🧬 biology

Relational reasoning and inductive bias in transformers and large language models

Dit artikel onderzoekt hoe transformers transitieve inferentie uitvoeren en onthult dat, terwijl in-weights leren van nature lineaire embedding ontwikkelt voor robuuste generalisatie, in-context leren doorgaans afhankelijk is van kopieerstrategieën tenzij het is voorgeïntroduceerd op lineaire taken of expliciet wordt aangezet tot het construeren van lineaire mentale kaarten, wat benadrukt dat zowel trainingsregimes als representatiegeometrie cruciaal zijn voor relationele redeneercapaciteiten.

Oorspronkelijke auteurs: Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe de wereld werkt. Je wilt weten of hij kan begrijpen dat als A groter is dan B, en B groter is dan C, dan A per definitie groter moet zijn dan C. Dit heet "transitief redeneren", een klassiek logisch raadsel dat mensen en zelfs apen van nature oplossen.

Dit onderzoek onderzoekt hoe twee verschillende soorten "leren" in AI-modellen (specifiek Transformers) dit raadsel aanpakken. De auteurs vonden dat hoe de robot leert, bepaalt wat hij leert.

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De twee leerstijlen: De "Harde Schijf" versus de "Flitskaart"

De studie vergelijkt twee manieren waarop een model leert:

In-Weights Learning (IWL) – De "Harde Schijf"-aanpak:
Stel je voor dat je leert voor een toets door feiten te memoriseren totdat ze permanent in je brein (of op een harde schijf) zijn geëtst. Zodra de training voorbij is, "weet" de robot de regels.
- Het resultaat: Wanneer de robot op deze manier leerde, memoriseerde hij niet alleen de specifieke paren die hij zag (A>B, B>C). Hij bouwde een mentale "getallenlijn". Hij begreep dat alles een rangorde heeft. Omdat hij deze mentale kaart had, kon hij gemakkelijk de relatie raden tussen items die hij nooit samen had gezien (zoals A en C). Hij gedroeg zich precies als een mens of een aap, en werd beter in het raadsel naarmate de items verder uit elkaar stonden op de lijst.
In-Context Learning (ICL) – De "Flitskaart"-aanpak:
Stel je voor dat je een toets maakt, maar je mag direct voor je neus kijken naar een spiekbriefje (de context). Je memoriseert de regels niet; je kijkt gewoon naar de voorbeelden die op dat moment worden gegeven om de specifieke vraag op te lossen.
- Het resultaat: Wanneer de robot op deze manier leerde, was hij zeer slim in het kopiëren van wat hij op het spiekbriefje zag. Als het spiekbriefje zei "A > B", en de vraag was "A > B", had hij het goed. Maar als de vraag "A > C" was (wat niet op het briefje stond), faalde hij. Hij bouwde geen mentale kaart; hij speelde gewoon een spelletje "Matchen en Kopiëren". Hij loste het raadsel alleen op als het antwoord letterlijk in de prompt stond.

2. Het "Aha!"-moment: De robot leren denken in lijnen

De onderzoekers vroegen zich af: Kunnen we de "Flitskaart"-robot erin luizen om te denken als de "Harde Schijf"-robot?

Ze probeerden de "Flitskaart"-robot voor te trainen op een andere taak: Lineaire Regressie. Denk hierbij aan het leren van de robot om een rechte lijn te trekken door een set punten.

De magie: Zodra de robot leerde om rechte lijnen te trekken (een lineair verband), begon hij plotseling het transitief redeneren-raadsel perfect op te lossen, zelfs wanneer hij de "Flitskaart"-methode gebruikte.
Waarom? Omdat het trekken van een lijn je dwingt te begrijpen dat getallen een orde hebben (1, 2, 3...). Zodra de robot dit "lijn"-concept begreep, kon hij het toepassen op het nieuwe raadsel. Hij stopte met alleen kopiëren en begon te redeneren.

3. De realiteitstest: Grote Taalmodellen bevragen

Tot slot testte het team dit op enorme, real-world AI-modellen (Grote Taalmodellen zoals die waarmee je misschien chat). Ze gaven deze modellen logische raadsels waarbij de feiten ofwel:

Waar waren (bijv. "Een walvis is groter dan een vis").
Onwaar waren (bijv. "Een vis is groter dan een walvis" – waardoor het model zijn geheugen moest negeren en alleen naar de nieuwe feiten moest kijken).

Ze gaven de modellen een "hint" over hoe ze het probleem konden visualiseren:

Hint A (De Getallenlijn): "Stel je voor dat deze items op een rechte lijn staan, van kleinste tot grootste."
Hint B (De Cirkel): "Stel je voor dat deze items op een cirkel staan."

De bevinding:

Wanneer de modellen werd verteld om een rechte lijn te gebruiken, losten ze de logische raadsels veel beter op, vooral de lastige waarbij ze hun voorkennis moesten negeren.
Wanneer ze werd verteld om een cirkel te gebruiken, hadden ze moeite. Waarom? Omdat op een cirkel de regels van "groter dan" niet meer werken (als je om de cirkel gaat, kan A groter zijn dan B, B groter dan C, maar C kan om de cirkel heen en toch groter zijn dan A). De "cirkel"-geometrie verwarde de logica.

De grote les

De studie concludeert dat geometrie ertoe doet.

Als een AI-model leert om feiten op te slaan in zijn "brein" (gewichten), bouwt het van nature een rechte-lijn-kaart van de wereld op, waardoor het logisch kan redeneren.
Als een AI-model alleen vertrouwt op de informatie voor zich (context), neigt het alleen patronen te kopiëren, tenzij het specifiek is getraind om in "lijnen" te denken.
Zelfs voor gigantische, slimme AI-modellen helpt het hen simpelweg te vertellen om "een rechte lijn te visualiseren" meer dan hen te vertellen om "een cirkel te visualiseren".

Kortom: Om AI te laten redeneren zoals een mens, moet je niet alleen meer data geven; je moet het de juiste vorm van denken geven.

Technische Samenvatting: Relationeel Redeneren en Inductieve Bias in Transformers en Grote Taalmodellen

Probleemstelling

Op transformers gebaseerde modellen hebben opmerkelijke redeneercapaciteiten aangetoond, maar de mechanismen die ten grondslag liggen aan relationeel redeneren—specifiek het vermogen om relaties tussen indirect gerelateerde items af te leiden—blijven slecht begrepen. Er bestaat een kritieke kloof in het onderscheid hoe modellen transitieve inferentie uitvoeren (bijvoorbeeld: als $A > B$ en $B > C$ , dan $A > C$ ) onder twee verschillende leerregimes:

In-Weights Learning (IWL): Informatie wordt opgeslagen in de parameters van het model tijdens het trainen.
In-Context Learning (ICL): Informatie wordt dynamisch binnen de invoersequentie bij inferentie tijd aangeleverd.

Hoewel ICL is onderzocht in classificatie en regressie, is het gedrag ervan in relationele redeneertaken onduidelijk. Het is moeilijk te bepalen of grote taalmodellen (LLM's) vertrouwen op vooraf opgeslagen kennis die in de gewichten is gecodeerd of dat ze echte in-context inferentie uitvoeren, grotendeels vanwege de beperkte controle over trainingsdata in voorgeprogrammeerde modellen. Dit artikel onderzoekt hoe deze leermodes verschillen in hun inductieve bias en generalisatiepatronen, waarbij transitieve inferentie wordt gebruikt als een prototypische taak.

Methodologie

De auteurs hanteerden een veelzijdige aanpak die gecontroleerde experimenten op kleine, vanaf nul getrainde transformers combineerde met proefexperimenten op grote taalmodellen (LLM's).

1. Opzet van de Transitieve Inferentietaken

De kerntaak omvat een hiërarchie van items (bijvoorbeeld: $A > B > C > \dots > G$ ).

Invoer: Paren van items (tokens) met labels die hun relatieve volgorde aangeven (+1 als eerste > tweede, -1 anders).
Trainingsdata: Modellen worden uitsluitend getraind op aangrenzende paren (symbolische afstand = 1, bijvoorbeeld $A>B$ , $B>C$ ).
Evaluatie: Modellen worden getest op niet-aangrenzende paren (symbolische afstand > 1, bijvoorbeeld $A>C$ ) om transitieve generalisatie te meten.
Architectuur: Een tweelaags transformer, uitsluitend met aandacht (zonder MLP's voor interpreteerbaarheid), die ResNet18-embeddings van Omniglot-afbeeldingen gebruikt als invoerfeatures.

2. Experimentele Voorwaarden

De studie vergelijkt drie specifieke trainingsregimes:

IWL (Vaste Hiërarchie): De hiërarchie is vast voor alle trainingssequenties. Contextvoorbeelden zijn willekeurig en irrelevant, waardoor het model de rangschikkingsstructuur in zijn gewichten moet leren.
Standaard ICL (Dynamische Hiërarchie): Een nieuwe willekeurige hiërarchie wordt toegewezen voor elke trainingssequentie. De context bevat alle aangrenzende paren voor die specifieke sequentie. Het model moet de rangschikking uit de context afleiden, wat het opslaan van specifieke hiërarchieën in de gewichten verhindert.
ICL met Pre-training op Lineaire Regressie: Modellen worden eerst gepre-traind op een in-context lineaire regressietaken (voorspellen van $y = Wx$) waarbij de gewichten $W$ per sequentie veranderen. Dit dwingt het model om via ICL een latente lineaire representatie te leren voordat het wordt geëvalueerd op de transitieve inferentietaken.

3. Mechanistische Analyse

Om te begrijpen hoe modellen de taak oplossen, maakten de auteurs gebruik van:

Principal Component Analysis (PCA): Om de geometrie van verborgen laagrepresentaties te visualiseren.
Analyse van Aandachtspatronen: Om specifieke circuitmechanismen te identificeren, zoals "inductiekoppen" (aandacht voor het vorige token + inductiekoppen).
Ablatiestudies: Systematisch verwijderen van aandachtskoppen om de causale belangrijkheid te testen.

4. Proefexperimenten met Grote Taalmodellen (LLM's)

Om generaliseerbaarheid te testen, gebruikten de auteurs de ReCogLab-dataset met voorgeprogrammeerde LLM's (Gemini- en Gemma-families). Zij hanteerden een congruentieparadigma:

Congruent: Relaties komen overeen met wereldse kennis (bijvoorbeeld: Walvis > Dolfijn).
Incongruent: Relaties staan in tegenspraak met wereldse kennis (bijvoorbeeld: Goudvis > Dolfijn).
Geometrisch Steigersysteem: Prompts werden aangevuld met instructies om items te visualiseren op een lineaire getallenlijn (ondersteunt transitiviteit) versus een cirkel (schendt transitiviteit door wrap-around).

Belangrijkste Resultaten

1. Divergent Gedrag in IWL versus Standaard ICL

IWL-modellen: Vertonen van nature transitieve inferentie ondanks training uitsluitend op aangrenzende paren. Ze vertonen mensachtige gedrags-effecten:
- Symboolafstandseffect: De nauwkeurigheid neemt toe naarmate de afstand tussen items in de hiërarchie toeneemt.
- Einditem-effect: Hogere prestaties voor items aan de uiteinden van de hiërarchie.
- Representaties: PCA onthult een continue, lineaire embedding waarbij items zijn gerangschikt op basis van de getekende symbolische afstand.
Standaard ICL-modellen: Falen om transitief te generaliseren wanneer ze uitsluitend op aangrenzende paren worden getraind.
- Ze bereiken hoge nauwkeurigheid op aangrenzende paren (in memorisatie) en einditems, maar presteren op niveau van toeval op interne niet-aangrenzende paren.
- Mechanisme: Ze vertrouwen op een inductiecircuit (match-en-kopieer-strategie) in plaats van relationele structuren te leren. PCA toont geen op afstand gebaseerde representaties; het model kopieert simpelweg het label uit de context als het paar aanwezig is.
- Opmerking: Als ICL-modellen expliciet worden getraind op niet-aangrenzende paren, kunnen ze transitiviteit leren, maar vertonen ze niet het symboolafstandseffect dat bij IWL wordt waargenomen.

2. De Rol van Lineaire Pre-training

Pre-training van ICL-modellen op in-context lineaire regressie verandert hun gedrag fundamenteel.
Deze modellen vertonen transitieve inferentie, symboolafstandseffecten en einditem-effecten op de daaropvolgende TI-taak.
Mechanisme: Het inductiecircuit verdwijnt. In plaats daarvan ontwikkelt het model gedistribueerde representaties die hiërarchische relaties vastleggen, vergelijkbaar met de IWL-modellen. De lineaire regressietaken induceert een additieve representatiestructuur (scalar rangen) waarbij transitiviteit wiskundig ontstaat ( $rang(A) > rang(B) \land rang(B) > rang(C) \implies rang(A) > rang(C)$ ).

3. Bevindingen bij Grote Taalmodellen

Congruentie: LLM's presteren beter op congruente relationele redeneerprobes (waarbij gebruik wordt gemaakt van opgeslagen IWL-achtige kennis) dan op incongruente probes (die pure ICL vereisen).
Geometrisch Steigersysteem: Wanneer ze worden geprompt met incongruente taken, verbeteren lineaire geometrische prompts ("Stel je een getallenlijn voor") de transitieve inferentie aanzienlijk in vergelijking met cirkelvormige prompts ("Stel je een cirkel voor").
Dit effect is het meest uitgesproken onder incongruente omstandigheden en schaalt met de modelgrootte (bij Gemma-modellen), wat suggereert dat LLM's latente lineaire representaties bezitten die kunnen worden geactiveerd door een passende geometrische framing.

Belangrijkste Bijdragen

Karakterisering van Inductieve Bias: Het artikel toont aan dat IWL en ICL leiden tot kwalitatief verschillende computationele strategieën. IWL induceert van nature een lineaire, transitieve bias, terwijl standaard ICL standaard uitwijkt naar een match-en-kopieer-strategie tenzij de trainingsdata of pre-training expliciet relationele generalisatie vereist.
Mechanistische Uitleg: De auteurs identificeren dat het gebrek aan transitieve generalisatie in standaard ICL het gevolg is van de vorming van inductiecircuits (patroonherkenning) in plaats van het leren van relationele structuren. Omgekeerd onderdrukt pre-training op lineaire regressie deze circuits ten gunste van gedistribueerde lineaire representaties.
Brug tussen Kleine Modellen en LLM's: Door gebruik te maken van geometrische prompting, toont de studie aan dat de bevindingen uit gecontroleerde, kleinschalige experimenten generaliseren naar moderne LLM's. Het biedt bewijs dat het vermogen van LLM's om transitief redeneren uit te voeren, afhankelijk is van het toegankelijk maken van passend gestructureerde representaties, hetzij opgeslagen in gewichten of geactiveerd via context.

Betekenis en Beweringen

Het artikel beweert dat het vermogen tot transitieve inferentie in transformers geen vaste capaciteit is, maar kritiek wordt bepaald door:

Het Trainingsregime: Of informatie in-weights of in-context wordt geleerd.
De Geometrische Structuur van Representaties: Of de geïnduceerde representaties lineair zijn (transitiviteit ondersteunend) of vertrouwen op patroonherkenning.

De auteurs concluderen dat hoewel transformers transitieve inferentie kunnen uitvoeren, standaard ICL op aangrenzende paren deze vaardigheid niet automatisch oplevert. In plaats daarvan vereist het óf specifieke pre-training die lineaire representaties induceert (zoals lineaire regressie) óf de activering van latente lineaire structuren via geometrische prompting in LLM's. Dit werk benadrukt dat "redeneren" in LLM's vaak een reflectie is van de geometrische structuur van de representaties die ze worden gedwongen te gebruiken of toegang toe hebben, in plaats van een inherent logisch deductiemechanisme.