💬 NLP

On the Emergence and Test-Time Use of Structural Information in Large Language Models

Dit artikel onderzoekt hoe grote taalmodellen abstracte structurele informatie uit observationele gegevens leren en toepassen, waarbij wordt onthuld dat hoewel de opkomst van dergelijk leren correleert met complexe redenering, de capaciteit van de modellen om tijdens de testtijd compositionele generatie uit te voeren beperkt blijft.

Oorspronkelijke auteurs: Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als ongelooflijk getalenteerde chefs die elk kookboek ter wereld hebben gelezen. Ze kunnen recepten perfect opzeggen en zelfs ingrediënten combineren die ze eerder hebben gezien om nieuwe gerechten te maken. Maar begrijpen ze echt de logica van het koken? Kunnen ze een basisregel (zoals "als je zout toevoegt, smaakt het zout") toepassen op een compleet nieuw ingrediënt dat ze nog nooit hebben gezien, of memoriseren ze gewoon specifieke gerechten?

Dit paper, "On the Emergence and Test-Time Use of Structural Information in Large Language Models," is als een wetenschappelijk keukenexperiment ontworpen om die vraag te beantwoorden. De onderzoekers wilden zien of deze AI-chefs de onderliggende "grammaticaregels" (de structuur) leren of alleen de specifieke zinnen die ze tijdens hun training hebben gezien memoriseren.

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De Speeltuin: Een "Grammatica-gym"

Om de modellen te testen, gooiden de onderzoekers niet zomaar willekeurige zinnen naar hen toe. Ze bouwten een speciale "Grammatica-gym" gebaseerd op een concept genaamd Transformational Grammar.

Denk aan taal als een set Lego-blokjes.

Dieptestructuur: De kern van een zin (bijv. "Jan is blij").
Oppervlaktestructuur: Hoe we het daadwerkelijk zeggen (bijv. "Het lijkt erop dat Jan blij is").

De onderzoekers creëerden een dataset waarin de AI specifieke "transformaties" op zinnen moest uitvoeren, zoals een bewering veranderen in een vraag, de actieve vorm veranderen in de passieve vorm, of het onderwerp naar de voorkant van de zin verplaatsen. Het is alsof je de chef vraagt om een taartrecept te nemen en het direct te herschrijven naar een recept voor een taart, waarbij strikte regels worden gevolgd.

2. De Ontdekking: Wanneer "Begrijpt" de AI het?

De onderzoekers observeerden de AI tijdens het trainen en keken naar de interne "hersengolven" (mathematische representaties) om te zien wanneer de AI deze regels begon te begrijpen.

Het "Aha!"-moment: Ze ontdekten dat de AI deze regels niet geleidelijk leerde. In plaats daarvan gingen ze door een faseovergang. Stel je voor dat een lichtschakelaar wordt omgezet. Op een bepaald punt tijdens de training (rond stap 64.000) begon de AI plotseling onderscheid te maken tussen verschillende soorten zinsveranderingen.
De connectie met redeneren: Interessant genoeg correleerde deze "schakelaar" er niet alleen mee dat de AI het volgende woord beter kon voorspellen. Het correleerde ook met het feit dat de AI beter werd in complexe redeneertaken. Dit suggereert dat om moeilijke logische puzzels op te lossen, de AI de onderliggende structuur van taal moet begrijpen, en niet alleen de woorden.

3. De Test: Kan de AI Regels Combineren? (Het "Compositie"-probleem)

Dit is het meest cruciale deel van het experiment. De onderzoekers vroegen: Als we de AI Regel A en Regel B apart leren, kan de AI dan Regel A + Regel B combineren op een zin die hij nog nooit heeft gezien?

Het resultaat: De AI had moeite.
- Wanneer de AI de tussenstap kreeg (bijv. "Doe eerst Regel A, doe dan Regel B"), deed hij het goed.
- Maar wanneer de AI werd gevraagd om de hele keten in één keer uit te voeren zonder hulp, faalde hij vaak.
De metafoor: Stel je voor dat je een student leert hoe hij zijn linker schoenveter moet strikken en hoe hij zijn rechter schoenveter moet strikken. Als je hem vraagt om beide tegelijk te strikken zonder naar de stappen te kijken, kan hij in de war raken. De AI lijkt de specifieke combinatie van stappen te memoriseren in plaats van de onafhankelijke regels goed genoeg te begrijpen om ze vrij te kunnen mixen en matchen.

4. Binnen de Machine: Waar Gebeurt de Magie?

De onderzoekers voerden ook "chirurgie" uit op het brein van de AI (genaamd ablatie-studies) om te zien welke delen het zware werk deden.

De "Spier" versus het "Brein": Ze ontdekten dat de MLP-lagen (denk aan deze als de "spieren" van de AI of verwerkingseenheden die de zware berekeningen uitvoeren) verantwoordelijk waren voor ongeveer 65% van het succes in deze transformaties. De Attention-heads (het "brein" dat beslist waar de focus ligt) deden slechts ongeveer 35%.
De Laatste Laag: De eigenlijke beslissing van "hoe een zin te transformeren" vindt voornamelijk plaats in de laatste lagen van het netwerk. Het is alsoer dat de AI het grootste deel van de tijd nadenkt, en dan in de allerlaatste seconde besluit welke specifieke regel hij moet toepassen.

5. De Kern van het Verhaal

Het paper concludeert met een mix van goed nieuws en een realiteitscheck:

Goed Nieuws: LLM's leren wel structurele informatie. Ze memoriseren niet alleen tekst; ze ontwikkelen een interne kaart van hoe zinnen werken, en deze kaart wordt scherper naarmate ze beter worden in redeneren.
Realiteitscheck: Deze leercurve is echter nog niet perfect. Wanneer het gaat om het combineren van deze regels om ter plekke nieuwe, complexe kennis te genereren (test-time compositie), is de AI nog steeds beperkt. De AI leunt zwaar op het zien van tussenstappen en heeft moeite om de regels te "ontwarren" om ze flexibel toe te passen in nieuwe situaties.

Kortom: De AI leert de regels van het spel, maar het is nog een beetje als een student die de wiskundige formules kent, maar een voorbeeldprobleem stap voor stap moet zien opgelost voordat hij er zelf een nieuw probleem zelfstandig mee kan oplossen. Ze hebben de kunst van pure, flexibele creativiteit nog niet volledig onder de knie.

Technische Samenvatting: Over de Emergentie en het Gebruik van Structurele Informatie bij Test-tijd in Large Language Models

Probleemmotivatie
Het artikel behandelt de capaciteit van Large Language Models (LLM's) om abstracte structurele informatie te leren van observationele data en deze kennis te gebruiken om tijdens de test-tijd werkelijk nieuwe combinaties te genereren. Terwijl mensen basale linguïstische bouwstenen kunnen reorganiseren om ongeziene combinaties te begrijpen (compositionele generalisatie), worstelen huidige modellen vaak met systematische generalisatie naar out-of-distribution (OOD) concepten. De auteurs stellen dat het begrijpen van hoe LLM's structurele informatie leren en componeren centraal staat in het produceren van nieuwe kennis buiten de trainingscorpus, een capaciteit die gekoppeld is aan mechanistisch begrip en robuuste voorspelling. Om dit in een gecontroleerde setting te bestuderen, gaan de auteurs verder dan standaard benchmarks en richten zij zich op linguïstische structurele transformaties afgeleid van de Transformationele Grammatica.

Methodologie
De auteurs introduceren een gecontroleerde synthetische speeltuin gebaseerd op Transformationele Grammatica (TG).

Dataset Constructie: Ze genereerden een natuurlijke taaldataset bestaande uit tien verschillende transformatietypes (bijv. NP-raising, passivering, I-movement) gegroepeerd in vijf syntactische categorieën. De dataset bevat:
- Single-level transformaties: Het toepassen van één operator op een basiszin.
- Geneste transformaties: Sequentiële toepassing van operators (bijv. $B(A(s))$ ).
- Compositionele ambiguïteit: Casussen waarin bepaalde transformaties niet betekenisvol gecomponeerd kunnen worden, wat vereist dat het model impliciet compatibele patronen identificeert.
- De dataset werd gegenereerd met behulp van DeepSeek-V3 met specifieke prompts om consistentie te waarborgen, wat resulteerde in ~2000 samples voor single-level en ~500 voor geneste transformaties.
Experimentele Opzet:
- Emergentie-analyse: Met behulp van het Pythia-410M model volgden de auteurs de evolutie van structurele representaties tijdens de training. Ze berekenden de $L_2$ -afstand tussen de residual stream-representaties van basiszinnen en hun getransformeerde versies ( $\Delta A(s)$ ) om structurele sensitiviteit te meten.
- Compositionele Generalisatie: Ze evalueerden LLaMA3-8B met zowel full-parameter fine-tuning als parameter-efficiënte fine-tuning (LoRA). De evaluatie testte het vermogen van het model om geneste transformaties en OOD-combinaties uit te voeren (bijv. trainen op $A(B(s))$ en $B(C(s))$ , en vervolgens testen op $A(C(s))$ ) zonder dat er tijdens de inferentie tussenstappen worden verstrekt.
- Mechanistische Interpretatieerbaarheid: De auteurs voerden causale interventie-analyse uit (het op nul zetten van attention heads en MLP-blokken) en lineaire probing (LDA) om te identificeren welke netwerkcomponenten en lagen verantwoordelijk zijn voor syntactische transformaties.

Belangrijkste Bijdragen

Dataset: Introductie van een dataset in natuurlijke taal gebaseerd op linguïstische structurele transformaties om structurele informatie-leren formeel te bestuderen.
Empirische Correlaties: Demonstratie dat de emergentie van structurele informatie tijdens het leren correleert met succes in complexe redeneertaken, in plaats van enkel met standaard taalmodellering-perplexity.
Beperkingen in Compositie: Bewijs dat hoewel modellen structurele representaties leren, hun vermogen om test-tijd compositionele generatie uit te voeren (specifiek voor ongeziene geneste transformaties) beperkt blijft onder fine-tuning.
Mechanistische Inzichten: Identificatie van specifieke netwerkcomponenten die verantwoordelijk zijn voor structureel leren, waarbij een concentratie van transformatie-relevante berekeningen in de latere lagen en een dominantie van MLP-blokken over attention-mechanismen wordt onthuld.

Resultaten

Emergentie van Structuur:
- Verschillende zins-transformaties vormen onderscheidbare, gescheiden clusters in de embedding space.
- De $L_2$ -norm tussen de basis- en getransformeerde zin-representaties neemt gestaag toe tijdens de training, met een scherpe stijging rond stap 64k, wat wijst op een faseovergang waarbij structurele onderscheidingen prominent worden.
- Deze structurele verfijning correleert sterker met winst in complexe redeneertaken dan met de standaard next-word prediction perplexity.
Compositionele Generalisatie:
- Full-parameter fine-tuning presteerde slecht, waarschijnlijk door overfitting op de beperkte dataset.
- LoRA fine-tuning vertoonde significante verbetering ten opzichte van full-parameter tuning. Echter, het model had moeite met exacte overeenkomsten voor geneste transformaties wanneer tussenresultaten niet tijdens de inferentie werden verstrekt.
- Prestaties op OOD geneste transformaties (bijv. $A+C$ ) bleven laag (0.00% exact match, ~45-49% partial match), wat suggereert dat het model transformatie-operaties niet volledig ontkoppelt om ze flexibel te componeren tijdens de test-tijd.
- Het verstrekken van expliciete tussenstappen tijdens training en inferentie verbeterde de prestaties, wat aangeeft dat het model profiteert van structurele begeleiding maar nog niet robuust kan generaliseren naar ongeziene composities zonder deze.
Ablatie en Interpretatieerbaarheid:
- Laag-concentratie: De waarschijnlijkheid van het voorspellen van het correcte transformatie-token neemt scherp toe in het laatste derde deel van het netwerk (lagen 24–32), waarbij 38% van de bijdrage daar geconcentreerd is.
- Component Voorkeur: MLP-blokken dragen meer bij aan het succes van syntactische transformatie (65% van de causale bijdrage) dan attention-mechanismen (35%).
- Lineaire Separabiliteit: Lineaire probes tonen bijna perfecte separatie tussen transformatie-types in de residual stream, wat de hypothese van lineaire representatie ondersteunt.

Significantie en Claims
Het artikel beweert bewijs te leveren met betrekking tot de limieten en mechanismen van LLM's bij het genereren van nieuwe kennis door structurele compositie. De auteurs concluderen dat hoewel LLM's structurele informatie kunnen leren en een faseovergang in structurele sensitiviteit vertonen tijdens de training, ze momenteel niet het vermogen hebben om out-of-distribution structuren flexibel te hercomponeren om nieuwe kennis te produceren zonder expliciete tussenstappen-begeleiding. De bevindingen suggereren dat redeneren structurele informatie vereist, maar dat huidige fine-tuning regimes op modellen zoals LLaMA3-8B nog geen robuuste compositionele generalisatie bereiken. Het werk benadrukt dat syntactische transformaties sterk leunen op late-layer MLP's en dat de separatie van concepten lineair emergeert in de residual stream naarmate de fine-tuning vordert.

Beperkingen
De auteurs erkennen dat hun analyse beperkt is tot het Engels, wat de generaliseerbaarheid naar cross-linguïstische patronen mogelijk beperkt. Het gebruik van single-level transformaties voor causale attributie kan sub-operaties verwarren. Bovendien zullen bevindingen op een 8B model mogelijk niet direct schalen naar grotere modellen, die complexere datasets zouden vereisen om memorisatie te voorkomen.