💬 NLP

Can Large Language Models Generalize Procedures Across Representations?

Dit artikel toont aan dat een tweestaps reinforcement learning-curriculum, waarbij grote taalmodellen sequentieel worden getraind op symbolische data (code/grafen) gevolgd door natuurlijke taal, effectieve cross-representatie generalisatie van procedurele taken mogelijk maakt, waardoor een klein 1,5B-model de zero-shot planningprestaties van GPT-4o kan evenaren.

Oorspronkelijke auteurs: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Gepubliceerd 2026-06-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een taart moet bakken. Je hebt drie manieren om de robot instructies te geven:

Natuurlijke taal: Een recept in een boek ("Meng de bloem, voeg dan de eieren toe...").
Code: Een computerprogramma dat de stappen en de timing opsomt.
Graaf: Een stroomdiagram met pijlen die laten zien welke stap vóór de volgende moet plaatsvinden.

De grote vraag die dit artikel stelt is: Als je de robot leert met behulp van het stroomdiagram (Graaf) of de code, weet hij dan automatisch hoe hij het geschreven recept (Natuurlijke taal) moet volgen?

De onderzoekers ontdekten dat het antwoord grotendeels nee is.

Het Probleem: De "Taalbarrière"

De auteurs ontdekten dat Large Language Models (LLM's) als studenten zijn die erg goed zijn in het onthouden van het formaat van de instructies, maar slecht in het begrijpen van de logica erachter.

De "Single-Format" Valstrik: Als je een robot alleen traint op stroomdiagrammen, wordt hij een meester in stroomdiagrammen. Maar als je hem vervolgens vraagt een probleem op te lossen met behulp van een geschreven recept, raakt hij in de war. Hij beseft niet dat "Stap A moet vóór Stap B gebeuren" in een stroomdiagram precies dezelfde regel is als "Doe eerst A, doe dan B" in een zin.
De "Luie" Afkorting: Wanneer de robot probeert het antwoord in een nieuw formaat te raden, neemt hij vaak een luie afkorting. In plaats van de complexe volgorde van stappen te achterhalen (het "kritieke pad"), telt hij gewoon alle tijden bij elkaar op. Het is alsof iemand probeert de snelste route naar het werk te berekenen door de tijd van elke mogelijke weg bij elkaar op te tellen, in plaats van daadwerkelijk de kortste route te vinden.

De Oplossing: Een Tweefasen Trainingskamp

Omdat de robot het niet gewoon zelf kon "uitzoeken", ontwierpen de auteurs een speciaal trainingscurriculum (een lesplan) om dit op te lossen. Denk aan het leren van een muziekinstrument:

Fase 1: De Wiskundeles (Symbolische Training): Eerst leren ze de robot met de "harde" formaten (Code en Stroomdiagrammen). Dit dwingt de robot om de strikte, logische regels van de procedure te leren zonder afgeleid te worden door mooie woorden. Het is als het leren van de muziektheorie voordat je een liedje probeert te spelen.
Fase 2: De Jam-sessie (Natuurlijke Taal Adaptatie): Zodra de robot de logica begrijpt, schakelen ze over naar het onderwijzen met natuurlijke taal (het recept). Omdat de robot de regels al kent van Fase 1, kan hij deze nu toepassen op de nieuwe taal.

Het Resultaat: Deze tweestapsmethode deed wonderen. Een kleine robot (1,5 miljard parameters) die op deze manier getraind was, presteerde bijna net zo goed als een enorme, superintelligente robot (GPT-4o) die deze specifieke training nog nooit had gezien.

Het Geheime Ingrediënt: "Generatieve Analogie"

Waarom werkte dit? Het artikel suggereert dat de robot leerde om generatieve analogie te gebruiken.

Frequentie vs. Analogie:
- Frequentie is als onthouden dat "Koning + Koningin = Koninklijk" omdat je het een miljoen keer hebt gezien.
  - Analogie is het begrijpen van de relatie tussen woorden zodat je deze op nieuwe zaken kunt toepassen (bijv. "Dokter + Verpleegkundige = Ziekenhuisteam").
De onderzoekers ontdekten dat de succesvolle robots niet alleen patronen memoriseerden; ze bouwden een mentale brug. Ze realiseerden zich: "Oh, deze stroomdiagramstructuur is analogoog aan deze zinsstructuur." De twee-fasen training dwong hen om die brug te bouwen.

De Addertjes onder het Gras: Het Is Nog Geen Magie

Het artikel maakt een belangrijk onderscheid tussen robots en mensen:

Mensen zijn als genieën die een stroomdiagram één keer kunnen bekijken en onmiddellijk begrijpen hoe ze het recept moeten schrijven. Wij generaliseren direct.
Robots zijn als ijverige studenten die de logica in één formaat een lange tijd moeten oefenen voordat ze dit succesvol kunnen toepassen op een ander formaat. Ze hebben dat "extra huiswerk" (de tweefasen training) nodig om de connectie te maken.

Samenvatting

Het artikel bewijst dat het simpelweg trainen van AI op code of grafen het niet automatisch goed maakt in taken met natuurlijke taal. Echter, als je het eerst traint op de logica (met behulp van code/grafen) en het daarna de taal leert, kan het leren die logische regels te vertalen naar menselijke spraak. Dit verandelt de AI van een patroon-memorizer in een echte probleemoplosser die het "waarom" achter de stappen kan begrijpen, en niet alleen het "wat".

Technische Samenvatting: Kunnen Large Language Models procedures generaliseren over representaties heen?

Probleemstelling

Large Language Models (LLM's) worden uitgebreid getraind op symbolische representaties zoals code en grafen, maar de taken van gebruikers in de echte wereld worden voornamelijk gespecificeerd in natuurlijke taal (NL). Een cruciale, onderbelichte capaciteit voor robuuste LLM's is cross-representatie generalisatie: het vermogen om procedurele kennis die geleerd is in één representatie (bijv. code of grafen) te transfereren naar taken die gespecificeerd zijn in een andere (bijv. natuurlijke taal).

Bestaand onderzoek verwart vaak oppervlakkige representatiefactoren met diepere structurele factoren, waardoor het niet lukt te isoleren of symbolische training het natuurlijke taalredeneren ondersteunt of juist belemmert. Bovendien identificeert de cognitieve wetenschap generatieve analogie — het vermogen om geleerde structuren over representaties heen te mappen door gedeelde onderliggende structuren uit te lijnen — als een kernmechanisme van menselijk redeneren, terwijl LLM's primair worden bestudeerd op proportionele analogieën met een hoge oppervlakkige gelijkenis. Dit artikel onderzoekt of LLM's in staat zijn om procedures te generaliseren over isomorfe taken gepresenteerd in natuurlijke taal, grafen en code, en zo niet, hoe dit gat gedicht kan worden.

Methodologie

Experimentele Opzet

De auteurs hebben een gecontroleerde experimentele setting geconstrueerd met behulp van isomorfe taken, waarbij het onderliggende algoritme identiek blijft, maar de oppervlakkige representatie varieert. De primaire taak is asynchrone planning (het plannen van stappen met afhankelijkheden en tijdsduur), geformaliseerd als het vinden van het langste pad (kritieke pad) in een Directed Acyclic Graph (DAG).

Natuurlijke Taal (NL): Taken beschreven als stap-voor-stap instructies met afhankelijkheden (bijv. "Stap 1 moet voorafgaan aan Stap 3").
Graaf: Taken gerepresenteerd als adjacency lijsten en knoopgewichten.
Code: Taken gerepresenteerd als Python-snippets die DAG longest-path algoritmen implementeren met specifieke inputs.

De studie evalueerde drie modelfamilies (Qwen-2.5, Llama-3, Olmo-2) over verschillende schalen (1.5B tot 7B parameters) met behulp van vier post-training strategieën:

Vanilla SFT: Fine-tuning op prompt-antwoord paren zonder Chain-of-Thought (CoT).
Distillatie: Training op CoT-redeneringen gegenereerd door een sterker docent-model (DeepSeek-R1-Distill-Qwen-32B).
STaR (Self-Taught Reasoner): Een bootstrapping methode waarbij het model traint op zijn eigen correcte generaties.
GRPO (Group Relative Policy Optimization): Een reinforcement learning methode die gebruikmaakt van verifieerbare outcome beloningen.

Voorgestelde Oplossing: Twee-fasen RL-curriculum

Om het waargenomen falen van training met één enkele representatie aan te pakken, stellen de auteurs een twee-fasen reinforcement learning curriculum voor:

Fase 1 (Symbolische Inductie): Train het model op symbolische data (Graaf of Code) om abstracte procedures te leren.
Fase 2 (Natuurlijke Taal Adaptatie): Train het model continu op Natuurlijke Taal data om de geleerde procedures aan te passen aan de doelrepresentatie.

Deze aanpak scheidt het leren van abstracte structuur van de aanpassing van de oppervlakkige vorm.

Belangrijkste Resultaten

1. Falen van Naïeve Cross-Representatie Generalisatie

Symbolisch naar NL: Training uitsluitend op Graaf- of Code-data levert een hoge prestatie binnen die representaties op, maar faalt bij het generaliseren naar NL-taken. Prestaties vallen vaak weg bij verschuivingen in representatie, zelfs wanneer de onderliggende logica identiek is.
NL naar Symbolisch: Training uitsluitend op NL-data leidt tot inefficiënte prestatiewinsten en draagt niet betrouwbaar over naar symbolische taken.
Methode Vergelijking: Hoewel GRPO en Distillatie sterke prestaties binnen de eigen representatie laten zien, lossen ze de cross-representatie kloof niet inherent op. Het schalen van modelparameters (bijv. van 1.5B naar 7B) verandert dit falingspatroon niet kwalitatief; grotere modellen vertonen vaak een scherpere daling in out-of-distribution prestaties.

2. Effectiviteit van het Twee-fasen Curriculum

Prestatiewinsten: Het Graaf $\to$ NL curriculum verbetert de prestaties aanzienlijk. Een 1.5B Qwen-model getraind met dit curriculum presteert beter dan zijn 7B variant die alleen op NL is getraind en evenaart de zero-shot prestaties van GPT-4o op de asynchrone planning taak.
Robuustheid: Het curriculum vertoont robuustheid tegen linguïstische variaties en presteert beter dan baselines op NL-AAVE (African American Vernacular English), een dialectvariant die frontier modellen uitdaagt.
Orde Gevoeligheid: De volgorde van training is cruciaal. Het omkeren van het curriculum (NL $\to$ Graaf) presteert slechter dan alleen op NL trainen, wat aangeeft dat symbolische inductie noodzakelijk is om de structurele basis te vestigen voordat adaptatie kan plaatsvinden.
Generalisatie: De voordelen van het curriculum strekken zich uit voorbij planning naar Wiskunde en Fysica taken, wat een verbeterde generalisatie over domeinen laat zien.

3. Mechanisme van Generalisatie: Generatieve Analogie

De auteurs analyseren of succes wordt gedreven door datafrequentie of structurele gelijkenis (analogie).

Correlatie Analyse: Met behulp van structure-mapping theorie kwantificeren zij de "analogische kracht" tussen trainings- en testinstanties. De resultaten tonen aan dat succesvolle cross-representatie generalisatie significant sterker correleert met hoge analogische kracht (structurele gelijkenis) dan met de frequentie van vergelijkbare trainingsinstanties.
Kwalitatief Bewijs: Modellen getraind met het curriculum vertonen meer systematisch redeneren (het itereren door meerdere paden om het langste pad te vinden) vergeleken met "lui redeneren" of eenvoudige sommatie die wordt waargenomen bij modellen die alleen op NL of Graaf alleen zijn getraind.

Betekenis en Claims

Het artikel beweert dat hoewel LLM's de capaciteit bezitten om te generaliseren over representaties heen, ze dit niet natuurlijk doen via standaard post-training methoden. In plaats daarvan moet deze capaciteit worden gecultiveerd via specifieke curricula.

Generatieve Analogie: De studie interpreteert succesvolle cross-representatie generalisatie als een vorm van generatieve analogie, waarbij het model gedeelde onderliggende structuren uitlijnt in plaats van oppervlakkige patronen te memoriseren. Het voorgestelde curriculum stimuleert deze analogische gedraging effectief.
Trainingsvereisten: In tegen tegenover het menselijke analogische redeneren, dat kan generaliseren met minimale blootstelling, vereisen LLM's uitgebreide training in de nieuwe representaties (via de adaptatiefase) om de abstracte procedures die in de symbolische fase zijn geleerd effectief te kunnen gebruiken.
Beperkingen: De auteurs merken op dat ondanks de verbeteringen, er een prestatiekloof blijft bestaan tussen standaard NL en dialectvarianten (NL-AAVE), wat wijst op aanhoudende uitdagingen in technologische eerlijkheid. Daarnaast beweert het artikel niet dat het enkel schalen van representaties tijdens de training het probleem zal oplossen, aangezien het schalen van een enkele representatie geen transfer opleverde.

Concluderend toont het werk aan dat een gestructureerd, twee-fasen RL-curriculum de kloof tussen symbolisch en natuurlijk taalredeneren kan overbruggen, waardoor kleinere modellen prestatieniveaus kunnen bereiken die vergelijkbaar zijn met veel grotere, zero-shot modellen op complexe procedurele taken.