💬 NLP

Schema for In-Context Learning

Dit paper introduceert Schema-Activated In-Context Learning (SA-ICL), een raamwerk dat door het expliciet afleiden van abstracte cognitieve schema's uit voorbeelden de redeneercapaciteit van grote taalmodellen significant verbetert, met name bij complexe wetenschappelijke vragen.

Oorspronkelijke auteurs: Pan Chen, Shaohong Chen, Mark Wang, Shi Xuan Leong, Priscilla Fung, Varinia Bernales, Alan Aspuru-Guzik

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pan Chen, Shaohong Chen, Mark Wang, Shi Xuan Leong, Priscilla Fung, Varinia Bernales, Alan Aspuru-Guzik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Schema-Geactiveerde" LLM: Waarom een AI soms een "Wasmachine" nodig heeft om te begrijpen

Stel je voor dat je een zeer slimme, maar nogal letterlijke robot hebt. Deze robot kan alles lezen wat er op internet staat, maar als je hem een lastig vraagstuk voorlegt, kijkt hij vaak alleen naar de oppervlakte. Hij ziet woorden die op elkaar lijken, maar mist de diepere logica. Dit is precies het probleem dat deze nieuwe studie van Pan Chen en zijn team aanpakt.

Ze noemen dit probleem "Schema Slaapstand" (Schema Dormancy).

Hier is een simpele uitleg van wat ze hebben ontdekt en hoe ze het oplossen, met behulp van alledaagse vergelijkingen.

1. Het Probleem: De Robot die in de "Slaapstand" zit

In de menselijke wereld, als je een nieuw probleem ziet, haal je onbewust een "blauwdruk" of een schema uit je hoofd.

Vergelijking: Stel je voor dat je een rommelige kamer binnenloopt. Als je weet dat het een wasmachine is, zie je direct: "Ah, dit zijn kledingstukken, dit is zeep, en dit is een cyclus." Je begrijpt de chaos direct omdat je het schema van een wasmachine hebt geactiveerd.
Het probleem bij AI: Zonder die hint (het woord "wasmachine") ziet de AI alleen een lijst met woorden: "groeperen", "materialen", "herhalen". De AI raakt in de war en kan de logica niet snappen. De AI heeft het antwoord misschien wel in zijn geheugen, maar het is "in slaapstand" en wordt niet automatisch wakker gemaakt.

De onderzoekers noemen dit Schema Slaapstand: de AI kan het probleem oplossen als je het haar uitlegt, maar ze doet het niet vanzelf.

2. De Oplossing: SA-ICL (De "Wakker-Maker")

De oplossing die ze hebben bedacht heet Schema-Activated In-Context Learning (SA-ICL).
In plaats van de AI alleen een voorbeeld te geven (zoals: "Hier is een vraag, hier is het antwoord"), dwingen ze de AI eerst om een abstract blauwdruk te maken voordat ze het antwoord zoekt.

De Analogie:
- Oude manier (One-Shot): Je geeft de AI een foto van een auto en vraagt: "Hoe werkt dit?" De AI kijkt naar de wielen en deuren en raakt in de war.
- Nieuwe manier (SA-ICL): Je zegt eerst: "Denk eerst na over het schema van 'vervoermiddelen': ze hebben wielen, een motor en een bestuurder." Pas daarna geef je de foto. De AI zegt: "Ah, nu snap ik! Dit is een auto, en hier is hoe hij werkt."

De AI wordt gedwongen om eerst het raamwerk (het schema) te activeren. Dit zorgt ervoor dat de AI niet naar oppervlakkige details kijkt, maar naar de onderliggende structuur.

3. Hoe werkt het in de praktijk? (Het REAP-proces)

De onderzoekers hebben een stappenplan bedacht, dat ze REAP noemen (een woord dat je kunt onthouden als "oogst" in het Engels):

Representatie: De AI kijkt naar het probleem en maakt een eerste schets.
Retrieval (Ophalen): De AI zoekt in haar geheugen naar een passend blauwdruk (schema).
Examples (Voorbeelden): De AI haalt specifieke voorbeelden op die bij dat blauwdruk passen.
Activation (Activeren): De AI "schudt" het blauwdruk wakker en past het toe op het nieuwe probleem.

Dit is als een detective die eerst de misdadige methode (het schema) bepaalt voordat hij de specifieke dader zoekt.

4. Wat hebben ze ontdekt?

Ze hebben dit getest op moeilijke vragen uit de wetenschap, statistiek en financiën. De resultaten waren verrassend goed:

Beter dan alleen voorbeelden: Zelfs als je de AI dezelfde voorbeelden gaf, presteerde ze veel beter met SA-ICL.
Robuuster: Als je de AI een "verkeerd" voorbeeld gaf (bijvoorbeeld een vraag over biologie in een chemie-test), raakte de oude manier volledig in de war. De nieuwe methode (SA-ICL) viel minder snel uit elkaar.
Kleine modellen worden slim: Zelfs kleinere AI-modellen (die minder rekenkracht hebben) werden veel slimmer door deze methode. Het lijkt erop dat de "grote" modellen soms te star zijn, maar de kleinere modellen kunnen dit blauwdruk-proces heel goed gebruiken.

5. Waarom is dit belangrijk?

Vroeger dachten we dat AI's gewoon beter werden door meer voorbeelden te zien. Deze studie zegt: "Nee, het gaat niet om hoeveel voorbeelden, maar om hoe je de AI leert denken."

Door de AI te dwingen eerst een abstracte structuur te activeren, gaan ze minder "gokken" op oppervlakkige woorden en meer "redeneren" op basis van logica. Het is alsof je iemand niet alleen een antwoord geeft, maar hem eerst leert hoe hij moet nadenken over het soort probleem dat hij tegenkomt.

Kortom: De onderzoekers hebben een manier gevonden om AI's uit hun "slaapstand" te halen, zodat ze niet alleen naar de oppervlakte kijken, maar echt begrijpen wat er aan de hand is, net als een mens die een wasmachine herkent in een rommelige kamer.

Titel: Schema for In-Context Learning (SA-ICL)

Auteurs: Pan Chen, Shaohong Chen, Mark Wang, et al. (Universiteit van Toronto, Vector Institute, NVIDIA, etc.)
Datum: 31 maart 2026

1. Het Probleem: Schema Dormancy

Hoewel In-Context Learning (ICL) het mogelijk maakt voor Large Language Models (LLMs) om taken uit te voeren zonder parameterupdates, vertonen deze modellen vaak beperkingen in hun redeneervermogen. In plaats van abstracte redenering toe te passen, vertrouwen ze vaak op oppervlakkige patronen of "shortcuts".

De auteurs introduceren het concept Schema Dormancy (Schemaslaperigheid):

Definitie: Het fenomeen waarbij een LLM faalt om een relevant abstract redeneerkader (schema) spontaan te activeren tijdens inferentie, ondanks dat het model dit schema wel kan gebruiken wanneer het expliciet wordt geprompt.
Oorzaak: LLMs lijken te vertrouwen op oppervlakkige gelijkenis in plaats van structurele alignatie, wat leidt tot een gebrek aan diepgaand begrip en analogisch redeneren, vergelijkbaar met menselijke cognitieve beperkingen wanneer een schema niet wordt geactiveerd (gebaseerd op Schema Theory uit de cognitieve psychologie).

2. Methodologie: Schema-Activated ICL (SA-ICL)

Om Schema Dormancy aan te pakken, stellen de auteurs SA-ICL voor. Dit framework bootst het menselijke cognitieve proces na waarbij prior kennis wordt geabstraheerd en geactiveerd voordat een nieuwe vraag wordt beantwoord. Het framework volgt een proces genaamd REAP:

Problem Representation (R): Het model genereert een latente representatie van het invoerprobleem ( $S_x$ ).
Prior Schema Retrieval (R): Het model zoekt in een geheugenbank naar het meest relevante abstracte schema ( $\hat{S}$ ) dat overeenkomt met het probleem.
Episodic Examples Retrieval (E): Gebaseerd op het geselecteerde schema, worden specifieke voorbeelden (episodische traces) opgehaald die relevant zijn voor het huidige probleem.
Schema Activation (A): Het geselecteerde schema en de opgehaalde voorbeelden worden geïntegreerd met het huidige probleem. Dit kan leiden tot assimilatie (het schema past direct) of accommodatie (het schema moet worden aangepast). Dit creëert een geactiveerd, verfijnd schema ( $S_{new}$ ).
Schema-Guided Inference: Het model lost het probleem op door gebruik te maken van de input en het geactiveerde schema als context.

Technische Implementatie:

Het framework is compatibel met bestaande prompt-strategieën zoals Chain-of-Thought (CoT), Least-to-Most, Step-Back, en Deductive-driven.
Het gebruikt een geheugenstructuur waarbij associatiekrachten tussen schema's en voorbeelden verlopen over tijd (forgetting curve), wat zorgt voor dynamische selectie van relevante kennis.
Experimenten tonen aan dat het activeren van een schema de "attention entropy" (entropie van de aandachtslagen) verlaagt en de aandacht richt op structurele samenhang in plaats van oppervlakkige token-overeenkomsten.

3. Belangrijkste Bijdragen

Conceptuele Doorbraak: Het definiëren van "Schema Dormancy" als een fundamentele beperking in huidige ICL-methoden en het koppelen hiervan aan cognitieve wetenschap (Schema Theory).
Het SA-ICL Framework: Een unificerend framework dat abstracte redeneringstructuren expliciet activeert voordat een taak wordt uitgevoerd, waardoor de kloof tussen voorbeeld-gebaseerd leren en conceptueel begrijpen wordt overbrugd.
Empirische Validatie: Uitgebreide experimenten uitgevoerd op zeven verschillende modellen (inclusief GPT-4o, DeepSeek-R1-Distill-Llama, Llama-3, Qwen-3) over drie domeinen: Wetenschap (GPQA-Diamond), Statistiek (MMLUProStat) en Financiën (MMLUProFinance).
Analyse van Attention Dynamics: Bewijs dat schema-activering meetbare veranderingen veroorzaakt in de zelf-attentie-weights van het model, wat leidt tot een meer gestructureerde verwerking van informatie.

4. Resultaten

De experimenten tonen aan dat SA-ICL consistent beter presteert dan traditionele baselines (One-Shot en One-Shot + CoT):

Algemene Verbetering: SA-ICL leidt gemiddeld tot een 5,1% stijging in nauwkeurigheid over alle kennisniveaus en domeinen (p-waarde < 0.001).
Invloed van Kennisdichtheid:
- De methode is het meest effectief bij hoge kennis-similariteit ("Essentially Same" voorbeelden), waar het de prestaties van baselines aanzienlijk overtreft.
- Zelfs bij lagere similariteit ("Similar") behoudt SA-ICL een significant voordeel.
- Bij zeer lage similariteit ("Different") neemt het voordeel af, maar blijft het robuust tegenover ruis.
Robuustheid: SA-ICL is minder gevoelig voor retrieval-ruis en domein-ongeschikte voorbeelden dan traditionele methoden. Hoewel irrelevante voorbeelden (bijv. een biologievoorbeeld voor een chemievraag) de prestaties verlagen ("Schema Disruption"), is de daling minder ernstig dan bij One-Shot.
Modelgrootte: De methode is bijzonder effectief voor kleinere modellen (bijv. 8B parameters), die vaak vastlopen in hun interne redeneerpatronen zonder expliciete schema-activering. Grotere modellen tonen soms meer rigiditeit, maar profiteren nog steeds van het framework.
Semantic Drift: Er is een sterke correlatie gevonden tussen de semantische verschuiving ("Schema Shift") tussen het latente en het geactiveerde schema en het vermogen om foutieve redeneerpaden te herstellen (tot 7% herstelrate).

5. Betekenis en Toekomstperspectief

Dit paper biedt een cruciale stap in het begrijpen en verbeteren van het redeneervermogen van LLMs:

Van Voorbeeld naar Concept: Het verlegt de focus van puur voorbeeld-gebaseerd leren (retrieval van specifieke gevallen) naar abstractie-gedreven cognitie (activering van structurele kaders).
Interpreteerbaarheid: Door de attention-mechanismen te analyseren, biedt het inzicht in hoe LLMs informatie verwerken en hoe we deze processen kunnen sturen om menselijker redenering te benaderen.
Toekomstige Richtingen: De auteurs pleiten voor verdere ontwikkeling van agentische systemen die dynamische schema's kunnen genereren tijdens inferentie, en voor het toepassen van SA-ICL op complexere taken zoals het genereren van wiskundige bewijzen en lange wetenschappelijke verklaringen.

Kortom, SA-ICL bewijst dat het expliciet activeren van abstracte redeneerkaders een krachtige methode is om de cognitieve beperkingen van "Schema Dormancy" te overwinnen en de prestaties van LLMs in complexe redeneertaken aanzienlijk te verbeteren.