Technische Samenvatting: CORE – Contrastieve Reflectie Maakt Snelle Verbeteringen in Redeneren Mogelijk

Probleemstelling

Taalkundige modellen beschikken over het vermogen om redeneertaken te verbeteren met behulp van verifieerbare beloningen, maar huidige benaderingen lijden onder aanzienlijke inefficiëntie. Parametrische methoden (bijv. GRPO) en niet-parametrische methoden (bijv. GEPA, promptoptimalisatie) vereisen doorgaans honderden trainingsvoorbeelden en duizenden modelrollouts om betekenisvolle vooruitgang te boeken. Dit maakt ze rekenkundig duur en vaak onuitvoerbaar voor snelle aanpassing. Daarentegen kunnen mensen nieuwe taken vaak beheersen met slechts een handvol oefenproblemen. De centrale uitdaging die door dit werk wordt aangepakt, is hoe taalkundige modellen in staat kunnen worden gesteld om te leren van verifieerbare beloningen met een steekproef- en rollout-efficiëntie die vergelijkbaar is met die van mensen, terwijl de interpreteerbaarheid behouden blijft en de ondoorzichtigheid van gewichtsupdates wordt vermeden.

Methodologie: CORE (Contrastieve Reflectie)

CORE is een niet-parametrisch leeralgoritme dat is ontworpen voor een bevroren taalkundig model. In plaats van modelgewichten bij te werken of een enkele globale prompt te optimaliseren, leert CORE door het genereren en accumuleren van "inzichten"—korte, natuurlijke taalbeschrijvingen van redeneerstrategieën of beperkingen die succesvolle probleempogingen onderscheiden van mislukte pogingen.

Het algoritme werkt via vier hoofdbestanddelen:

1. Externe Geheugens:

   • Rollout-geheugen ($R$): Bewaart eerdere redeneersporen (probleem, opgehaalde inzichten, modeloutput, beloning) geïndexeerd op probleemembeddings.
   • Inzicht-geheugen ($I$): Bewaart natuurlijke taalinzichten gekoppeld aan empirische nutsschattingen. Voor elk inzicht houdt het systeem het aantal toepassingen en de gemiddelde nutswaarde ten opzichte van de baseline bij.

2. Foutgeoriënteerde Probleemselectie:
   Om de leerefficiëntie te maximaliseren, neigt CORE bij het selecteren van problemen naar problemen die het model minder betrouwbaar oplost. Het berekent een selectiegewicht op basis van de huidige nauwkeurigheidsinschatting, waarbij foutgeoriënteerde selectie wordt gemengd met uniforme selectie om dekking van de trainingsset te waarborgen.

3. Contrastieve Reflectie (Het Kernmechanisme):
   Wanneer het model een probleem niet oplost, triggert CORE een reflectiestap. Het haalt een succesvolle rollout ($\tau^+$) op van een semantisch vergelijkbaar probleem (of hetzelfde probleem als het eerder was opgelost) en contrasteert deze met de mislukte rollout ($\tau^-$). Het bevroren model wordt gevraagd om kandidaat-inzichten te genereren die de strategieën of beperkingen beschrijven die het verschil tussen succes en mislukking verklaren.

   • Toelatingstest: Kandidaat-inzichten worden niet direct opgeslagen. Ze ondergaan een toelatingstest waarbij het model het oorspronkelijke probleem probeert op te lossen met alleen dat kandidaat-inzicht. Een inzicht wordt alleen toegelaten tot het geheugen als het de succesratio verbetert ten opzichte van de baseline (specifiek, als het in de experimenten leidt tot een correcte oplossing bij de eerste poging).

4. Nutsbewuste Opvraging:
   Tijdens inferentie haalt CORE inzichten op op basis van een score die semantische gelijkenis (tussen het huidige probleem en eerdere problemen waar het inzicht werd gebruikt) en empirisch nut (de waargenomen succesratio van het inzicht op vergelijkbare problemen) combineert. Dit stelt het model in staat om selectief inzichten toe te passen die in het verleden effectief zijn gebleken.

Belangrijkste Bijdragen

1. Algoritmische Innovatie: Introductie van CORE, een niet-parametrisch algoritme dat bevroren taalkundige modellen in staat stelt te leren van verifieerbare beloningen door abstracte natuurlijke taalinzichten te genereren, te testen en te accumuleren, in plaats van gewichten bij te werken of prompts te optimaliseren.
2. Efficiëntiewinst: Demonstratie over vier redeneertaken (Toren van Hanoi, MathGAP, ZebraLogic, Matchstick Arithmetic) dat CORE zowel parametrische (GRPO) als niet-parametrische (GEPA, Episodic RAG, MemRL) baselines overtreft in steekproefefficiëntie (leren met minder trainingsvoorbeelden) en rollout-efficiëntie (leren met minder modelpogingen).
3. Contextefficiëntie: Bewijs dat CORE aanzienlijk contextefficiënter is dan niet-parametrische baselines. Waar methoden zoals Episodic RAG en MemRL tienduizenden tokens aan de prompt toevoegen door volledige sporen op te halen, comprimeert CORE ervaring tot compacte inzichten, waardoor aanzienlijk minder tokens per evaluatie worden toegevoegd.
4. Interpreteerbaarheid: De geleerde artefacten zijn transparante natuurlijke taalinzichten gekoppeld aan nutsschattingen, wat een meer interpreteerbaar alternatief biedt voor ondoorzichtige parameterupdates of promptoptimalisatie.
5. Ablatie-analyse: Identificatie dat zowel contrastieve reflectie (vergelijken van mislukking versus succes) als nutsbewuste opvraging noodzakelijke componenten zijn voor de prestaties van het algoritme.

Experimentele Resultaten

De auteurs evalueerden CORE op vier redeneertaken met het gpt-oss-120b-model, waarbij ze het vergeleken met GRPO, GEPA, Episodic RAG en MemRL over trainingsregimes van 5, 10 en 100 voorbeelden.

• Rollout-efficiëntie: In het regime van 10 voorbeelden behaalde CORE een hogere held-out nauwkeurigheid dan welke baseline dan ook met 350 trainingsrollouts. Zelfs wanneer baselines 4.000 rollouts mochten uitvoeren en CORE beperkt was tot 2.100, stabiliseerde CORE op een hogere uiteindelijke prestatie.
• Steekproefefficiëntie: Over 12 taak-gegevensregime-combinaties behaalde CORE de hoogste gemiddelde held-out nauwkeurigheid in 9 daarvan. Het verbeterde ten opzichte van de no-learning-baseline met ongeveer 54–56% over 5, 10 en 100 trainingsvoorbeelden.
• Contextefficiëntie: CORE voegde gemiddeld 0,92k tokens toe per evaluatie-item, vergeleken met ~33k voor Episodic RAG en ~32k voor MemRL. Het was ongeveer 1,4x contextefficiënter dan GEPA.
• Kwaliteit van inzichten: Analyse van toegelaten inzichten toonde aan dat ze in drie functionele categorieën vielen: Structurering van zoekruimte (heuristieken om mogelijkheden te verminderen), Volgen van tussenliggende toestanden (bijwerken van hoeveelheden/bewegingen) en Verificatie en validatie (controleren van beperkingen). Deze inzichten bleken procedurele abstracties te zijn in plaats van samenvattingen van specifieke episodes.

Betekenis en Beweringen

Het artikel stelt dat de efficiëntie van menselijk leren voortkomt uit het vermogen om eerdere successen en mislukkingen te herzien om abstracte, expliciete principes te ontdekken. CORE operationaliseert dit door contrasten tussen succesvolle en mislukte sporen te destilleren tot herbruikbare kennis.

De auteurs beweren dat CORE een efficiëntere en interpreteerbaardere route biedt voor modelzelfverbetering dan gewichtsupdates, promptoptimalisatie of directe hergebruik van opgeslagen redeneersporen. Door "credit-assignment hypothesen" (inzichten) op te slaan in plaats van ruwe gegevens of gewichten, vermindert CORE het risico op het introduceren van ongewenst gedrag dat geassocieerd wordt met ondoorzichtige updates. Het werk suggereert dat de sleutel tot snelle verbetering niet alleen ligt in wat er wordt geleerd, maar in hoe het wordt gerepresenteerd en opgehaald: als compacte, nutsgewogen natuurlijke taalinzichten die zijn afgeleid van contrastieve reflectie.

Beperkingen zoals opgemerkt door de auteurs:

• CORE veronderstelt toegang tot verifieerbare beloningen, wat de toepasbaarheid beperkt tot domeinen met duidelijke binaire feedback.
• De nutupdate wijst hetzelfde resultaat toe aan alle opgehaalde inzichten, waardoor fijnmazigere credit-assignment tussen meerdere inzichten onopgelost blijft.
• Reflectie en toelatingstests introduceren extra inferentiekosten.
• Experimenten zijn momenteel beperkt tot single-turn redeneren, planning en probleemoplossingstaken.