🤖 machine learning

Escaping the Cognitive Well: Efficient Competition Math with Off-the-Shelf Models

Dit artikel introduceert een kostenefficiënte inferentie-pipeline met behulp van standaardmodellen die state-of-the-art prestaties levert op IMO-stijl wiskundeproblemen door de "Cognitive Well"-foutmodus te overwinnen via context-losgekoppelde conjectuurextractie en onafhankelijke verificatie.

Oorspronkelijke auteurs: Xingyu Dang, Rohit Agarwal, Rodrigo Porto, Anirudh Goyal, Liam H Fowl, Sanjeev Arora

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xingyu Dang, Rohit Agarwal, Rodrigo Porto, Anirudh Goyal, Liam H Fowl, Sanjeev Arora

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een ongelooflijk moeilijk wiskundig raadsel probeert op te lossen, zoals de puzzels die worden gegeven aan de beste middelbare scholieren ter wereld tijdens de International Olympiad.

Een lange tijd waren computers (specifiek Large Language Models of "LLM's") hier erg slecht in. Ze konden eenvoudige puzzels oplossen, maar wanneer het echt moeilijk werd, liepen ze vast, maakten ze fouten en bleven ze steeds dezelfde fouten maken.

Om dit op te lossen, probeerden onderzoekers een "brute force"-aanpak: ze lieten de computer de opdracht duizenden keren proberen te lossen, waarbij één deel van de computer fungeerde als een "Solver" (die probeert het antwoord te schrijven) en een ander deel als een "Grader" (die het werk controleert). Als de Grader een fout vond, zou de Solver het opnieuw proberen.

Het Probleem: De "Cognitieve Put"
De auteurs van dit artikel ontdekten een grappige maar gevaarlijke valstrik in dit proces. Ze noemen het de "Cognitieve Put" (Cognitive Well).

Stel je voor dat je door een diepe, mistige vallei loopt. Je denkt dat je een heuvel opklimt, maar je loopt eigenlijk in cirkels op de bodem.

De Solver schrijft een bewijs dat bijna juist lijkt.
De Grader (dat is hetzelfde AI-model) bekijkt het. Omdat de AI "besmet" is door de context van het zojuist gelezen bewijs, wordt hij gefopt. De AI denkt: "Oh, dit ziet er grotendeels correct uit! Alleen een klein typefoutje hier en daar."
De Grader geeft het een hoge score.
De Solver denkt: "Geweldig! Ik ben er bijna!" en blijft steeds hetzelfde verkeerde idee verfijnen.
De AI zit nu vast in een "put" die hij zelf heeft gemaakt, ervan overtuigd dat hij het probleem oplost terwijl hij eigenlijk volledig naast het doel zit.

Eerdere methoden probeerden te ontsnappen aan deze put door enorme hoeveelheden geld tegen het probleem aan te smijten — door de computer duizenden keren parallel te laten draaien. Eén methode kostte ongeveer $3.000 per enkel wiskundig probleem. Dat is te duur voor de meeste mensen om te gebruiken.

De Oplossing: De "Detective" Pipeline
De auteurs bouwden een nieuw, veel goedkoper systeem (dat ongeveer $9 per probleem kost) dat de Cognitieve Put ontsnapt met drie slimme trucs:

Niet alleen gokken, maar aanwijzingen isoleren (Conjecture Extraction):
In plaats van de AI alleen te vragen om "harder te proberen", stopt het systeem en vraagt: "Welk specifiek stukje logica ontbreekt er?"
Stel je een detective voor die naar een gebroken alibi kijkt. In plaats van alleen te zeggen "Dit slaat nergens op", haalt de detective de specifieke bewering eruit: "Hij zei dat hij om 5 uur in het park was." Het systeem isoleert die enkele bewering en behandelt het als een apart, minuscuul wiskundig probleem.
De "Verse Blik" Test (Context Detachment):
Dit is het belangrijkste deel. Het systeem neemt die geïsoleerde bewering (de "conjecture") en plaatst deze in een splinternieuwe, schone kamer. Het vraagt de AI om de bewering te bewijzen en het tegenovergestelde van de bewering te bewijzen, zonder de oorspronkelijke rommelige bewijsvoering te zien.

Als de AI bewijst dat de bewering waar is, voegt hij deze toe aan een "spiekbrief" van feiten.
Als de AI bewijst dat de bewering onwaar is (door het tegenovergestelde te bewijzen), realiseert hij zich dat het oorspronkelijke bewijs gebouwd is op een leugen.
Dit haalt de AI uit de "Cognitieve Put", omdat de AI niet langer in staat is om misleid te worden door de verwarrende context van het oorspronkelijke, foutieve bewijs.

Het "Dialectische" Team:
Het systeem vraft niet zomaar één AI om het werk te doen. Het creëert een virtuele vergaderruimte met verschillende "persona's".

De Architect: Probeert de oplossing te bouwen.
De Scepticus (Momus): Valt het plan constant aan en zoekt naar gaten.
De Grader: Controleert de logica regel voor regel.
Door deze verschillende "persoonlijkheden" met elkaar te laten discussiëren, vermijdt het systeem het luie denken dat leidt tot de Cognitieve Put.

De Resultaten
De auteurs testten deze nieuwe pipeline op de moeilijkste wiskundige problemen die beschikbaar zijn (de "IMO-ProofBench").

Prestaties: Hun systeem loste 87,6% van de problemen correct op. Dit is beter dan de "Goud Medaille"-winnende systemen van grote technologiebedrijven (die geheim en niet uitgebracht zijn) en veel beter dan andere publieke methoden.
Kosten: Terwijl andere methoden duizenden dollars per probleem kosten, kost hun methode ongeveer $9.
Veelzijdigheid: Het werkt op veel verschillende soorten AI-modellen, niet alleen op één specifragend merk.

Samenvattend
Het artikel laat zien dat je geen fortuin hoeft uit te geven of miljoenen simulaties hoeft te draaien om moeilijke wiskundige problemen op te lossen. In plaats daarvan heb je een slimmere strategie nodig: wanneer de AI vastlodt in een lus van zelfvertrouwen over een foutief antwoord, moet je de specifieke "verdachte" (het logische gat) uit de menigte trekken, deze in isolatie testen, en het resultaat gebruiken om de volgende stap te sturen. Dit verandert een verwarde, dure brute-force aanpak in een efficiënt, logisch detectiveverhaal.

Technische Samenvatting: Ontsnappen aan de Cognitieve Put: Efficiënt Competitief Wiskundig Redeneren met Off-the-Shelf Modellen

Probleemstelling

Recente vooruitgang in wiskundig redeneren heeft gezien dat aangepaste, niet-uitgebrachte modellen (bijv. Google DeepMind's "Deep Think") en grootschalige agentische pipelines goudmedaille-prestaties behalen op de International Mathematical Olympiad (IMO). Echter, deze successen leunen op een prohibitief computationeel budget, wat vaak duizenden dollars per probleem kost (bijv. ~$3.000/vraag voor DeepSeekMath V2) en enorme parallelliteit vereist (tot 64.000 LLM-aanroepen per probleem). Bovendien falen bestaande pipelines die gebruikmaken van publiekelijk beschikbare modellen vaak in het betrouwbaar oplossen van moeilijke problemen in een enkele aanroep, wat iteratieve verfijning noodzakelijk maakt.

De auteurs identificeren twee kritieke faalmodi in huidige solver-grader pipelines die dergelijke dure parallelliteit rechtvaardigen:

Cognitief Plateau: De solver maakt vooruitgang, maar de grader identificeert gebreken die de solver niet kan herstellen, wat leidt tot een stagnatie in de score.
Cognitieve Put: Een meer verraderlijk falen waarbij iteratieve verfijning convergeert op een logisch consistente maar fundamenteel onjuiste oplossing. De interne grader (die vaak dezelfde parameters en context deelt als de solver) is "gecontamineerd" door de plausibele-maar-foutieve context, waardoor de gebrekkige oplossing hoog wordt beoordeeld (bijv. 7/7) en fatale fouten over het hoofd worden gezien. Dit wordt vergeleken met "reward hacking" of het vastlopen in een lokaal minimum.

Methodologie

Het paper stelt een nieuwe inference pipeline voor, de "Momus pipeline", ontworijkt om best-in-class prestaties te behalen op IMO-stijl problemen met behulp van uitsluitend algemene, off-the-shelf modellen tegen een fractie van de kosten. De methodologie steunt op drie kernontwerpprincipes:

1. Smalle Breedte (Beperkte Parallelliteit)

In plaats van brute-force parallelliteit (bijv. 64 takken), beperkt de pipeline de parallelliteit tot een bescheiden niveau (typisch $K=4$ gelijktijdige oplossingen). Nieuwe oplossingen worden gegenereerd onder conditie van de huidige staat, die de vorige oplossingen, grader-feedback en resultaten uit een conjectuurproces omvat.

2. Conjectuur Extractie

Om het onvermogen van interne graders om onderscheid te maken tussen "kleine slips" en "fatale hiaten" aan te pakken, gebruikt de pipeline een Solver met Conjecturen prompt. Wanneer bewijzen stagneren, dwingt dit module het model om logische hiaten expliciet te formaliseren als zelfstandige conjecturen (en hun negaties). Dit transformeert vage onzekerheid in falsifieerbare wiskundige stellingen.

3. Contextuele Ontkoppeling

Om de "Cognitieve Put" te ontvluchten, stript de pipeline de geëxtraheerde conjecturen van hun ouderbewijs-context. Deze conjecturen (en hun negaties) worden gevoed als nieuwe, onafhankelijke problemen aan verse solver-instanties.

Als een conjectuur bewezen wordt, wordt deze toegevoegd aan een Global Memory ( $M_{lemma}$ ) om toekomstige solvers te sturen.
Als de negatie van een conjectuur wordt bewezen, gebruikt de pipeline dit om de logica van het gestagneerde bewijs actief te ontkrachten, waardoor de solver wordt gedwongen het gebrekkige pad te verlaten.

Pipeline Architectuur

Het inference proces is een stateful loop met drie fasen:

Fase I (Beperkte Exploratie): Genereert een kleine set kandidaat-oplossingen ( $K=4$ ) met behulp van een "Dialectische Solver" (een multi-persona prompt engineering framework). Een adversariële grader controleert op specifieke logische hiaten.
Fase II (Contextuele Ontkoppeling): Als oplossingen plausibel maar ongeverifieerd zijn, extraheert het systeem belastende conjecturen. Het draait vervolgens parallelle instanties om zowel de conjectuur als de negatie ervan in een frisse context te bewijzen.
Fase III (Verfijning met Global Memory): Nieuwe solvers worden gelanceerd. De meeste worden geïnjecteerd met de geverifieerde lemma's uit Fase II, terwijl één "zero-shot" solver aanwezig blijft om diversiteit te behouden en te voorkomen dat men terugvalt in een Cognitieve Put.

De pipeline bevat ook een Post-Enhancement stap waar, indien geen geverifieerde oplossing wordt gevonden, het systeem bewijzen herschrijft op basis van conjecturen en een laatste aggregatiestap uitvoert om de beste output te selecteren.

Belangrijkste Bijdragen

Efficiënte Pipeline: Een nieuwe oplossing-pipeline die uitsluitend off-the-shelf modellen gebruikt en best-in-class prestaties behaalt op IMO-stijl problemen tegen een gemiddelde kostenorder van grootte lager dan concurrerende methoden (bijv. ~$9/vraag vs. $3.000/vraag).
Identificatie van "Cognitieve Putten": Het paper identificeert en biedt een effectieve oplossing voor de "Cognitieve Put" faalmodus via een conjectuur-gebaseerd context-ontkoppelingsmechanisme. Dit vermindert fout-positieve putten en verhoogt de prestaties meetbaar.
Grader Design en Evaluatie: De auteurs stellen nieuwe methoden voor voor het ontwerpen van effectieve graders (gebruikmakend van een "schuldig tot het tegendeel bewezen is" framework) en evalueren de disconnect tussen de prestaties van een grader als standalone scorer versus de bruikbaarheid ervan als feedback-provider in een pipeline.
Open-Source Toegankelijkheid: De prompts en methodologie zijn open-source gemaakt, wat de effectiviteit demonstreert op frontier modellen (Gemini 3.1 Pro, Opus 4.6, DeepSeek-V3.2) tegen betaalbare kosten, waardoor de drempel voor onderzoek wordt verlaagd.

Resultaten

De pipeline werd geëvalueerd op IMO-ProofBench Advanced (PB-Adv), een benchmark van 30 gecureerde, moeilijke IMO-stijl vragen.

Prestaties: Met behulp van Gemini 3.1 Pro behaalde de pipeline 87,6% prestatie (expert-gegradeerd), waarmee het de DeepThink IMO goud winnende model overtrof en de succesrate van de op één na beste publiekelijk toegankelijke pipeline (Huang en Yang [2025]) die op een betaalbare kosten werkt, meer dan verdrievoudigde.
Kostenefficiëntie: De gemiddelde kosten per vraag waren ongeveer $9. Dit is aanzienlijk goedkoper dan de Huang en Yang pipeline (~~$371/vraag) en DeepSeekMath V2 (~~$3.000/vraag).
Generalisatie: De methode generaliseerde over verschillende backbones. Zo sprong de prestatie op Claude 4.6 Opus van een 23,8% base call naar 85,7% met de pipeline. Op DeepSeek-V3.2 verbeterde het van 15,2% naar 66,7%.
Ablatie Studies: Het verwijderen van de conjectuur extractie fase resulteerde in een significante daling van de prestaties (van 55% naar 34,3% op PB-Adv met Gemini 2.5 Pro), zelfs wanneer de token-budgetten gelijk werden gehouden, wat bevestigt dat de winst niet louter toe te schrijven is aan verhoogde sampling diversiteit.

Betekenis

Het paper claimt dat betrouwbaar LLM-stellingen bewijzen niet noodzakelijkerwijs een enorme parallelliteit of denk-budget vereist. Door de "Cognitieve Put" en "Cognitief Plateau" faalmodi aan te pakken via conjectuur extractie en contextuele ontkoppeling, demonstreren de auteurs dat off-the-shelf modellen state-of-the-art prestaties kunnen bereiken op moeilijke competitieve wiskunde problemen tegen een fractie van de kosten.

Het werk suggereert dat huidige solver-grader pipelines diep geworteld kunnen zijn in deze faalmodi, wat zich zou kunnen uitbreiden naar bredere AI-voor-wetenschap systemen. De auteurs benadrukken dat hun aanpak de drempel voor wiskundig redeneeronderzoek aanzienlijk verlaagt, waardoor hoogwaardige probleemoplossing toegankelijk wordt voor onderzoekers zonder toegang tot propriëtaire, aangepaste modellen of enorme rekenkracht.