🤖 machine learning

OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving

OptProver is een nieuw getraind model dat door middel van gespecialiseerde data-curatie en een unieke voorkeursleersmethode effectief de overstap maakt van Olympiade-wiskunde naar het bewijzen van complexe optimalisatieproblemen in Lean 4, zonder algemene vaardigheden te verliezen.

Oorspronkelijke auteurs: Chenyi Li, Yanchen Nie, Zhengyu Ming, Gong Zhang, Kun Yuan, Zaiwen Wen

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenyi Li, Yanchen Nie, Zhengyu Ming, Gong Zhang, Kun Yuan, Zaiwen Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die een kampioen is in het oplossen van ingewikkelde wiskundige puzzels voor de middelbare school (de Olympische Spelen voor wiskunde). Deze robot kan razendsnel berekeningen maken en logische stappen zetten.

Maar nu komt het probleem: je wilt dat deze robot ook een expert wordt in optimalisatie. Optimalisatie is de wiskunde van "het allerbeste". Het is de wetenschap die computers helpt om de kortste route voor een pakketbezorger te vinden, de meest efficiënte manier om een batterij te laten werken, of de beste manier om een AI te trainen.

De onderzoekers van dit paper hebben ontdekt dat wanneer je deze "puzzel-kampioen" simpelweg probeert te leren over optimalisatie, de robot in de war raakt. Het is alsof je een wereldkampioen schaken plotseling vraagt om een expert te worden in het bouwen van een raket: hij begrijpt de regels van de logica nog wel, maar de taal en de specifieke technieken zijn zo anders dat hij zijn oude vaardigheden verliest en in de nieuwe wereld compleet vastloopt.

Dit paper introduceert OptProver, een methode om deze overstap wél te laten slagen.

De drie geheime ingrediënten van OptProver

Om de robot te laten groeien zonder dat hij zijn oude kennis vergeet, gebruiken de onderzoekers drie slimme trucjes:

1. De "Zelfstudie-methode" (Expert Iteration)
In plaats van de robot alleen maar droge tekstboeken te laten lezen, laten ze de robot zelf proberen om bewijzen te maken. Als de robot een bewijs vindt dat klopt, mag hij dat bewijs gebruiken als een "perfect voorbeeld" om van te leren. Het is alsof je een muzikant niet alleen bladmuziek laat lezen, maar hem ook laat improviseren en de beste solo's laat opschrijven om later te bestuderen.

2. De "Niet-nuttig-maar-wel-correct" Filter (Utility-Awareness)
Dit is een heel slimme stap. Soms doet de robot een stap die wiskundig gezien klopt, maar die de puzzel eigenlijk moeilijker maakt. Stel je voor dat je een doolhof probeert te verlaten en je besluit een zijgang in te gaan die wel veilig is, maar die je alleen maar verder het doolhof in leidt. Je doet niets "fout", maar je komt niet verder.
De onderzoekers hebben een systeem gebouwd dat de robot straft voor dit soort "dode wegen". De robot leert nu niet alleen om de juiste stappen te zetten, maar vooral om de slimme stappen te zetten die hem echt dichter bij de oplossing brengen.

3. De "Focus-bril" (Perplexity-Weighted DPO)
Soms probeert de robot nieuwe, hele ingewikkelde woorden te gebruiken die hij nog niet goed begrijpt, waardoor hij in de war raakt en fouten maakt. De onderzoekers hebben een soort "focus-bril" ontwikkeld. Deze bril zorgt ervoor dat de robot zich tijdens het leren concentreert op de onderdelen die hij al een beetje begrijpt, in plaats van te verdrinken in de meest onbegrijpelijke details. Dit houdt de training stabiel en voorkomt dat de robot "vergeetachtig" wordt.

Wat is het resultaat?

De onderzoekers hebben een nieuwe test (OptBench) gemaakt om te kijken of de robot echt een expert is geworden. De resultaten zijn indrukwekkend:

OptProver is een kampioen in optimalisatie: Hij lost veel meer problemen op dan de oude modellen.
Hij is niet vergeten wat hij eerder wist: Hij is nog steeds even goed (of zelfs beter!) in de algemene wiskunde die hij al kende.

Kortom: OptProver is als een slimme student die niet alleen een nieuw vak leert, maar door slimme oefening en het vermijden van doodlopende wegen, een echte expert wordt in een nieuw vakgebied, zonder zijn oude kennis te verliezen.

Technische Samenvatting: OptProver

1. Het Probleem: De Kloof tussen Olympiade-wiskunde en Optimalisatie

Huidige Large Language Models (LLM's) die worden gebruikt voor formeel bewijzen (zoals in de programmeertaal Lean 4) zijn zeer sterk in het oplossen van wiskundige Olympiade-problemen. Er is echter een aanzienlijk tekort aan modellen die gespecialiseerd zijn in optimalisatietheorie (een essentieel domein voor machine learning en wetenschappelijk rekenen).

Het aanpassen van een bestaand model aan optimalisatie stuit op twee grote hindernissen:

Interactive Distribution Shift: Optimalisatie gebruikt specifieke formalismen (convexiteit, optimaliteitsvoorwaarden, algoritme-analyse) die sterk afwijken van de algemene wiskunde. Naïeve training leidt tot een verlies van algemene redeneervaardigheden (catastrophic forgetting).
De "Low-Perplexity Trap": Het minimaliseren van perplexity (hoe voorspelbaar tekst is voor een model) is geen goede graadmeter voor bewijskracht. Een model kan leren om syntactisch correcte stappen te genereren die weliswaar "logisch" lijken in de nieuwe taal, maar die het bewijs niet verder helpen (zogenaamde stagnant tactics of "dead ends").

2. Methodologie: Het OptProver Framework

De auteurs introduceren een robuuste continual training pipeline die gebruikmaakt van drie innovatieve componenten om de overstap van Olympiade-niveau naar optimalisatie te maken:

A. Large-Scale Self-Distillation via Expert Iteration (EI):
In plaats van alleen te trainen op statische tekstboeken, gebruikt het model een zelf-verbeteringslus. Het model voert een zoektocht uit (search) in de bibliotheek Mathlib om geldige bewijstrajecten te ontdekken. Deze succesvolle trajecten worden vervolgens gebruikt voor supervised fine-tuning (SFT). Dit vertaalt abstracte wiskundige kennis naar de specifieke "tactic-taal" van het model.

B. Utility-Aware Preference Optimization (UAPO):
Om het probleem van de "stagnant tactics" aan te pakken, introduceert de paper een voorkeursleer-mechanisme. Bewijsstappen worden gecategoriseerd op basis van hun nut (utility):

$u=2$ (Succes): Stappen die leiden tot een voltooid bewijs.
$u=1$ (Stagnant): Stappen die syntactisch correct zijn, maar het bewijs niet vooruithelpen (bijv. een expressie splitsen op een manier die de structuur vernietigt).
$u=0$ (Fout): Syntactische fouten.
Het model wordt getraind om expliciet de voorkeur te geven aan $u=2$ boven $u=1$ , waardoor het leert om "nutteloze" maar correcte paden te vermijden.

C. Perplexity-Weighted DPO (PW-DPO):
Om de training te stabiliseren, wordt Direct Preference Optimization (DPO) aangepast. Bij het trainen op nieuwe data kunnen bepaalde tokens een extreem hoge perplexity hebben, wat leidt tot instabiele gradiënten. PW-DPO weegt de bijdrage van elk token aan de verliesfunctie op basis van de perplexity ten opzichte van het referentiemodel, waardoor het model niet overfit op ruis of extreem onwaarschijnlijke patronen.

3. Belangrijkste Bijdragen

OptBench: Een nieuwe, rigoureuze benchmark bestaande uit 400 optimalisatieproblemen (gebaseerd op Optlib), onderverdeeld in basisprincipes, convexiteit en algoritme-analyse.
Nieuwe Trainingsstrategie: Een methode die de kloof overbrugt tussen algemene wiskunde en gespecialiseerde optimalisatie zonder de fundamentele redeneervaardigheden te verliezen.
Efficiëntere Zoekstrategie: Door het bestraffen van "correcte maar nutteloze" stappen, wordt de zoekruimte tijdens het bewijzen aanzienlijk effectiever benut.

4. Resultaten

State-of-the-Art Prestaties: Op de OptBench-benchmark behaalt OptProver een succespercentage van meer dan 55% (Pass@32), wat aanzienlijk hoger is dan vergelijkbare modellen (zoals DeepSeek-Prover-V2 of Goedel-Prover).
Geen Catastrophic Forgetting: In tegenstelling tot naïeve methoden, behoudt OptProver zijn prestaties op algemene benchmarks zoals MiniF2F en vertoont het zelfs verbeteringen op ProofNet.
Superieure Redenering: Het model is in staat om complexe concepten zoals de Karush-Kuhn-Tucker (KKT) voorwaarden en de eigenschappen van extended real numbers (waarbij $\infty$ en $0$ kritieke rollen spelen) correct te hanteren.

5. Betekenis en Impact

Dit onderzoek is cruciaal omdat het aantoont dat domein-adaptatie voor formele bewijzen niet alleen gaat over het leren van nieuwe termen, maar vooral over het leren van de strategische logica die bij dat domein hoort. OptProver biedt een blauwdruk voor hoe AI-modellen gespecialiseerde, hoogwaardige wetenschappelijke domeinen kunnen betreden door interactieve feedback en slimme voorkeursleer te combineren.