🤖 AI

ImProver 2: Iteratively Self-Improving LMs for Neurosymbolic Proof Optimization

Het artikel introduceert ImProver 2, een neurosymbolisch raamwerk dat data-efficiënte expertiteratie combineert met een structureel steigersysteem om kleine taalmodellen in staat te stellen complexe formele bewijzen in Lean 4 effectief te optimaliseren, waarbij ze aanzienlijk grotere modellen overtreffen en tegelijkertijd bewijsoptimalisatie vestigen als een schaalbare, leerbare taak.

Oorspronkelijke auteurs: Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, groeiende bibliotheek van wiskundige bewijzen voor. Dit zijn niet zomaar verhalen; het zijn rigide, door computers gecontroleerde blauwdrukken die aantonen dat dingen waar zijn. Onlangs zijn computers (specifiek AI) gaan helpen bij het schrijven van deze bewijzen, waardoor de bibliotheek explosief is gegroeid.

Maar er is een probleem: de bibliotheek wordt rommelig. Sommige bewijzen zijn correct maar geschreven in een verwarrende stijl, anderen zijn te lang, en sommige vertrouwen op een enorme lijst van andere regels die ze moeilijk onderhoudbaar maken. Het is alsof je een huis hebt waar de loodgieterswerkzaamheden werken, maar de leidingen in elkaar verstrikt zijn, de muren in botsende kleuren zijn geschilderd, en je een rugzak vol extra gereedschap moet dragen om alleen maar het licht aan te doen.

Treed ImProver 2 toe.

Beschouw ImProver 2 als een super-georganiseerde, zelfverbeterende bibliothecaris die niet alleen boeken in de rekken zet, maar ze herschrijft om ze beter te maken. Zijn taak is het nemen van een correct bewijs en het herschrijven om het korter, schoner of meer modulair te maken, zonder de wiskunde te breken.

Hier is hoe het werkt, met behulp van enkele eenvoudige analogieën:

1. De "Oefening maakt perfect" lus (Iteratieve zelfverbetering)

Meestal leer je een computer een taak door duizenden door mensen geschreven voorbeelden te tonen. Maar voor bewijsoptimalisatie zijn goede voorbeelden zeldzaam.

ImProver 2 lost dit op door zichzelf te leren.

Het Concept: Het neemt een bewijs en probeert het op vele verschillende manieren te herschrijven (zoals een schrijver die tien verschillende eindes voor een verhaal bedenkt).
De Beoordeling: Het controleert welke herschrijvingen nog steeds wiskundig correct zijn. Vervolgens scoort het ze op basis van wat we willen: Is het korter? Gebruikt het minder externe referenties? Is het opgesplitst in duidelijkere stappen?
De Les: Het vergelijkt zijn "winnende" herschrijvingen met zijn "verliezende" versies. Het leert: "Oh, toen ik dit deed, werd het bewijs korter en bleef het correct. Toen ik dat deed, brak het."
De Replay Buffer: Om te voorkomen dat de AI vergeet wat het heeft geleerd of vastloopt in een lus van slechte ideeën, houdt het een "geheugenbank" bij van oude goede voorbeelden gemengd met nieuwe. Dit zorgt ervoor dat het in de loop van de tijd blijft verbeteren, in plaats van steeds dezelfde fouten te herhalen.

2. Het "Neurosymbolische Steiger" (De Oefenwielen)

Stel je voor dat je probeert een complexe motor te repareren zonder handleiding of diagram. Dat is moeilijk. Stel je nu voor dat je een diagram hebt dat precies aangeeft welk onderdeel je aan het werk bent, uitlegt wat dat onderdeel doet in platte taal, en de benodigde gereedschappen in de buurt opsomt.

ImProver 2 geeft de AI dit "diagram" voor elk bewijs. Dit heet Neurosymbolische Augmentatie. Het biedt:

De Kaart: Het toont de huidige staat van het bewijs (wat is tot nu toe bewezen, wat moet er nog gebeuren).
De Context: Het haalt de specifieke definities en regels op die relevant zijn voor dat specifieke bewijs, zodat de AI niet hoeft te raden.
De Vertaling: Het geeft een samenvatting in "platte taal" van wat het bewijs probeert te doen, waardoor de AI het doel begrijpt voordat het begint met het schrijven van de code.

Dit "steiger" helpt zelfs kleine, minder krachtige computers om te presteren als veel grotere, slimmere machines.

3. De Drie Doelen (Metrieken)

De bibliothecaris wil niet alleen dat het bewijs "correct" is. Het wil optimaliseren voor specifieke kwaliteiten, zoals een chef die een recept aanpast:

Lengte (De "Golf" Metriek): Net als in golf is het doel de bal in het gat te krijgen met de minste slagen. ImProver 2 probeert bewijzen te verkorten door onnodige stappen te verwijderen.
Afhankelijkheden (De "Zelfstandige" Metriek): Stel je een recept voor dat zegt "voeg de geheime saus toe van het huis van de buren". Dat is een afhankelijkheid. ImProver 2 probeert bewijzen zo te herschrijven dat ze niet afhankelijk zijn van zoveel externe "buren-sauzen", waardoor ze makkelijker te begrijpen en zelfstandig te gebruiken zijn.
Modulariteit (De "Lego" Metriek): Een rommelig bewijs is als een groot blok klei. Een modulair bewijs is als een set Lego – kleine, onderscheidende, herbruikbare stukjes. ImProver 2 probeert grote bewijzen op te splitsen in kleinere, onafhankelijke sub-bewijzen (zoals "hebben h1", "hebben h2") zodat de logica duidelijker is.

De Resultaten: Klein is Krachtig

De meest verrassende bevinding is dat ImProver 2 een klein AI-model (7 miljard parameters) heeft getraind om beter te zijn in deze taken dan massieve AI-modellen (sommige met honderden miljarden parameters) die niet deze speciale training hebben gekregen.

Het is alsof je een compacte, efficiënte sportwagen neemt en de motor zo perfect afstelt dat hij een enorme, zware truck verslaat in een specifieke race, zelfs al heeft de truck een grotere motor. Het kleine model, wanneer het de juiste "steiger" en de juiste "oefenlus" krijgt, leerde complexe wiskundige argumenten beter te herstructureren dan de reuzen.

Kort samengevat: ImProver 2 is een systeem dat kleine AI-modellen leert tot expert bewijsredacteuren. Door hen een duidelijke kaart van het probleem te geven en ze te laten leren van hun eigen beste pogingen, kan het rommelige wiskundige bibliotheksen opruimen, waardoor ze korter, schoner en makkelijker onderhoudbaar worden, allemaal zonder de duurste, massale supercomputers nodig te hebben.

Technische Samenvatting: ImProver 2

Probleemstelling

De snelle uitbreiding van formele wiskundige bibliotheken (bijvoorbeeld Lean's Mathlib) heeft een dubbele uitdaging gecreëerd: het onderhoud van deze bibliotheken wordt bedreigd door heterogene bewijstijlen en lage modulariteit, terwijl de kwaliteit van trainingsdata voor neurale stellingbewijzers verslechtert door bewijzen die wel correct zijn, maar structureel suboptimaal. Bestaande methoden voor geautomatiseerde bewijsoptimalisatie staan voor aanzienlijke hindernissen, waaronder heterogene en heuristisch gedefinieerde doelen, schaarse hoogwaardige optimalisatiedata en de onbetaalbare kosten voor training en inferentie van modellen op grote schaal. Bovendien vertrouwde eerder werk vaak op algemene, gesloten bronmodellen of richtte het zich uitsluitend op het aantal tokens, waardoor bredere structurele metrieken zoals modulariteit en afhankelijkheidsbeheer niet werden aangepakt.

Methodologie

De auteurs introduceren ImProver 2, een neurosymbolisch raamwerk dat is ontworpen om kleine taalmodellen (SLM's) iteratief zelf te laten verbeteren voor bewijsoptimalisatie in Lean 4. Het systeem werkt via een pijplijn met meerdere componenten:

1. Neurosymbolische Augmentatie (Steigers)

Om de kloof tussen informeel redeneren en formele verificatie te overbruggen, wordt het model blootgesteld aan rijke context uit de Lean-omgeving. Deze "steiger" ( $\Psi$ ) omvat:

Contextslices: Relevante definities, stellingen en lemma's die direct worden geraadpleegd door het doelbewijs, geserialiseerd met metadata.
Chain-of-States (CoS): Expliciete sporen van doelstaten voor en na elke tactiekstap, verweven als commentaar om de logische flow van het bewijs te onthullen.
Auto-informalisatie: Natuurtaalsamenvattingen van de bewijsstappen, gegenereerd door het formele bewijs te vertalen naar een reeks hoogwaardige beschrijvingen.

2. Optimalisatiemetrieken

Het systeem richt zich op drie verschillende structurele doelen, gedefinieerd als berekenbare functies $\mu$ :

Lengte: Minimaliseren van het aantal gebruikte tactieken (bewijs "golfing").
Afhankelijkheden: Minimaliseren van het aantal unieke externe lemma's die expliciet worden genoemd in het bewijs, ter bevordering van zelfstandige bewijzen.
Modulariteit: Maximaliseren van het aantal "effectief gegenereerde doelen" (onafhankelijke subbewijzen geïntroduceerd via have, calc, enz.), wat dient als proxy voor bewijsdecompositie en onderhoudbaarheid.

3. Iteratieve Preferentie-Optimalisatie (IRPO)-pijplijn

ImProver 2 maakt gebruik van een iteratieve trainingslus om SLM's op te starten:

Generatie: Het huidige model $G_t$ genereert $n$ kandidaat-herschrijvingen voor elke stelling in de trainingsset, met gebruikmaking van de neurosymbolische steiger.
Filteren & Replay: Kandidaten worden gescoord op basis van correctheid (Lean-kernelverificatie) en verbetering van de metriek. Een replay-buffer wordt gebruikt om nieuw gegenereerde data te balanceren met historische data, om modelinstorting te voorkomen en monotoon verbetering te waarborgen. Triviale of kwalitatief slechte problemen worden gefilterd.
Opbouw van Preferentiekoppels: De dataset wordt gepartitioneerd in "winnaars" (compilerende, hoogverbeterde bewijzen) en "verliezers" (mislukkingen of laagverbeterde bewijzen). Er worden twee soorten preferentiekoppels gevormd: winnaar–winnaar (geordend op omvang van verbetering) en winnaar–verliezer.
Training: Het model wordt bijgewerkt met Iterative Reasoning Preference Optimization (IRPO), dat een Direct Preference Optimization (DPO)-verlies combineert met een negatieve log-waarschijnlijkheid (NLL)-verlies op de winnaar-bewijzen. Dit proces wordt herhaald tot convergentie of uitputting van het budget.

Belangrijkste Bijdragen

Zelfverbeterende SLM's voor Refactoring: Het artikel toont aan dat iteratieve preferentie-optimalisatie kleine taalmodellen (specifiek een model met 7B parameters) effectief kan opstarten om bewijzen te optimaliseren in gespecialiseerde onderzoeksbibliotheken, waardoor ze concurrerend worden met aanzienlijk grotere modellen.
Structurele Optimalisatiemetrieken: Naast eenvoudige lengtereductie introduceren en evalueren de auteurs modulariteits- en afhankelijkheidsmetrieken. Deze metrieken maken gebruik van bewijsstructuur en bibliotheekcontext om specifieke refactoringsdoelen te bereiken die relevant zijn voor het onderhoud van bibliotheken.
Neurosymbolische Augmentatie: Het raamwerk extraheren en integreert sporen van doelstaten, relevante context en auto-informalisaties. De auteurs tonen aan dat deze augmentatie de prestaties aanzienlijk verbetert voor zowel kleine als geavanceerde modellen, en zo de ontdekking van geldige, hoogwaardige herschrijvingen faciliteert.

Experimentele Resultaten

Het systeem werd geëvalueerd op miniCTX-v2, een benchmark van door mensen geschreven wiskunde op onderzoeksniveau, met gebruikmaking van een basismodel met 7B parameters (DeepSeek-R1-Distill-Qwen-7B).

Prestaties versus Schaal: ImProver 2 presteert beter dan het veel grotere DeepSeek-R1 671B-model op alle drie de metrieken (Lengte, Modulariteit, Afhankelijkheid) wanneer het niet wordt gesteund door een steiger. Bijvoorbeeld, op het gebied van modulariteit behaalde ImProver 2 een gemiddelde verbetering van 0,143 tegenover 0,055 voor het 671B-model.
Vergelijking met Geavanceerde Modellen: Het 7B ImProver 2-model is concurrerend met mid-tier geavanceerde modellen (bijvoorbeeld GPT-5-mini) op de metrieken voor lengte en afhankelijkheid. Het leidt alle geëvalueerde systemen zonder steiger op het gebied van modulariteit.
Invloed van Steigers: Het toevoegen van de neurosymbolische steiger verbetert de prestaties aanzienlijk voor alle modelfamilies. Bijvoorbeeld, de lengteverbeteringsscore van het 7B-model steeg van 0,118 (basis) naar 0,236 (met steiger). Zelfs grote modellen zoals GPT-5-high zagen aanzienlijke winsten (van 0,660 naar 0,875) met de steiger.
Iteratiedynamiek: De meeste prestatiewinsten treden op binnen de eerste 2–3 IRPO-iteraties. Het systeem toont aan dat kleine modellen effectief kunnen leren onderzoeksbewijzen op onderzoeksniveau te herstructureren, hoewel de prestaties uiteindelijk verzadigen naarmate het model veelvoorkomende refactoringspatronen absorbeert.
Compromissen in Nauwkeurigheid: Het artikel merkt een afweging op tussen optimalisatie en compilatienauwkeurigheid. Hoewel geoptimaliseerde bewijzen vaak leiden tot hogere metriekverbeteringen, kunnen ze een iets lagere compilatiegraad hebben dan conservatieve herschrijvingen, wat de riskantere aard van structurele transformaties weerspiegelt.

Betekenis en Beweringen

Het artikel stelt dat bewijsoptimalisatie niet uitsluitend een functie is van modelschaal, maar significant wordt gedreven door taalspecifieke specialisatie en iteratieve zelfverbetering. Door een preferentie-optimalisatiepijplijn met replay-buffer te combineren met neurosymbolische steigers, stelt ImProver 2 vast dat kleine, toegankelijke modellen complexe bewijzen op onderzoeksniveau effectief kunnen herstructureren.

De auteurs beweren dat hun werk bewijsoptimalisatie vestigt als een schaalbare, leerbare taak. Zij betogen dat hun aanpak de kritieke behoefte aan het onderhouden van formele bibliotheken en het verbeteren van de kwaliteit van trainingsdata voor toekomstige bewijzers aanpakt, en een weg biedt om het refactoren van bewijzen voor onderhoudbaarheid te automatiseren zonder uitsluitend afhankelijk te zijn van enorme, dure geavanceerde modellen. Het werk benadrukt dat met de juiste steigers en training kleine modellen de prestaties van aanzienlijk grotere systemen kunnen evenaren of overtreffen op specifieke structurele doelen.