🤖 AI

Pythagoras-Prover: Advancing Efficient Formal Proving via Augmented Lean Formalisation

Pythagoras-Prover is een rekenefficiënt familie van open-source Lean theorem provers die gebruikmaakt van curriculum-gebaseerde supervised fine-tuning en Augmented Lean Formalisation om state-of-the-art prestaties te behalen op formele bewijsbaken met aanzienlijk minder parameters dan bestaande modellen.

Oorspronkelijke auteurs: Joshua Ong Jun Leang, Zheng Zhao, Mihaela Cătălina Stoian, Qiyuan Xu, Haonan Li, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

Gepubliceerd 2026-06-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joshua Ong Jun Leang, Zheng Zhao, Mihaela Cătălina Stoian, Qiyuan Xu, Haonan Li, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om extreem moeilijke wiskundige puzzels op te lossen, maar met een addertje onder het gras: de robot moet zijn oplossing schrijven in een strikte, computerleesbare taal genaamd Lean. Als de robot zelfs maar een piepkleine logische fout maakt, wijst de computer het antwoord af. Dit is de wereld van Automated Theorem Proving (Geautomatiseerd Bewijzen van Stellingen).

Lange tijd was de enige manier om een robot goed in dit werk te krijgen, het voeren van enorme hoeveelheden data en het gebruiken van een "brein" (een computermodel) dat zo groot was dat het miljoenen dollars kostte om te draaien. Het was alsof je een schaaktoernooi probeerde te winnen door een team van 1.000 grootmeesters in te huren om voor jou na te denken.

Het artikel introduceert Pythagoras-Prover, een nieuwe familie van robot-wiskundigen die bewijst dat je geen gigantisch brein of een miljoen-dollar budget nodig hebt om te winnen. Ze bereikten dit door drie slimme trucs:

1. Het "Trainingskamp" (Curriculum Learning)

In plaats van de robot direct in het diepe water te gooien met de moeilijkste problemen, bouwden de onderzoekers een trainingskamp met drie niveaus: Makkelijk, Gemiddeld en Moeilijk.

De Analogie: Stel je voor dat je een kind leert fietsen. Je begint niet meteen op een bergpad. Je begint op een vlak trottoir (Makkelijk), dan een flauwe heuvel (Gemiddeld), en uiteindelijk het bergpad (Moeilijk).
Hoe ze het deden: Ze creëerden een enorme bibliotheek van wiskundige problemen. Als een probleem te moeilijk was voor de robot, gooiden ze het niet zomaar weg. Ze gebruikten een "rubriek" (een checklist van veelvoorkomende fouten) om het probleem af te breken naar een eenvoudigere versie die de robot wel kon oplossen. Hierdoor kon de robot stap voor stap leren, waarbij hij zelfvertrouwen en vaardigheid opbouwde voordat hij de reuzen aanpakte.

2. De "Mad Libs"-machine (Augmented Lean Formalisation)

Het grootste probleem in dit veld is een gebrek aan goede oefenopgaven. De onderzoekers realiseerden zich dat ze meer oefenopgaven konden creëren zonder dat daarvoor een mens ze hoefde te schrijven of een supercomputer ze hoefde te controleren.

De Analogie: Stel je voor dat je een perfect wiskundig verhaal hebt. In plaats van een heel nieuw verhaal vanaf nul te schrijven, speel je een spellet als "Mad Libs". Je vervangt de getallen, verandert de namen van de personages of verandert de volgorde van de stappen, maar de logica van het verhaal blijft hetzelfde.
Hoe ze het deden: Ze namen hun geverifieerde problemen en gebruikten een tool genaamd ALF om ze te muteren. Ze creëerden variaties (eenvoudigere versies, moeilijkere versies, of gewoon een andere formulering). Ze controleerden niet elke nieuwe variatie met de strikte computer (wat traag en duur is); ze controleerden alleen of de nieuwe opgave eruitzag als een geldige wiskundige opgave. Dit deed hun bibliotheek met oefenmateriaal met 2,5 keer exploderen, waardoor de robot veel meer materiaal had om van te leren.

3. De "Zelfreflectie"-lus (Self-Distillation)

Zodra de robot de basis had geleerd, lieten ze hem zichzelf lesgeven.

De Analogie: Stel je een student voor die hard heeft gestudeerd. In plaats van alleen een test af te leggen, probeert hij nieuwe variaties van de problemen die hij net heeft geleerd op te lossen. Als hij het goed heeft, schrijft hij het op als een nieuw voorbeeld om later zelf van te studeren.
Hoe ze het deden: De robot genereerde bewijzen voor die "Mad Libs"-variaties. Zelfs als de computer niet elk afzonderlijk geval dubbelcheckte, betekende het feit dat de robot een bewijs kon genereren voor een gemuteerde versie dat de robot de logica echt begreep, en niet alleen het antwoord uit het hoofd leerde. Deze "zelfgeleerde" data maakte de robot nog slimmer.

De Resultaten: Klein Brein, Grote Overwinningen

Het artikel vergelijkt hun nieuwe robots met de huidige "reuzen" in het veld:

De 4B Robot: Deze robot heeft 4 miljard "neuronen" (parameters). Hij is ongeveer 167 keer kleiner dan de vorige kampioen (DeepSeek-Prover-V2, die 671 miljard neuronen heeft).
- Het Resultaat: Ondanks dat hij piepklein is, loste de 4B robot meer problemen correct op dan de gigantische robot. Het is alsof een wiskundig wonderkind van de middelbare school een team van PhD's verslaat omdat het beter getraind is.
De 32B Robot: Deze iets grotere robot werd de beste open-source robot ooit getest op deze benchmarks, waarbij hij 93% van de problemen oploste.

Het "Diffusion"-experiment

De onderzoekers probeerden ook een andere manier van denken genaamd Diffusion.

De Analogie:
- Standaard (Autoregressief): Een zin schrijven, één woord tegelijk, van links naar rechts. Als je in het begin een fout maakt, moet je de hele zin herschrijven.
- Diffusion: Stel je een wazige schets van een zin voor. De robot kijkt naar de hele schets en vult alle ontbrekende woorden in één keer in, waarbij hij de afbeelding steeds verfijnt tot deze helder is. Hij kan een fout in het midden herstellen zonder het begin opnieuw te hoeven schrijven.
Het Resultaat: Deze "Diffusion"-robot was 2,5 keer sneller in het genereren van antwoorden dan de standaard robot, hoewel hij iets minder accuraat was. Het laat een nieuwe manier zien om snelheid in te ruilen voor precisie.

De "Stress Test" (MiniF2F-ALF)

Om te zien of de robots de antwoorden alleen maar hadden uit het hoofd geleerd of dat ze daadwerkelijk iets hadden geleerd, creëerden de onderzoekers een "stress test". Ze namen de testvragen en muteerden deze lichtjes (door getallen te veranderen, variabelen te wisselen) met dezelfde "Mad Libs"-techniek.

Het Resultaat: De meeste robots faalden voor deze test omdat ze de originele vragen hadden uit het hoofd geleerd. Pythagoras-Prover handelde deze mutaties echter veel beter af. Dit bewijst dat ze de logica van de wiskunde leerden, en niet alleen de specifieke antwoorden.

Samenvatting

Pythagoras-Prover laat zien dat je geen supercomputer nodig hebt om moeilijke wiskundige bewijzen op te lossen. Door een slim trainingsschema te gebruiken, eindeloze variaties van oefenopgaven te creëren en de robot zichzelf te laten onderwijzen, kun je een kleine, efficiënte robot bouwen die de enorme, dure reuzen uit het verleden overtreft.

Technische Samenvatting: Pythagoras-Prover

Probleemstelling

Moderne Lean-stellingbewijzers hebben een sterke prestatie bereikt, maar zijn zwaar afhankelijk van aanzienlijke trainings- en inferentie-rekenkracht, waarbij vaak frontier-schaalmodellen (honderden miljarden parameters) of rekenintensieve inferentieprocedures zoals uitgebreide zoektochten, zelfcorrectie en grote sampling-budgetten vereist zijn. Deze afhankelijkheid wordt gedreven door de schaarste aan geverifieerde bewijsdata en de lange redeneertrajecten die nodig zijn voor formele bewijszoektochten, wat supervised fine-tuning (SFT) en sampling duur maakt. Bijgevolg bestaat er een aanzienlijke kloof tussen kleine open-source provers en hun grootste tegenhangers, wat de toegankelijkheid beperkt voor onderzoekers en praktijkgebruikers zonder enorme rekenbronnen.

Methodologie

De auteurs introduceren Pythagoras-Prover, een rekenefficiënte familie van open-source Lean 4-stellingbewijzers. De aanpak steunt op een gefaseerde, rekenbesparende datapijplijn en trainingsstrategie in plaats van brute modelomvang.

1. Dataconstructie en Curriculum Learning

De trainingscorpus wordt geconstrueerd in drie moeilijkheidsgraden (Easy, Medium, Hard), die allemaal worden gecontroleerd door de Lean type-checker om correctheid te garanderen:

Easy en Medium graden: Geëgenereerd via een driestaps-pijplijn geïnspireerd door "Theorem Prover as a Judge". Natuurlijke taalproblemen uit datasets zoals DART-Math-Hard, DeepScaleR en OpenR1-Math worden geautomatiseerd geformaliseerd naar Lean-statements. Gefaal cel bewijzen worden geanalyseerd, en een rubriek-gestuurd distillatieproces genereert vereenvoudigde synthetische varianten die zich richten op specifieke foutcategorieën (bijv. tactiek-fouten, type-mismatches). Dit proces levert een relatieve verbetering van 30% op in de succesratio van de autoformalisatie.
Hard graad: Afkomstig van competitieniveau-problemen (Olympiades, AIME, AMC) uit Big-Math-RL-Verified. In tegen tegenstelling tot de makkelijkere graden, worden deze niet vereenvoudigd om hun moeilijkheidsgraad te behouden voor reinforcement learning (RL).
Curriculum SFT: Modellen worden getraind met een op moeilijkheidsgraad geordend curriculum (Easy $\to$ Medium $\to$ Hard) met gebruik van LoRA (Low-Rank Adaptation) om de parameterefficiëntie te behouden. Tijdens SFT wordt een dynamisch bewijs-redeneringsfilteringsschema toegepast om het 8k-token contextbudget te beheren: als de redeneerketen plus het bewijs het limiet overschrijdt, wordt de redenering verwijderd terwijl het bewijs behouden blijft; als alleen het bewijs het limiet overschrijdt, wordt de instantie weggegooid.

2. Augmented Lean Formalisation (ALF) en Zelf-distillatie

Om de bottleneck van de Lean-verificatiedoorvoersnelheid te overwinnen, introduceren de auteurs Augmented Lean Formalisation (ALF).

Mechanisme: ALF past vijf gestructureerde mutatie-operatoren toe (vereenvoudiging, generalisatie, lemma-voorstel, bewijsstap-decompositie, herformulering) op geverifieerde seed-instanties.
Efficiëntie: In plaats van elke gemuteerde instantie met Lean te verifiëren (wat computationeel onhaalbaar is), gebruikt ALF een lichtgewicht statement-alignment check. Het verifieert dat het gegenereerde bewijs naar het gemuteerde statement verwijst, waardoor de structurele geldigheid wordt gewaarborgd zonder volledige compilatie.
Zelf-distillatie: Het post-RL model genereert bewijzen voor deze gemuteerde statements. Dit breidt de corpus met ongeveer 2,5 $\times$ (naar ~2M instanties) zonder dat per instantie verificatie nodig is. Deze uitgebreide corpus wordt gebruikt voor voortgezette SFT en voor het trainen van een diffusie-gebaseerde prover.

3. Modelarchitecturen

De familie omvat twee generatie-paradigma's:

Autoregressieve Provers: 4B en 32B parameter modellen getraind met de bovenstaande pijplijn.
Diffusie-gebaseerde Prover: Pythagoras-Prover-Diffusion-4B, de eerste proof-of-concept diffusie-gebaseerde stellingbewijzer voor Lean. Deze maakt gebruik van tactiek-gebaseerde masking, waarbij volledige Lean-tactieken worden gemaskeerd en gedenoised als eenheden in plaats van individuele tokens, waardoor het denoising-doel wordt afgestemd op discrete redeneerstappen.

4. Reinforcement Learning (RL)

RL wordt uitgevoerd op uitgesloten harde problemen met behulp van GRPO (Group Relative Policy Optimization) met full-parameter fine-tuning. De beloning is binair (bewijs compileert en komt overeen met het statement). De auteurs merken op dat RL slechts bescheiden winst oplevert ten opzien van het curriculum-SFT model, wat suggereert dat de hoge kwaliteit van de supervised corpus reeds sterke bewijszoekgedragingen internaliseert.

Belangrijkste Bijdragen

Rekenefficiënte Provers: Een familie van open-source Lean provers (4B, 32B, en een 4B diffusie model) die de aanname uitdaagt dat sterke formele redenering enorme frontier-schaal modellen vereist.
ALF Datapijplijn: Een gestructureerd mutatieschema dat geverifieerde corpora met ~2,5 $\times$ uitbreidt met behulp van lichtgewicht sanity checks in plaats van per-instantie Lean-verificatie, waardoor de corpusuitbreiding wordt ontkoppeld van de verifier-doorvoersnelheid.
MiniF2F-ALF Benchmark: Een contaminatie-gevoelige perturbatie-benchmark die is gecreëerd door ALF-mutaties toe te passen op de MiniF2F-Test set. Het dient als een stresstest om te evalueren of modellen vertrouwen op exacte benchmark-recall of dat zij overdraagbare bewijsgedragingen bezitten.
Eerste Diffusie Theorem Prover: Een levensvatbare diffusie-gebaseerde prover voor Lean, die aantoont dat iteratieve verfijning een haalbare decoding-strategie is voor formele bewijzen, ondanks de huidige beperkingen in contextlengte.

Experimentele Resultaten

Geëvalueerd op MiniF2F-Test, PutnamBench, en MiniF2F-ALF:

MiniF2F-Test (Pass@32):
- Pythagoras-Prover-4B bereikt 86,1%, waarmee het DeepSeek-Prover-V2-671B (82,4%) verslaat, ondanks dat het ongeveer 167 $\times$ kleiner is. Het presteert ook beter dan Goedel-Prover-V2-8B (84,6%) en Kimina-Prover-70B (84,0%).
- Pythagoras-Prover-32B bereikt 89,8%, en leidt alle geëvalueerde open-source provers zonder zelfcorrectie.
MiniF2F-Test (Pass@2048):
- Pythagoras-Prover-32B bereikt 93,03%, wat een nieuwe state-of-the-art zet voor open-weight neurale Lean provers zonder zelfcorrectie, en presteert beter dan Goedel-Prover-V2-32B (92,2% bij Pass@8192) met een kwart van het sampling-budget.
PutnamBench:
- Pythagoras-Prover-32B lost 93 van de 672 problemen op bij Pass@2048, het sterkste open-source resultaat, waarmee het Goedel-Prover-V2 (86 bij Pass@184 met zelfcorrectie) overtreft.
MiniF2F-ALF (Robuustheid):
- Alle geëvalueerde modellen presteren slechter op deze geperturbeerde benchmark, wat bevestigt dat een hoge nauwkeurigheid op de originele split niet garandeert dat men robuust is tegen structurele varianten.
- Pythagoras-Prover-32B blijft de sterkste (85,0%), en Pythagoras-Prover-4B (83,2%) bereikt pariteit met de 8 $\times$ grotere Goedel-Prover-V2-32B (83,6%), en degradeert minder onder perturbatie.
Diffusie Efficiëntie:
- Pythagoras-Prover-Diffusion-4B bereikt 63,25% Pass@32 op MiniF2F-Test. Hoewel minder accuraat dan zijn autoregressieve tegenhanger, genereert het bewijzen 2,58 $\times$ sneller (10,56 vs. 4,10 tokens/sec), wat een hogere throughput-per-GPU-seconde biedt.

Betekenis en Claims

Het paper claimt dat sterk Lean stellingbewijzen niet uitsluitend hoeft te rusten op frontier-schaal modellen. De resultaten laten zien dat zorgvuldige dataconstructie (curriculum learning, ALF augmentatie, zelf-distillatie) en efficiënte trainingsrecepten (LoRA, dynamische filtering) deels een substituut kunnen zijn voor brute modelomvang.

Specifiek benadrukken de auteurs:

Efficiëntie: Pythagoras-Prover-4B presteert beter dan een 671B-parameter model, wat suggereert dat het voorgestelde trainingsrecept goed overdraagbaar is naar kleine modelregimes waar miljard-schaal baselines onpraktisch zijn.
Robuustheid: Het gebruik van ALF-mutaties tijdens de training verbetert de robuustheid tegen statement-niveau perturbaties, zoals blijkt uit de kleinere prestatiedaling op MiniF2F-ALF vergeleken met baselines.
Nieuwe Paradigma's: De introductie van een diffusie-gebaseerde prover vestigt een initiële baseline voor iteratieve verfijning in formeel bewijzen, wat een complementaire richting opent waar provers vergeleken kunnen worden op basis van throughput en bewijzen-per-GPU-seconde, niet alleen op nauwkeurigheid.

De auteurs concluderen dat de "rekenbesparende" datapijplijn de primaire drijfveer is van deze resultaten, waardoor state-of-the-art prestaties mogelijk worden onder praktische rekenbudgetten.