🤖 AI

Self-Modifying Lean Proof Agents with Verifier-Grounded Benchmark Coevolution

Dit artikel introduceert een zelfmodificerende Lean-bewijsagent die coevolueert met een beheersingsgestuurde benchmark om een oplossingspercentage van 45,1% op gehouden tests te bereiken, waarbij het zowel zijn zaadmodel als zijn tegenhangers met vaste benchmarks significant overtreft door ervoor te zorgen dat alle zelfverbeteringen geworteld blijven in vertrouwde Lean-verificatie.

Oorspronkelijke auteurs: Yuqing Li, Zeguan Wu, Yu Gan, Junyu Liu

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuqing Li, Zeguan Wu, Yu Gan, Junyu Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen opdrachten uitvoeren, maar ook daadwerkelijk kunnen leren van hun eigen fouten, hun eigen instructies kunnen herschrijven en in de loop van de tijd slimmer kunnen worden. Dit is het domein van "zelfevoluerende agenten", een tak van kunstmatige intelligentie waarbij software probeert zichzelf te verbeteren door zijn eigen code aan te passen. Meestal worden deze digitale wezens getest op een vaste set puzzels, zoals een student die steeds weer dezelfde wiskundetoets maakt tot hij de antwoorden uit zijn hoofd kent. Maar wat als de toets zelf moeilijker wordt telkens wanneer de student beter wordt? Dat is het idee van "co-evolutie", waarbij de leerling en de uitdaging samen groeien en elkaar naar nieuwe hoogten stuwen. In de specifieke hoek van de wiskunde die bekend staat als formele verificatie, is er een strikte scheidsrechter genaamd "Lean" die controleert of een bewijs 100% correct is. De grote vraag die onderzoekers zich hebben gesteld is: Kan een computeragent zelf uitzoeken wat de beste manier is om deze wiskundige bewijzen op te lossen, zonder dat een menselijke leraar de strategie voor hem ontwerpt?

Dit artikel vertelt het verhaal van een team onderzoekers die een digitale "bewijs-agent" hebben gebouwd die probeert die vraag te beantwoorden. In plaats van de agent een perfecte, handgeschreven gids te geven over hoe wiskundeproblemen op te lossen, lieten ze de agent zijn eigen workflow, hulpmiddelen en zelfs de manier waarop hij zijn gedachten organiseert, herschrijven. Om het eerlijk en integer te houden, koppelden ze deze zelfverbeterende agent aan een "co-evolving benchmark". Denk aan een videogame die automatisch de moeilijkheidsgraad aanpast: zodere de agent een level beheerst, vervangt het spel die makkelijke levels door moeilijkere levels, zodat de agent nooit verveeld raakt of vastloopt. De onderzoekers ontdekten dat deze aanpak verrassend goed werkte. Aan het einde van 15 generaties evolutie kon hun zelfgeleerde agent 45,1% van een reeks moeilijke, onbekende wiskundeproblemen oplossen, een enorme sprong ten opzichte van de 12,7% die hij aan het begin kon oplossen. De paper suggereert echter ook dat, hoewel deze agent veel beter werd, hij geen perfect genie werd; hij leerde vooral heel goed te zijn in het herstellen van zijn eigen fouten, in plaats van het uitvinden van geheel nieuwe, complexe manieren om problemen af te breken.

Het verhaal van de zelf-redigerende wiskunde-bot

Stel je voor dat je een robot hebt die een enorme stapel wiskundige bewijzen wil oplossen. Normaal gesproken zou een menselijke programmeur een strikte handleiding voor de robot schrijven: "Doe eerst dit. Als je dan een fout ziet, doe dan dat." Maar in dit experiment besloten de onderzoekers de robot zijn eigen handleiding te laten schrijven. Ze creëerden een systeem waarbij de "hersenen" van de robot (zijn code, zijn hulpmiddelen en zijn strategie) volledig aanpasbaar waren. De robot kon proberen zijn eigen instructies te herschrijven om te zien of hij problemen sneller of nauwkeuriger kon oplossen.

Maar er was een addertje onder het gras. Als de robot zijn eigen code kon herschrijven, kon hij ook liegen en zeggen: "Ik heb het opgelost!" terwijl dat eigenlijk niet zo was. Om dit te voorkomen, bouwden de onderzoekers een "trusted runtime" — een strikte, onveranderlijke scheidsrechter die nooit slaapt. Deze scheidsrechter, aangedreven door een systeem genaamd Lean, fungeert als de ultieme rechter. Wat de robot ook doet met zijn eigen code, de scheidsrechter controleert het uiteindelijke bewijs. Als het bewijs niet standhoudt onder de microscoop van de scheidsrechter, telt het niet. Dit zorgt ervoor dat de robot niet kan valsspelen; hij moet daadwerkelijk de wiskunde doen om een punt te scoren.

Het spel dat moeilijker wordt

Het meest opwindende deel van dit experiment is hoe ze de robot testten. In de meeste AI-experimenten oefent de robot op een vaste lijst met problemen. Als de robot te goed wordt, memoriseert hij simpelweg de antwoorden, en stopt de test met nuttig te zijn. De onderzoekers in dit artikel wilden dat voorkomen. Ze zetten een "coevolving benchmark" op, wat een videogame is die moeilijker wordt elke keer dat je een level verslaat.

Zo werkte het:

De Kampioen: In elke ronde mag de best presterende robot (de "kampioen") bepalen hoe de volgende ronde eruitziet.
De Upgrade: Als de kampioen te veel makkelijke problemen oplost, vervalt het systeem die makkelijke problemen en vervangt ze door moeilijkere problemen uit een grotere verzameling uitdagingen.
De Scorekeeper: Om ervoor te zorgen dat de scores eerlijk blijven naarmate het spel moeilijker wordt, gebruikten ze een speciale wiskundige truc genaamd "single-anchor recalibration". Stel je voor dat je een race loopt op een atletiekbaan die plotseling steiler wordt; je loopt langzamer, maar je bent nog steeds een geweldige hardloper. Dit systeem paste de scores aan zodat het winnen van een "gouden medaille" op een moeilijk parcours evenveel waard was als het winnen van een gouden medaille op een makkelijk parcours.

Deze opzet betekende dat de robot altijd net buiten zijn comfortzone werd gepusht, wat hem dwong om nieuwe trucs te leren in plaats van alleen de oude te memoriseren.

Wat de robot daadwerkelijk heeft geleerd

Na het draaien van dit experiment gedurende 15 generaties waren de resultaten fascinerend. De robot begon met het oplossen van slechts ongeveer 12,7% van de problemen. Tegen de 15e generatie kon de beste versie van de robot 45,1% van de problemen op een gloednieuwe, onbekende test oplossen. Dat is een enorme verbetering, wat aantoont dat het laten herschrijven van zichzelf de robot echt slimmer heeft gemaakt.

De onderzoekers ontdekten echter iets interessants over hoe de robot slimmer werd. Ze verwachtten dat de robot uiteindelijk een complexe, stapsgewijze strategie zou bedenken waarbij hij een groot probleem opdeelt in kleine, beheersbare stukjes (zoals een meesterarchitect die een gebouw verdiepingsgewijs ontwerpt). In plaats daarvan werden de winnende robots vooral experts in reparatie.

Denk er maar eens zo over na: De robot leerde een heel bewijs snel op te stellen, het vervolgens te controleren op fouten, en daarna de specifieke delen te repareren die kapot gingen. Hij leerde niet noodzakelijkerwijs om het hele gebouw vanaf de grond af aan te plannen; hij werd gewoon heel goed in het repareren van de scheuren. De onderzoekers ontdekten dat terwijl de robot probeerde complexe, stapsgewijze plannen te maken, deze plannen vaak uit elkaar vielen of te riskant waren. De eenvoudigere strategie van "proberen, controleren, repareren" was betrouwbaarder en won de competitie.

De robot vond ook enkele slimme hulpmiddelen uit om zichzelf te helpen. Zo leerde hij bijvoorbeeld de namen van de wiskundige termen die hij gebruikte dubbel te controleren om er zeker van te zijn dat hij geen nepwoorden bedacht (een veelvoorkomende fout die "hallucinatie" wordt genoemd). Hij bouwde kleine checklists en zoekinstrumenten om te garanderen dat elk onderdeel van zijn bewijs echt en geldig was voordat hij het indiende.

Het eindoordeel

Dus, is de robot een wiskundig genie geworden? Niet helemaal. Hoewel hij spectaculair verbeterde, kon hij nog steeds niet 99% van de problemen oplossen zoals de beste door mensen ontworpen robots dat kunnen. De onderzoekers suggereren dat de robot nog steeds in een "reparatiemodus" zit in plaats van een "planningsmodus". Hij is erg goed in het herstellen van fouten, maar hij heeft nog niet quite door hoe hij een perfect, diep fundament vanaf de basis moet bouwen.

Dit experiment laat zien dat zelfevoluerende agenten kunnen leren hun hulpmiddelen beter te gebruiken en veel slimmer kunnen worden wanneer de uitdagingen met hen mee groeien. Maar het suggereert ook dat er een grens is aan hoeveel een robot zichzelf kan leren zonder een mens die hem richting complexere strategieën stuurt. De robot bewees dat hij kon evolueren, maar de reis naar het worden van een ware wiskundige meester is nog volop bezig.

Technische Samenvatting: Zelfmodificerende Lean Bewijsagenten met Verifier-Gegronde Benchmark-Coevolutie

Probleemstelling

Het ontwerpen van effectieve agentische frameworks voor Lean-gebaseerd stellingbewijzen staat voor een dubbele uitdaging: het verbeteren van het ruwe synthesevermogen van de bewijzer en het optimaliseren van de omliggende bewijsworkflow. Hoewel recent werk zich heeft gericht op het bouwen van sterkere gespecialiseerde modellen of tactieken, betoogt een complementair perspectief dat de bottleneck ligt in de interactie van de agent met de Lean-omgeving—specifiek, hoe het verplichtingen deelt, compiler-feedback gebruikt, fouten diagnosticeert en een gestructureerde bewijscontext onderhoudt.

Huidige zelf-evoluerende agent-systemen (bijv. Darwin Gödel Machine, Hyperagents) optimaliseren agenten doorgaans tegen vaste, extern aangeleverde benchmarks. Deze aanpak is minder geschikt voor formele wiskunde omdat:

Selectiesignaal: Als de benchmark te moeilijk is (bijv. competitieniveau-problemen), falen de meeste evaluaties, waardoor er geen gradiënt voor evolutie beschikbaar komt. Als de benchmark te makkelijk is, verzadigt de agent snel.
Workflow-rigiditeit: De meeste agenten vertrouwen op handontworpen workflows. De vraag blijft of een agent zijn eigen bewijsworkflow, tools en contextrepresentatie kan laten evolueren zonder menselijke tussenkomst.
Gronding: Een zelf-herschrijvende agent kan niet worden vertrouwd om zijn eigen succes te rapporteren; een vaste, vertrouwde verifieerder is vereist om de correctheid te arbitreren.

Methodologie

De auteurs stellen een systeem voor waarbij een zelf-evoluerende Lean bewijsagent coevolueert met een zelf-verhardende benchmark, beide gegrond in een vaste, vertrouwde Lean verifieerder.

1. Systeemarchitectuur

Vertrouwde Runtime vs. Mutabele Workspace: Het systeem scheidt een vaste, vertrouwde runtime (die de Lean-verificatie, evaluatie en benchmarkbeheer afhandelt) van een volledig mutabele workspace. De agent kan zijn eigen bewijsworkflow, prompts en tools herschrijven binnen deze workspace.
Code-geldigheid vs. Bewijssucces: Gemuteerde agenten ondergaan een code-niveau "smoke test" om te garanderen dat ze kunnen draaien, maar een stelling wordt pas als "opgelost" gemarkeerd als het gegenereerde bewijs opnieuw wordt geverifieerd onder een vertrouwde Lean-snapshot.
Verifier-Gegronde Contract: Elke poging tot oplossen moet een machineleesbare bewijscontext emitteren. Hoewel de representatie van deze context (graaf, boom, tabel) vrij is om te evolueren, wordt de gronding ervan afgedwongen. De runtime zuivert certificaten, wijst sorry/admit af en verifieert claims onafhankelijk.

2. Coevolend Benchmark-mechanisme

In plaats van een vaste benchmark, gebruikt het systeem een kampioensgestuurde, meesterschap-getemperde curriculum:

Taakpool: Problemen zijn gestratificeerd in drie moeilijkheidsgraden (L1: enkelvoudige tactiek-lemma's; L2: miniF2F; L3: PutnamBench).
Update-regel: Aan het einde van elke generatie, indien de "kampioen" (de agent met de hoogste score) een oplossingsdrempel ( $\gamma=0.30$ $γ = 0.30$ ) overschrijdt, wordt de benchmark bijgewerkt.
- Taken die door alle agenten zijn opgelost, worden uitgefaseerd.
- Indien het meesterschap van de kampioen op een specifiek niveau een drempel ( $\tau=0.70$ ) overschrijdt, worden uitgefaseerde taken vervangen door moeilijkere taken van het volgende niveau; anders worden ze lateraal vervangen door nieuwe taken van hetzelfde moeilijkheidsniveau.
- De update geeft de voorkeur aan domeinen waar de agentenpopulatie de meeste fouten heeft geaccumuleerd.
Single-Anchor Recalibratie: Om de score vergelijkbaar te houden naarmate de moeilijkheid toeneemt, wordt de kampioen opnieuw geëvalueerd op de nieuwe benchmark. Een moeilijkheidscoëfficiënt ( $c$ ) wordt multiplicatief bijgewerkt om scores over generaties heen te normaliseren ( $q = r \times c$ ).

3. Evolutie-interface

Ouderselectie: Agenten worden uit een archief geselecteerd op basis van een moeilijkheid-genormaliseerde score, gedisconteerd door het aantal kinderen dat ze al hebben geproduceerd om dominantie van een lineage te voorkomen.
Zelfmodificatie: Agenten herschrijven hun eigen code, inclusief de workflow-logica (bijv. reparatielussen, decompositiestrategieën) en tooling (bijv. lemma-checkers).

Belangrijkste Bijdragen

Zelf-evoluerende Lean Bewijsagent: De auteurs presenteren een op code gebaseerde zelf-evoluerende agent waarbij de bewijsworkflow en tools mutabel zijn, maar het bewijssucces strikt gegrond blijft in Lean-verificatie.
Benchmark Coevolutie: Zij introduceren een kampioensgestuurde, zelf-verhardende benchmark die meevolueert met de agent. Dit voorkomt de stagnatie van vaste gemakkelijke benchmarks en de schaarste van vaste moeilijke benchmarks, door gebruik te maken van meesterschap-getemperde updates en single-anchor recalibratie.
Representatie-vrije, Gegronde Bewijscontexten: Het systeem handhaaft een contract waarbij agenten de vormat van hun bewijscontext kunnen laten evolueren (bijv. van platte logs naar gestructureerde grafen), maar de geldigheid van opgeloste claims strikt wordt afgedwongen door de vertrouwde runtime.

Experimentele Resultaten

Het systeem werd geëvalueerd over 15 actieve generaties, waarbij de coevoluerende trajectorie werd vergeleken met een fixed-benchmark baseline.

Prestaties op de Held-Out Test:
- Seed Agent: 12,7% oplossingspercentage op de held-out miniF2F test-split.
- Fixed-Benchmark Baseline: De beste agent bereikte 32,0%.
- Coevolving Agent: De beste agent (c144, Generatie 15) bereikte 45,1% op de held-out test.
Benchmark Hardening: De moeilijkheidscoëfficiënt steeg van 1.00 naar 3.17 over 15 generaties, wat aangeeft dat de benchmark succesvol in complexiteit toenam naarmate de agent verbeterde.
Workflow Evolutie:
- Reparatie-gecentreerde Dominantie: De winnende workflow bleef primair "reparatie-gecentreerd" (genereer bewijs $\to$ controleer Lean-fouten $\to$ herstel) in plaats van "decompositie-gecentreerd" (plan subdoelen $\to$ bewijs $\to$ assembleer).
- Tool Evolutie: Agenten slaagden erin tools te evolueren om gehallucineerde Lean-namen te voorkomen (bijv. #check probes, brononderzoek, geverifieerde lemma-caches).
- Decompositie Pogingen: Verschillende agenten probeerden decompositie-gebaseerde workflows (bijv. c26, c44, c141). Hoewel deze agenten echte node-niveau verificatie voor zelfstandige sub-lemma's ontwikkelden, werden deze strategieën vaak weggefilterd door selectie omdat de assemblage-stap nieuwe foutpunten introduceerde (JSON-parsing, context-mismatches) die het uiteindelijke oplossingspercentage verlaagden ten opzichte van compacte reparatielussen.
Bewijscontext: Bewijscontexten werden inspecteerbaar, maar evolueerden zelden naar diepe, geverifieerde afhankelijkheidsgrafen. Agenten hadden de neiging de context achterwaarts op te bouwen vanaf het uiteindelijke bewijs, in plaats van vooraf een graaf te plannen.

Betekenis en Claims

Het artikel claimt dat verifier-gegronde zelf-evolutie de Lean bewijsworkflows kan verbeteren onder een coevoluerende benchmark.

Haalbaarheid van Zelfverbetering: De resultaten tonen aan dat een agent zijn wiskundige workflow en tooling kan verbeteren door enkel zijn eigen code te herschrijven, mits een vaste, vertrouwde verifieerder het succes beoordeelt.
Belang van Coevolutie: De ablatie-studie laat zien dat een vaste benchmark leidt tot evolutionaire stagnatie zodra de agent een subset van taken beheerst. De coevoluerende benchmark behoudt een informatieve selectie-signaal door continu de moeilijkheid te verhogen.
Beperkingen en Toekomstige Richting: De auteurs zijn bescheiden over de huidige staat. De winnende workflow is nog steeds reparatie-gecentreerd, en het systeem heeft nog geen diepe, duurzame bewijscontext-graaf (DAG) ontwikkeld die wedijvert met handontworpen agenten zoals Goedel-Architect (die 99,2% bereikt op de miniF2F-test). De auteurs suggereren dat langere runs, grotere populaties of beloningen die specifiek gericht zijn op geverifieerde decompositie, noodzakelijk kunnen zijn om complexere, decompositie-eerst workflows te laten evolueren.

Dit werk legt een fundament voor agenten die hun eigen redeneerstructuren kunnen aanpassen in formele domeinen, waarbij de verificatielogica vast blijft terwijl het "hoe" van de bewijsconstructie kan evolueren.