🤖 AI

Goedel-Architect: Streamlining Formal Theorem Proving with Blueprint Generation and Refinement

Goedel-Architect is een agentisch framework voor Lean 4 stellingbewijzen dat gebruikmaakt van een blauwdrukgeneratie- en verfijningsstrategie om state-of-the-art prestaties te behalen op uitdagende wiskundige benchmarks zoals MiniF2F, Putnam en IMO met aanzienlijk lagere kosten dan bestaande pipelines.

Oorspronkelijke auteurs: Jui-Hui Chung, Ziyang Cai, Zihao Li, Qishuo Yin, Rohit Agarwal, Simon Park, Rodrigo Porto, Narutatsu Ri, Ziran Yang, Shange Tang, Xingyu Dang, Hongzhou Lin, Mengdi Wang, Danqi Chen, Chi Jin, Liam H Fo

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jui-Hui Chung, Ziyang Cai, Zihao Li, Qishuo Yin, Rohit Agarwal, Simon Park, Rodrigo Porto, Narutatsu Ri, Ziran Yang, Shange Tang, Xingyu Dang, Hongzhou Lin, Mengdi Wang, Danqi Chen, Chi Jin, Liam H Fowl, Sanjeev Arora

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm, ingewikkeld kasteel probeert te bouwen van LEGO-stenen. Je hebt een blauwdruk, maar het is geen tekening; het is een lijst met instructies die zegt: "Om de toren te bouwen, heb je eerst een fundament nodig, dan een muur, en dan een raam."

Het probleem is dat als je de hele toren in één enorme sprong probeert te bouwen, je halverwege vast kunt lopen, of je kunt halverwege de toren beseffen dat het fundament verkeerd is gebouwd.

Goedel-Architect is een nieuw, slim robotteam ontworpen om deze wiskundige "kasteelconstructies" (formele bewijzen) te bouwen in een taal genaamd Lean 4. In plaats van te proberen het hele kasteel in één keer te bouwen, gebruikt het een strategie genaamd Blueprint Generation and Refinement (Blauwdruk Generatie en Verfijning).

Zo werkt het, opgedeeld in eenvoudige stappen:

1. De Blauwdruk (Het Meesterplan)

Voordat de robot begint met bouwen, tekent hij een Blauwdruk.

Wat is het? Zie dit als een afhankelijkheidskaart. Het somt elke kleine stap (een "lemma" genoemd) op die nodig is om het grote wiskundige probleem te bewijzen.
Hoe het werkt: Het tekent pijlen die laten zien welke stappen van anderen afhankelijk zijn. Bijvoorbeeld: "Je kunt het dak niet bouwen totdat de muren klaar zijn."
De Twist: Soms, als het wiskundige probleem erg moeilijk is, krijgt de robot een Natural Language Proof (Bewijs in Natuurlijke Taal). Dit is alsof een menselijke wiskundige een ruwe schets of een verhaal geeft over hoe het probleem op te lossen. De robot gebruikt dit verhaal om direct vanaf het begin een betere, nauwkeurigere blauwdruk te tekenen.

2. De Bouwploeg (Parallel Proving)

Zodra de blauwdruk klaar is, stuurt de robot niet één voor één stappen uit, maar stuurt hij een heel team van gespecialiseerde bouwers (een "Lean prover") uit om aan alle kleine stappen tegelijkertijd te werken.

Elke bouwer kijkt alleen naar zijn eigen specifieke stap en de stappen die hij mag gebruiken (zijn "afhankelijkheden").
Ze proberen hun deel te bouwen. Als ze slagen, maken ze dat deel van de blauwdruk Groen.
Als ze falen, maken ze het deel Blauw (vastgelopen) of Rood (gebroken).

3. De Fix-It Loop (Verfijning)

Dit is waar Goedel-Architect verschilt van andere robots.

De Oude Manier: Veel andere AI-systemen proberen een probleem op te lossen, lopen vast, en proberen vervolgens dat ene vastgelopen stukje steeds opnieuw in kleinere stukjes te breken. Dit is als proberen een kapotte muur te repareren door steeds harder op dezelfde plek te slaan. Dit leidt vaak tot een doodlopend spoor.
De Goedel-Manier: Als een bouwer vastloopt, stopt het hele team en kijkt naar de volledige blauwdruk.
- Diagnose: De robot vraagt: "Waarom is dit mislukt?"
  - Geval A (Rood): "O, deze stap is eigenlijk onjuist!" (De blauwdruk had een fout idee). De robot corrigeert de bewering.
  - Geval B (Blauw): "Deze stap is wel waar, maar het is nu te moeilijk om te bouwen." De robot breekt deze grote stap op in twee of drie kleinere, makkelijkere hulppasjes.
- Revisie: De robot schrijft de blauwdruk opnieuw met deze nieuwe, kleinere stappen en stuurt de ploeg opnieuw uit.
- Efficiëntie: Cruciaal is dat welk deel van het kasteel ook al succesvol is gebouwd (Groen), Groen blijft. De robot gooit het goede werk niet weg; hij repareert alleen de kapotte delen en voegt nieuwe hulppasjes toe.

Waarom is dit een grote zaak?

Het artikel beweert dat deze aanpak een "game changer" is om twee belangrijke redenen:

Het is ongelooflijk slim en nauwkeurig:
- Op een standaardtest van wiskundevragen voor het voortgezet onderwijs (MiniF2F), loste het 99,2% van de problemen op. Met een beetje hulp van een menselijk verhaal (Natural Language), loste het 100% op.
- Op moeilijker niveau voor het hoger onderwijs (PutnamBench), loste het 75,6% zelfstandig op, en 88,8% met een beetje hulp.
- Het loste zelfs problemen op uit zeer recente, supermoeilijke competities (zoals IMO 2025 en Putnam 2025) die geen enkele andere open-source robot heeft opgelost.
Het is ongelooflijk goedkoop:
- Andere top-tier robots die deze problemen oplossen, maken vaak gebruik van "black box"-modellen die duizenden dollars kosten om te draaien.
- Goedel-Architect gebruikt een goedkopere, open-source hersenpan (DeepSeek-V4-Flash).
- De Kosten: Om de volledige PutnamBench-test op te lossen, kostte Goedel-Architect ongeveer $294. De op één na beste open-source concurrent kostte ongeveer $163.000. Dat is een 500x besparing.

De Kern van het Verhaal

Goedel-Architect is als een meesterarchitect die niet alleen probeert een spijker in de muur te slaan; het tekent een kaart, stuurt een ploeg uit om parallel te bouwen, en wanneer er iets breekt, tekent het de hele kaart opnieuw om de logica te herstellen, waarbij het goede werk behoudt en alleen verandert wat noodzakelijk is. Het bewijst dat je niet de duurste, geheime AI nodig hebt om de moeilijkste wiskundeproblemen op te lossen; je hebt alleen een slimmere manier nodig om het werk te organiseren.

Technische Samenvatting: Goedel-Architect

Probleemstelling

Het artikel behandelt de uitdaging van formeel bewijzen in Lean 4, met als doel de kloof te overbruggen tussen hoogwaardige propriëtaire systemen en toegankelijke, open-source pipelines. Hoewel frontale AI-systemen significante wiskundige capaciteiten hebben getoond (bijv. IMO-goudmedailles, het oplossen van openstaande Erdős-problemen), vereist de verificatie van deze bewijzen een rigoureuze formalisering. Bestaande open-weight oplossingen worstelen vaak met moeilijke benchmarks zoals PutnamBench (score <15%), terwijl hoogpresterende systemen vertrouwen op niet-vrijgegeven modellen of dure propriëtaire API's (die duizenden dollars per benchmark-run kosten). De kern van de moeilijkheid ligt in het efficiënt deconstrueren van complexe stellingen naar bewijsbare lemma's zonder vast te lopen in recursieve doodlopende wegen of excessieve computationele kosten te maken.

Methodologie

Goedel-Architect is een agentisch framework dat gecentreerd is rond blueprint-generatie en -verfijning. In tegenstelling tot benaderingen die vertrouwen op recursieve top-down decompositie of single-shot bewijsgeneratie, opereert dit systeem op een globale afhankelijkheidsgraaf.

1. Blueprint-generatie

Het proces begint met het genereren van een blueprint, gedefinieerd als een afhankelijkheidsgraaf van formeel geformuleerde definities en lemma's die opbouwen naar de doelstelling (de stelling).

Structuur: De doelstelling is de unieke sink van de graaf. Elke node vertegenwoordigt een definitie of lemma, en randen (edges) vertegenwoordigen de verklaarde afhankelijkheden (d.w.z. welke lemma's een bewijs mag gebruiken).
Input: De formele formulering van de stelling initieert altijd de generatie. Optioneel kan een natuurlijke taal-bewijs (gegenereerd door een sterker model of geleverd als oplossing) voor moeilijke problemen dienen als een structurele gids.
Validatie: De generator iterereert tegen de Lean-compiler om te waarborgen dat het uitgegeven bestand parseert, alle nodes goed getypeerd zijn en de graaf acyclisch en verbonden is.

2. Parallelle Theorem Proving

Zodra de initiële blueprint ( $G_0$ ) is gegenereerd, worden de lemma-nodes naar een met tools uitgeruste Lean-prover gestuurd in parallel.

Context: De prover voor een specifieke lemma ziet alleen de lemma zelf en de verklaarde afhankelijkheden (beschikbaar als feiten), niet de volledige graaf.
Tools: De prover maakt gebruik van de Lean-compiler voor type-checking en een Mathlib retrieval service voor lemma-lookup.
Diagnose: Als een lemma faalt, geeft de prover een gestructureerde diagnose terug. Dit omvat:
- Negatie: Als de prover een tegenvoorbeeld vindt, registreert deze een bewijs van de ontkende stelling.
- Gap-analyse: Als de lemma onbewezen is maar wel als waar wordt beschouwd, identificeert de prover waar de bewijsketen breekt.

3. Blueprint-verfijning

Als er lemma's onbewezen blijven, herschrijft een verfijningsmodel de globale blueprint ( $G_{k+1}$ ) op basis van de foutsignalen.

Strategieën: Verfijning omvat het deconstrueren van moeilijke lemma's in hulp-lemma's, het herbedraden van afhankelijkheden om toegang te krijgen tot noodzakelijke resultaten, of het wijzigen/verwijderen van stellingen die de prover als onwaar heeft bewezen.
Preservatie: Succesvol bewezen lemma's uit de vorige iteratie worden behouden (groene nodes) met hun intacte signaturen, zodat computationele inspanning niet verloren gaat.
Iteratie: De herziene blueprint wordt opnieuw in parallel bewezen. Deze lus gaat door totdat alle nodes zijn opgelost of de iteratie-budget is uitgeput.

Belangrijkste Bijdragen

Blueprint-gecentreerde Architectuur: Het artikel introduceert een globale afhankelijkheidsgraaf-benadering die contrasteert met recursieve decompositie. Dit maakt parallel bewijs-pogingen mogelijk die context kunnen delen en stelt verfijning in staat om op de gehele strategie tegelijkertijd in te werken in plaats van lokaal.
Open-Weight State-of-the-Art: Het systeem bereikt state-of-the-art prestaties met de open-weight DeepSeek-V4-Flash (284B-A13B) backbone, waardoor de noodzaak voor niet-vrijgegeven modellen of propriëtaire fronten wordt vermeden.
Kostenefficiëntie: De pipeline is aanzienlijk kosteneffectiever dan vergelijkbare hoogpresterende systemen. Het artikel rapporteert een kosten per probleem van ~$0,44, wat tot 500× minder is dan andere open-source pipelines en ordes van grootte goedkoper dan propriëtaire alternatieven.
Natuurlijke Taal-seeding: Het framework demonstreert dat optionele natuurlijke taal-bewijzen effectieve structurele steigers kunnen dienen voor de initiële blueprint, met name voor problemen met niet-lokale structuren (bijv. cyclische sommen, deelbaarheidsketens), wat helpt de strategie te verankeren voor de verfijningslus.

Experimentele Resultaten

Het systeem werd geëvalueerd op vijf benchmarks: MiniF2F-test, PutnamBench, IMO 2025, Putnam 2025 en USAMO 2026.

MiniF2F-test: Behaalde 99,2% pass@1 (242/244 problemen) zonder natuurlijke taal-begeleiding. Met optionele natuurlijke taal-seeding loste het alle 244 problemen op (100%), waarmee een nieuw record voor open-weight systemen werd gevestigd.
PutnamBench: Behaalde 75,6% pass@1 (508/672 problemen), waarmee het de Hilbert-pipeline (70,0% bij pass@1840) en AxProverBase (54,7% bij pass@1) overtrof. Met natuurlijke taal-begeleiding (pass@4) steeg het oplossingspercentage naar 88,8% (597/672).
IMO 2025: Loste 4/6 problemen op.
Putnam 2025: Loste 11/12 problemen op.
USAMO 2026: Loste 3/6 problemen op (een contaminatie-vrije benchmark aangezien de problemen de training-cutoffs van het model overstijgen).

Kostenanalyse: Op PutnamBench loste Goedel-Architect de volledige set van 672 problemen op voor $294 aan API-kosten. In contrast hiermee gaf de op één na beste open pipeline (Hilbert) naar verluidt ~ $163k–$ 170k uit voor een enkele run, wat het enorme efficiëntieverschil benadrukt.

Betekenis en Claims

De auteurs beweren dat Goedel-Architect een nieuwe Pareto-front vestigt voor formeel bewijzen. Het demonstreert dat hoogwaardige prestaties (die wedijveren met massieve propriëtaire systemen zoals AlphaProof of systemen die Claude Opus 4.5 gebruiken) kunnen worden bereikt met een zeer efficiënte, open-weight backbone en een innovatief pipeline-ontwerp.

Het artikel benadrukt dat de combinatie van de globale afhankelijkheidsgraaf (die holistische verfijning mogelijk maakt) en open-weight modellen (DeepSeek-V4-Flash) de drijvende kracht achter dit succes is. Het systeem slaat effectief de kloof tussen academische toegankelijkheid en frontale prestaties dicht, waardoor hoogwaardig formeel bewijzen mogelijk wordt tegen een fractie van de eerdere kosten. De auteurs merken op dat hoewel natuurlijke taal-begeleiding de prestaties op de moeilijkste problemen aanzienlijk verhoogt, de kern-pipeline robuust en effectief blijft zonder dit op standaard benchmarks.