🤖 AI

Efficient Test-Time Optimization for Multi-Agent Proof Autoformalization

Het artikel introduceert ToMap, een multi-agent framework dat de rekenkracht tijdens de testfase optimaliseert door de stap van bewijsdecompositie te identificeren als de kritieke flessenhals en deze iteratief te verfijnen met behulp van formele verificatie en semantische rubrieken, waardoor significante verbeteringen worden bereikt in de nauwkeurigheid en efficiëntie van volledige bewijs-autoformalizatie op ProofFlowBench.

Oorspronkelijke auteurs: Tian-Shuo Liu, Shiyuan Zhang, Zijie Geng, Haoyu Liu, Runjie Xu, Pengyuan Wang, Lei Yuan, Yang Yu

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tian-Shuo Liu, Shiyuan Zhang, Zijie Geng, Haoyu Liu, Runjie Xu, Pengyuan Wang, Lei Yuan, Yang Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar ietwat chaotische robot probeert te leren hoe hij een perfect wiskundig bewijs moet schrijven. Je overhandigt hem een slordige, handgeschreven notitie vol slimme ideeën, logische sprongen en "voor de hand liggende" stappen die een mens direct zou begrijpen. Je doel? Dat de robot deze slordige notitie vertaalt naar een strikte, computercontroleerbare taal genaamd Lean die nooit een fout maakt.

Dit is de uitdaging van volledige auto-formalisering. Maar er zit een addertje onder het gras: de robot vertaalt niet alleen woorden; hij probeert een wolkenkrabber van logica te bouwen, steen voor steen. Als de eerste steen scheef staat, stort de hele toren in.

Het Probleem: De "Fix-It-All" Valstrik

In het verleden probeerden onderzoekers dit op te lossen door de robot te laten proberen, falen, en dan opnieuw te proberen. Als de computer zei: "Fout! Dit bewijs is onjuist," probeerde de robot gewoon een nieuwe manier om het geheel te schrijven en probeerde het opnieuw.

De auteurs van dit paper beargumenteren dat dit is alsof je een kapotte automotor probeert te repareren door willekeurig de banden, de radio en de stoelen te vervangen, in de hoop dat een van die onderdelen het probleem was. Het is duur, traag en grotendeks nutteloos. Ze ontdekten dat de fout meestal niet in de banden (het uiteindelijke bewijs) of de radio (de vertaling) zat; het probleem zat in het blauwdruk.

De Ontdekking: De "Blauwdruk" is de Flessehals

Het team, geleid door onderzoekers van Nanjing University, heeft de taak van de robot opgedeeld in drie specialisten:

De Decomposer (De Ontleder): De architect die het grote, rommelige bewijs opbreekt in kleine, beheersbare stappen.
De Formalizer (De Formaliseerder): De vertaler die die stappen omzet in computercode.
De Prover (De Bewijzer): De bouwer die het bewijs daadwerkelijk in de computer construeert.

Ze voerden een reeks experimenten uit (zoals een gecontroleerde crash-test) om te zien welke specialist de zwakke schakel was. Ze ontdekten dat als de Decomposer (de architect) een slechte blauwdruk gaf, de andere twee specialisten de dag niet konden redden, hoe hard ze ook hun best deden. Zelfs als je de Formalizer en Prover oneindig veel kansen gaf om hun werk te verbeteren, konden ze een slecht startplan niet overwinnen.

De belangrijkste bevinding: Om de beste resultaten te krijgen, moet je geen tijd verspillen aan het repareren van de vertaler of de bouwer. Je moet al je energie steken in het helpen van de Decomposer om een betere blauwdruk te tekenen.

De Oplossing: TOMAP (De Slimme Architect)

Hier komt TOMAP binnen, een nieuw systeem dat fungeert als een super-efficiënte coach voor de Decomposer. In plaats van de robot blind te laten gokken, gebruikt TOMAP een slimme "evolutie"-lus:

Drafting (Conceptie): De Decomposer creëert verschillende verschillende blauwdrukken (decompositieën) voor hetzelfde bewijs.
De "Rubric" Check: Voordat de robot zelfs maar iets probeert te bouwen, kijkt een slimme rechter (een AI) naar de blauwdrukken en scoort ze op drie punten:
- Faithfulness (Getrouwheid): Ben je trouw gebleven aan de ideeën van het oorspronkelijke bewijs?
- Provability (Bewijsbaarheid): Is deze stap daadwerkelijk oplosbaar?
- Lean-friendliness (Lean-vriendelijkheid): Is de taal duidelijk genoeg voor de computer?
De Pareto Frontier: Het systeem houdt de "beste van de besten" blauwdrukken achter—die sterk zijn in alle gebieden—en gooit de zwakke weg.
Evolution (Evolutie): Het neemt de beste blauwdruk, bekritiseert deze, en vraagt de Decomposer om opnieuw te proberen, met kleine verbeteringen.
De Gatekeeper (De Poortwachter): Pas wanneer een blauwdruk perfect scoort op de "Rubric", laat het systeem de Formalizer en Prover daadwerkelijk proberen het te bouwen.

Denk aan een talentenjacht. De "Rubric" is de voorlopige auditie. Je laat niet elke deelnemer het volledige lied op het hoofdpodium uitvoeren (dat is duur en kost tijd). Je laat alleen degenen die de auditie hebben gehaald het volledige lied uitvoeren. Dit bespaart een enorme hoeveelheid tijd en rekenkracht.

De Resultaten: Sneller, Slimmer en Nauwkeuriger

Toen ze TOMAP testten op een benchmark genaamd PROOFFLOWBENCH (die 184 wiskundige problemen bevat) en miniF2F (244 problemen), waren de resultaten indrukwekkend:

TOMAP verbeterde het succespercentage met 19,0% vergeleken met de beste vorige methode, kijkend naar zowel de correctheid van de code als de getrouwheid aan het oorspronkelijke bewijs.
Dit deed het met minder tijd en minder computerbronnen dan de andere methoden.
Interessant genoeg kwamen de grootste verbeteringen zeer snel tot stand. De meeste winst werd behaald binnen slechts enkele ronden van "evolutie", wat suggereert dat je het systeem niet urenlang hoeft te draaien om geweldige resultaten te krijgen.

Wat Ze Niet Hebben Gedaan (En Wat Ze Niet Hebben Gezegd)

Het is belangrijk om te weten wat dit paper niet beweert.

Het is geen toverstaf voor slechte wiskunde: Het systeem gaat ervan uit dat het oorspronkelijke menselijke bewijs correct is. Als het menselijke bewijs fout of incompleet is, vertaalt TOMAP de fout getrouw. Het repareert geen slechte wiskunde; het vertaalt deze alleen beter.
Het is nog niet voor reuzen op onderzoeksniveau: De tests werden uitgevoerd op standaard wiskundeproblemen (zoals middelbare schoolwedstrijden of bacheloropleidingen). De auteurs geven toe dat ze dit nog niet hebben getest op enorme, baanbrekende onderzoeksbewijzen die misschien pagina's lang kunnen zijn.
Het is geen "training" wonder: In tegenstelling tot andere methoden die vereisen dat je een nieuw, gigantisch AI-model vanaf nul traint (wat een fortuin kost), is TOMAP een "test-time" optimalisatie. Het werkt met de modellen die we al hebben, simpelweg door slimmer met ze om te gaan.

De Kernboodschap

Dit paper suggereert dat in de wereld van AI-wiskundige bewijzen, kwaliteitscontrole aan het begin alles is. Door onze beperkte rekenkracht te richten op het verfijnen van het initiële plan (de decompositie) in plaats van eindeloos te blijven proberen de uiteindelijke constructie te maken, kunnen we betere, meer betrouwbare bewijzen sneller bouwen. Het is een verschuiving van "harder proberen" naar "beter plannen", en de data laat zien dat het werkt.

Technische Samenvatting: Efficiënte Test-Time Optimalisatie voor Multi-Agent Bewijs Autoformalizatie

1. Probleemstelling

Volledige bewijs-autoformalizatie streeft naar het vertalen van uitgebreide natuurlijke taal wiskundige bewijzen naar formeel gevalideerde redeneringen binnen bewijsassistenten zoals Lean. In tegen afstelling tot bewijs-niveau formalisatie, dat zich richt op het vertalen van een enkele stelling, is volledige bewijs-autoformalizatie een uitdaging op de lange termijn. Het vereist het coördineren van claims, contexten en afhankelijkheden over talrijke bewijsstappen om een globaal controleerbaar geheel te construeren.

Huidige benaderingen kampen met twee primaire beperkingen:

Kostbare Training: Veel methoden vertrouwen op grootschalige supervised fine-tuning, wat moeilijk is vanwege de schaarste aan bewijs-niveau gekoppelde supervisiedata.
Inefficiënte Test-Time Optimalisatie: Bestaande inferentie-methoden passen vaak overmatige, ongeleide reparatie of iteratieve verfijning toe over de gehele pijplijn. In volledige bewijsinstellingen komt verifier-feedback (bijv. Lean-fouten) pas na een lange generatieketen, wat zelden onthult welke upstream beslissing de fout heeft veroorzaakt. Dit maakt het uitdagend om beperkte test-time compute te richten op gerichte verbeteringen in plaats van ongeleide pogingen opnieuw te doen.

2. Methodologie: Het TOMAP-framework

De auteurs introduceren TOMAP (Test-time Optimization for Multi-Agent Proof autoformalization), een framework dat de taak structureert als een Decomposer-Formalizer-Prover pijplijn. De kerninnovatie is een efficiënte test-time optimalisatiestrategie die de kritieke bottleneck van het systeem identificeert en aanpakt.

2.1 Multi-Agent Pijplijn

Het systeem bestaat uit drie gespecialiseerde agents:

Decomposer ( $D$ ): Splitst het informele bewijs in atomaire, zelfstandige sub-proposities (bewijseenheden) met expliciete afhankelijkheden.
Formalizer ( $F$ ): Vertaalt elke natuurlijke taal sub-propositie naar een formele Lean-stelling.
Prover ( $P$ ): Genereert tactic scripts om elke geformaliseerde doelstelling te bewijzen.
Verifier ( $V$ ): Een externe Lean checker die het samengestelde bewijsbestand valideert.

2.2 Weak-Link Analyse

Voordat er wordt geoptimaliseerd, voeren de auteurs een "weak-link analyse" uit om te bepalen waar test-time compute de hoogste opbrengst levert. Door individueel in te grijpen op elke fase (Decomposer, Formalizer, Prover) terwijl de anderen vaststaan, meten zij de herstelbaarheid van end-to-end verificatiesucces.

Bevinding: De Decomposer is de kritieke bottleneck. Het herzien van de natuurlijke taal bewijseenheid-specificatie (claims, aannames, afhankelijkheden) levert significant hogere winsten op in het uiteindelijke verificatiesucces (51,1% nauwkeurigheid) vergeleken met het herzien van formele stellingen (45,1%) of bewijsscripts (33,7%).
Implicatie: Hoogwaardige, atonale en zelfstandige bewijseenheden reduceren de downstream formalisatie en het bewijzen tot lokale taken binnen de capaciteiten van de Formalizer en de Prover.

2.3 Test-Time Optimalisatie Strategie

TOMAP richt alle test-time compute op het verfijnen van de Decomposer, waarbij de Formalizer en de Prover worden behandeld als vaste downstream executoren. De optimalisatie volgt een GEPA-stijl (Reflective Prompt Evolution) loop:

Candidate Pool: Houdt een pool van kandidaat-decompositie's bij voor een gegeven input.
Rubric Scoring: In plaats van onmiddellijk de dure Lean verifier aan te roepen, worden kandidaten gescoord door een LLM-gebaseerde "Rubric Judge" tegen drie dimensies:
- Semantische Getrouwheid: Afstemming met het originele natuurlijke taal bewijs.
- Bewijsbaarheid: Of elke eenheid zelfstandig en logisch compleet is.
- Lean-vriendelijkheid: Helderheid, explicietheid van aannames en het vermijden van ambiguïteit.
Pareto-geleide Evolutie: Kandidaten worden geëvalueerd op een Pareto-front gebaseerd op de rubric scores. Een reflectieve LLM proposer selecteert hoog-presterende kandidaten, bekritiseert hen op basis van de rubric feedback, en stelt herziene decomposities voor.
Verification Gating: Alleen kandidaten die aan een hoge kwaliteit drempel voldoen (de rubric gate passeren) worden gecommitteerd aan de downstream Formalizer-Prover pijplijn voor de dure, grondwaarheid Lean verificatie.

Dit tweeledige ontwerp balanceert goedkope, dichte proxy-feedback (rubrics) om de zoektocht te sturen met dure, getrouwe verificatie die alleen gereserveerd is voor veelbelovende kandidaten.

3. Belangrijkste Bijdragen

Bottleneck Identificatie: Het artikel levert empirisch bewijs via weak-link analyse dat de kwaliteit van de bewijs-decompositie de primaire determinant van succes is in volledige bewijs-autoformalizatie, waardoor de optimalisatiefocus verschuift van de gehele pijplijn naar de Decomposer interface.
TOMAP Framework: Een nieuwe test-time optimalisatiemethode die de zoektocht ontkoppelt van de verificatie. Het evolueert bewijs-decompositie's met behulp van multi-objective rubric feedback en Pareto-selectie, wat de afhankelijkheid van dure Lean-aanroepen tijdens de zoekfase aanzienlijk vermindert.
Efficiëntie en Prestaties: De aanpak bereikt state-of-the-art resultaten zonder dat grootschalige training vereist is, maar vertrouwt in plaats daarvan op efficiënte inference-time optimalisatie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op PROOFFLOWBENCH (184 undergraduate-niveau problemen) en miniF2F (244 high-school niveau problemen).

Prestaties: TOMAP presteert beter dan zowel training-gebaseerde baselines (bijv. ProofBridge) als training-vrije baselines (bijv. PROOFFLOW, Monotonic).
- Op PROOFFLOWBENCH verbeterde TOMAP (gebruikmakend van Gemini3-Pro) de gezamenlijke Syntactische Correctheid en Semantische Getrouwheid score met 19,0% ten opzichte van de beste vorige methode.
- Op miniF2F bereikte het een verbetering van 8,2% in de gezamenlijke metriek.
Semantische Getrouwheid: TOMAP presteert significant beter dan monolithische generatoren in het behouden van de semantische structuur van het originele bewijs, waarbij het de neiging van andere methoden vermijdt om semantisch incorrecte maar syntactisch correcte Lean-code te generen.
Kosten-efficiëntie: Hoewel TOMAP meer test-time compute vereist dan naïeve baselines, bereikt het hogere succespercentages met lagere totale kosten vergeleken met methoden die vertrouwen op uitgebreide iteratieve pogingen van de volledige pijplijn.
Scaling Analyse: Ablatie-studies onthullen dat de meeste prestatiewinsten optreden binnen de eerste paar iteraties van de decompositie-evolutie, wat praktische richtlijnen biedt voor het selecteren van het test-time budget.

5. Betekenis en Claims

Het artikel claimt dat volledige bewijs-autoformalizatie fundamenteel een probleem is van decompositiekwaliteit. Door de Decomposer te identificeren als de meest feedback-herstelbare fase, demonstreren de auteurs dat efficiënte test-time optimalisatie kan worden bereikt door middelen te richten op het verfijnen van de natuurlijke taal bewijsstructuur in plaats van het herhaaldelijk opnieuw proberen van de formalisatie of het bewijs.

De betekenis van TOMAP ligt in het vermogen om:

Het plafond van verifieerbaar wiskundig redeneren te verhogen door de kloof tussen informele bewijzen en formele verificatie getrouwer te overbruggen.
Een schaalbaar, training-vrij alternatief te bieden voor complexe fine-tuning benaderingen.
Een praktisch framework te bieden voor de allocatie van beperkte test-time compute in multi-agent systemen door prioriteit te geven aan de "weak link" geïdentificeerd via causale analyse.

De auteurs merken beperkingen op, waaronder de restrictie tot benchmark-schaal bewijzen in plaats van lange, onderzoeksniveau wiskunde, en de aanname dat de input informele bewijzen correct zijn. Zij laten de detectie en reparatie van incorrecte bewijsstappen als toekomstig werk over.