🤖 AI

Visored: A Controlled-Natural-Language Prover for LLM-Generated Mathematics

Dit artikel introduceert Visored, een bewijzer gebaseerd op afhankelijke typen die door middel van een natuurlijke taalachtige interface en regelgestuurde automatisering een brug slaat tussen door LLM's gegenereerde wiskunde en formele verificatie om bewijzen om te zetten in gecontroleerde Lean-bestanden, waarbij effectieve prestaties op de miniF2F-benchmark worden aangetoond zonder gespecialiseerde training.

Oorspronkelijke auteurs: Xiyu Zhai, Xinyi Chen, Yiping Wang, Runlong Zhou, Liao Zhang, Simon S. Du

Gepubliceerd 2026-06-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiyu Zhai, Xinyi Chen, Yiping Wang, Runlong Zhou, Liao Zhang, Simon S. Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar lichtelijk hallucinatiegevoelige student (een AI) probeert te leren hoe hij een wiskundig bewijs moet schrijven. De student is geweldig in het schrijven van het verhaal van het bewijs in gewone mensentaal, maar mist vaak de kleine, saaie details die een strikte wiskundeleraar nodig heeft om te geloven dat het waar is.

Momenteel, als je deze student vraagt om een bewijs te schrijven in een strikte, computerleesbare taal (zoals Lean), loopt de student vaak vast. De student weet niet welke specifieke "bibliotheekregel" te kiezen, of maakt fouten in de kleine details zoals "je mag niet delen door nul."

Visored is een nieuwe tool die dit probeert op te lossen. Het fungeert als een vertaler en een vangnet dat tussen de natuurlijke taal van de student en de strikte computertaal in staat.

Zo werkt het, met een paar analogieën:

1. De "Controlled Natural Language" (Het Script)

In plaats van de AI te dwingen om direct in de rigide, code-achtige taal van Lean te schrijven, laat Visored de AI schrijven in een gecontroleerde versie van het Engels.

De Analogie: Denk hierbij aan een "Mad Libs"-stijl script. De AI mag niet zomaar alles schrijven; de AI moet specifieke zinsstructuren gebruiken zoals "Laat x zijn...", "Veronderstel...", of "Dan...".
Waarom het helpt: Dit houdt de AI in zijn comfortzone (het schrijven van Engels), terwijl de structuur rigide genoeg blijft om door een computer begrepen te worden. Het is alsoer een invulwerkblad te geven in plaats van een leeg blad papier.

2. De "Middleman" (De IR)

Visored raadt niet alleen wat de AI bedoelde. Het zet dat Engelse script om in een tussenliggende representatie (een IR genoemd).

De Analogie: Stel je voor dat de AI een eerste concept schrijft. Visored neemt dat concept en vult alle onzichtbare "voetnoten" aan die de AI heeft overgeslagen. Is er aangenomen dat $x$ positief is? Visored schrijft dat op. Heeft de AI door een variabele gedeeld? Visored controleert of die variabele niet nul is.
De Magie: Als de AI een fout maakt, zegt Visored niet simpelweg "Fout." Het wijst exact naar de zin waar de logica de fout in ging, zoals een leraar die een specifieke fout met rode inkt omcirkelt. Dit geeft de AI een duidelijk signaal over hoe het de volgende poging moet verbeteren.

3. De "Rule-Driven Solver" (De Automatische Controle)

Zodra Visored het bewijs in dit tussenliggende formaat heeft, gebruikt het een regelgebaseerde engine om de "saaie" stappen te controleren.

De Analogie: Denk aan een wiskundeboek. Wanneer een tekstboek zegt "het volgt daaruit dat...", slaat het vaak de algebra over omdat dit voor een mens overduidelijk is. De solver van Visored is als een onvermoeibare robot die die overgeslagen stappen invult. Het controleert de rekenkunde, de algebra en de logica van de kleine stappen automatisch.
Het Resultaat: Als de AI de hoofdideeën levert, handelt Visored het tedieuze "handwerk" van het bewijzen van de kleine stappen af.

4. De "Back-Translation" (De Lean Output)

Als Visored tevreden is met het bewijs, kan het dit terugvertalen naar Lean-code (de strikte taal) voor de definitieve verificatie.

De Catch: Het artikel geeft toe dat de huidige vertaling erg "woordrijk" is. Het is alsof je een samenvatting van 1 pagina omzet in een juridisch contract van 200 pagina's, enkel om er zeker van te zijn dat elk woord juridisch precies is. Het werkt, maar het is enorm groot.

Wat hebben ze eigenlijk bereikt?

De onderzoekers hebben dit getest op een set van 244 wiskundeproblemen (voornamelijk uit de middenbouw van wedstrijden).

Het Resultaat: Een AI-agent die Visored gebruikt, heeft deze problemen succesvol opgelost in 91% van de gevallen.
De Catch: De AI heeft ze niet alleen opgelost. Het werkte in een lus: de AI schreef een concept, Visored controleerde dit en zei "Fout hier", de AI verbeterde het, en ze probeerden het opnieuw.
De Beperking: Het had moeite met de zeer moeilijke problemen (zoals vragen van de International Mathematical Olympiad), omdat de "regelboeken" van Visored de geavanceerde wiskundige trucs die hiervoor nodig zijn, nog niet bezaten.

De Kern van het Verhaal

Visored is geen toverstaf die direct moeilijke wiskundeproblemen oplost. In plaats daarvan is het een collaboratieve werkruimte. Het stelt een AI in staat om bewijzen te schrijven in een taal die zij begrijpt (Engels), terwijl een computersysteem de strikte logica en foutcontrole afhandelt.

Het artikel beweert dat we door deze "tussenpersoon"-aanpak een AI kunnen laten produceren die daadwerkelijk betrouwbare wiskundige bewijzen levert, zonder dat de AI vanaf het begin gedwongen hoeft te worden om de moeilijke, rigide programmeertaal van formele bewijssystemen te leren. Het verandert de "hallucinaties" van de AI in een gestructureerd, controleerbaar proces.

Technische Samenvatting: Visored: Een Controlled-Natural-Language Prover voor door LLM gegenereerde Wiskunde

Probleemstelling

Large Language Models (LLM's) hebben een toenemend vermogen getoond in wiskundige redenering, maar blijven vatbaar voor hallucinaties. Bijgevolg zijn door AI gegenereerde bewijzen slechts zo betrouwbaar als het verificatieproces. Hoewel automatische stellingbewijzers (ATPs) en 'whole-proof' modellen (bijv. die gericht zijn op Lean of Rocq) hoge succespercentages hebben behaald op benchmarks zoals miniF2F, vereisen zij doorgaans al een geformaliseerde stelling als input. De kritieke flessenhals ligt bij autoformalisatie: de vertaling van informele wiskundige proza naar een machine-controleerbare vorm.

Deze vertaling is niet triviaal omdat informele wiskunde steunt op gedeelde achtergrondkennis, impliciete randvoorwaarden (bijv. $x \neq 0$ ) en notationeel misbruik dat lezers automatisch invullen. Een directe vertaling naar een formele taal vereist een besluit over specifieke bibliotheek-lemma's, subtypes, conventies voor randgevallen en coercies (bijv. $\mathbb{N}$ vs. $\mathbb{Z}$ vs. $\mathbb{R}$ ) die geen spoor achterlaten in de brontekst. Fouten in deze beslissingen manifesteren zich zelden als compilerfouten, maar eerder als "stille semantische drift", waarbij een stelling weliswaar compileert, maar niet langer de oorspronkelijke intentie weerspiegelt.

Methodologie

Visored is een onderzoeksprototype dat is ontworpen om de kloof tussen informele wiskundige tekst en formele verificatie te overbruggen door een dependently-typed intermediate representation (IR) te introduceren die tussen LaTeX en laag-niveau provers zoals Lean in staat.

Kernarchitectuur

Het systeem werkt als een pijplijn (Figuur 2 in het artikel) bestaande uit de volgende fasen:

Controlled Natural Language (CNL) Input: Visored accepteert een gecontroleerde subset van wiskundig Engels ingebed in LaTeX. De vocabulaire (zinsconstructies zoals "Let...", "Assume...", "Then..." en LaTeX-commando's) wordt gedefinieerd door externe .lpcsv specificatiebestanden, waardoor de oppervlakmetaal kan worden uitgebreid zonder de parser aan te passen.
Syntaxis en Semantiek: De input wordt geparsed naar een syntaxisboom en vervolgens geëlaboreerd naar een Typed AST (sem AST). Deze fase lost namen op, wijst types en kinds toe, en handhaaft welgedefinieerdheid tijdens de type-check tijd. Volgens de PVS-traditie dragen partiële functies (bijv. $1/x$ , $\sqrt{x}$ , $\log x$ ) impliciete hypothese-argumenten (bijv. $x \neq 0$ , $x \ge 0$ ) die moeten worden afgehandeld voordat de expressie wordt geaccepteerd.
Mid-Level IR (MIR): De getypte AST wordt verlaagd naar Visored MIR, het substraat voor de solver.
Cost-Bounded Solver: De solver handelt "Then..." verplichtingen en welgedefinieerdheidscondities af met behulp van een regelgestuurde, kostenbegrensde engine (genaamd "Miracle"). Het maakt gebruik van een database met voorwaartse en achterwaartse regels (geïnspireerd door ProofGrader) en gespecialiseerde tactieken (bijv. algebraïsche normaliseerders, chain solvers) om routine stappen te sluiten die wiskundigen doorgaans weglaten.
Optionele Lean Emission: Geaccepteerde bewijzen kunnen worden getranspileerd naar Lean 4. Dit is een optionele downstream fase voor externe kernel-verificatie. Het transpilatieproces omvat het opnieuw afspelen van de normalisatiegeschiedenis en het beheren van coercie-getuigen tussen getallensystemen.

Ontwerpfilosofie

Visored is gebouwd op twee primaire observaties:

LLM Fluency: LLM's zijn overwegend getraind op informele wiskunde. Een CNL-oppervlak blijft dicht bij het domein waar LLM's al vloeiend in zijn, waardoor de noodzaak om de lage-niveau prover-syntaxis (tactieken, bibliotheek-lemma namen) vanaf nul te leren, wordt vermeden.
Tractability: Het overbruggen van natuurlijke en formele redenering is meer hanteerbaar dan volledige automatische stellingbewijzing. Door de LLM het bewijsontwerp in CNL te laten leveren, hoeft de solver alleen kleine, voor de hand liggende stappen te sluiten, een taak die ruim binnen het bereik ligt van moderne agentic engineering.

Het systeem behandelt de "opwaartse" semantische parsing (LaTeX $\to$ Visored) als het moeilijke probleem, dat door de LLM wordt afgehandeld, terwijl de "neerwaartse" projectie (Visored $\to$ Lean) een deterministisch, mechanisch proces is.

Belangrijkste Bijdragen

Dependently-Type IR voor Autoformalizatie: Visored introduceert een semantisch rijke IR waarin elke beslissing zonder oppervlaktespoor in de LaTeX (subtypes, bibliotheek-lemma's, randgevallen-conventies, casts) expliciet wordt gemaakt.
Spec-Driven Extensibility: De CNL-oppervlak wordt gedefinieerd door externe configuratiebestanden in plaats van hard-coded parsers, waardoor de vocabulaire kan worden afgestemd op specifieke wiskundige conventies (leerboek, competitie, onderzoek) zonder het systeem opnieuw te compileren.
Gelokaliseerde Diagnostiek: In tegen tegenstelling tot systemen die een enkel accept/reject oordeel geven na een volledige Lean-compilatie, biedt Visored gelokaliseerde diagnostiek tijdens de fase van elaboratie of solving. Dit maakt een "verify-and-revise" loop mogelijk waarbij een LLM specifieke fouten kan lokaliseren en herstellen.
Handhaving van Welgedefinieerdheid: Het systeem handhaaft welgedefinieerdheid (bijv. het waarborgen van $x \neq 0$ vóór $1/x$ ) via impliciete hypothese-argumenten die door de solver worden afgehandeld, in plaats van te vertrouren op de totalisatie-conventies van de doelprover.
Integratie van Bestaande Scholen: Visored synthetiseert elementen uit Mizar/Naproche (CNL oppervlak), PVS (welgedefinieerdheid tijdens type-check tijd), Lean/Rocq (dependente types) en ProofGrader (kosten-gebudgetteerde regelgestuurde solving) in een enkele LLM-georiënteerde pijplijn.

Experimentele Resultaten

De auteurs rapporteren een coverage-studie op de miniF2F-valid split (244 problemen), die zowel als ontwikkelings- als evaluatieset diende.

Prestaties: Een LLM coding agent (Claude), geleid door een skill document dat de CNL-oppervlak beschrijft, produceerde Visored-gecontroleerde bewijzen voor 222 van de 244 problemen (91%).
Uitsplitsing:
- Inductie: 100% (8/8)
- Algebra: 98% (86/88)
- Getaltheorie: 97% (66/68)
- AMC/AIME: 93% / 87%
- IMO (Olympiade): 35% (7/20)
Foutanalyse: De onopgeloste problemen werden toegeschreven aan hiaten in de regeldatabase van Visored (bijv. ontbrekende AM-GM ongelijkheid, gebrek aan eindige veld-types, trigonometrische identiteiten) of regressies in het prototype, in plaats van het onvermogen van de LLM om de bewijsstrategie te vinden. De auteurs stellen expliciet dat de agent deze problemen niet kon oplossen omdat de benodigde "machinerie" nog niet in het systeem was geïmplementeerd.
Transpilatie Kosten: Het huidige schaarse emissieschema resulteert in zeer verbloemde Lean-output, met een mediane regel-aantal ratio van $\approx 250\times$ vergeleken met handgeschreven Lean-bewijzen, met een staart die $\approx 25.000\times$ bereikt. Dit komt door het opnieuw afspelen van normalisatiestappen en coercie-getuigen.

Betekenis en Claims

Het artikel positioneert Visored niet als een concurrerende automatische stellingbewijzer, maar als een proof-of-concept voor een nieuwe infrastructuur voor het controleren en organiseren van door AI geproduceerde informele wiskunde.

Bescheiden Claims: De auteurs stellen expliciet dat zij niet beweren een concurrerende automatische stellingbewijzer te zijn, noch dat zij hun resultaten extrapoleren naar helden-test splits. De 91% coverage wordt gepresenteerd als een ondergrens van wat het ontwerp kan uitdrukken, niet als een getunede pass rate.
Verschuiving in de Bottleneck: Het werk ondersteunt de visie dat de beperkende factor in AI-wiskunde verschuift van "ideeën genereren" naar "het verifiëren en organiseren daarvan op schaal".
Bruikbaarheidsmodi: Visored is ontworend om in vier modi te functioneren:
1. Inference-time verifier: Een real-time checker voor LLM-outputs.
2. Autoformalizer loop: Een mechanisme voor LLM's om bewijzen te herschrijven op basis van gelokaliseerde diagnostiek.
3. Dense reward signal: Het bieden van per-stap feedback voor Reinforcement Learning (RL).
4. CNL data generator: Het creëren van een vernieuwbare corpus van formeel gecontroleerde, natuurlijk leesbare bewijzen.

Het artikel concludeert dat de combinatie van een CNL-oppervlak, een dependently-typed IR en een regelgestuurde solver een pijplijn creëert waarbij fouten gelokaliseerd en actiegericht zijn, wat een betrouwbaardere route biedt van informele proza naar kernel-gecontroleerde bewijzen dan de huidige directe autoformalisatie-benaderingen. De onopgeloste problemen vertegenwoordigen een achterstand van ontbrekende regels en machinerie, en niet een fundamentele beperking van het ontwerp.