💻 computer science

Benchmarking Testing in Automated Theorem Proving

Dit artikel introduceert "T", een nieuw raamwerk dat de semantische correctheid van door AI gegenereerde formele theorema's beoordeelt door te verifiëren of afhankelijke opvolgende theorema's succesvol compileren, waardoor een aanzienlijke kloof in de huidige theorema-generatiecapaciteiten van grote taalmodellen in vergelijking met traditionele lexische of handmatige evaluatiemethoden aan het licht komt.

Oorspronkelijke auteurs: Jongyoon Kim, Hojae Han, Seung-won Hwang

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jongyoon Kim, Hojae Han, Seung-won Hwang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van architecten inhuurt om een nieuwe brug te ontwerpen.

De Oude Manier van Testen (Compilatie)
In het verleden, bij het evalueren van deze architecten (die, in dit paper, AI-modellen zijn), controleerden we alleen of hun blauwdrukken "grammaticaal correct" waren. We vroegen: Volgt de blauwdruk de regels van de grammatica? Sluiten de lijnen aan? Zegt de computer "Syntax OK"?

Als de blauwdruk perfect leek op papier, gingen we ervan uit dat de brug zou blijven staan. Maar hier zit het probleem: Een architect kon een blauwdruk tekenen waarin stond: "Deze brug is gemaakt van massief goud", en de computer zou zeggen: "Syntax OK!" omdat de zin grammaticaal correct is. Als de blauwdruk echter eigenlijk bedoeld was voor een "stalen hangbrug", heeft de architect de echte taak niet gehaald, zelfs al was de grammatica perfect.

In de wereld van wiskunde en computercodes heet dit Compilatie. De AI schrijft een stelling (een wiskundige uitspraak), en de computer controleert of deze compileert (zonder fouten draait). Het paper betoogt dat dit een vreselijke manier is om te beoordelen of de AI de wiskunde daadwerkelijk heeft begrepen.

De Nieuwe Manier van Testen (T2 Framework)
De auteurs van dit paper stellen een nieuwe methode voor genaamd T2 (Theorem Testing). In plaats van alleen de grammatica van de blauwdruk te controleren, vragen ze: Werkt deze blauwdruk eigenlijk als we proberen de rest van de stad eromheen te bouwen?

Ze maken gebruik van een concept genaamd Integratietesten. Stel je voor dat de brug slechts één onderdeel is van een enorme stad.

Het Doel: De AI wordt gevraagd een specifieke stelling te bewijzen (bijvoorbeeld: "Optellen is commutatief", wat betekent dat $a + b = b + a$ ).
De Opvolgers: In echte wiskunde gebruiken andere wiskundigen, zodra je een klein feit hebt bewezen, dat feit om grotere, complexere dingen te bewijzen. Het paper kijkt naar alle andere stellingen die afhankelijk zijn van het antwoord van de AI.
De Test: Het antwoord van de AI wordt ingevoegd in deze "downstream" bewijzen.
- Als de AI een "nep" antwoord gaf (zoals een tautologie die altijd waar is maar niets nuttigs zegt), zullen de downstream bewijzen crashen. Ze zullen niet compileren omdat ze afhankelijk waren van een specifieke betekenis die de AI niet heeft geleverd.
- Als de AI het juiste antwoord gaf, zullen de downstream bewijzen soepel verlopen.

De Grote Ontdekking
De auteurs bouwden een enorme testsuite met 2.206 realistische wiskundeproblemen uit de programmeertaal "Lean". Ze testten 18 van de slimste beschikbare AI-modellen (inclusief modellen van Google, OpenAI en Anthropic).

Hier is wat ze vonden, met gebruik van onze brug-analogie:

De "Grammatica"-Valstrik: De meeste AI's waren goed in het slagen voor de oude test. Ze schreven blauwdrukken die perfect leken en compileerden zonder fouten. Op de oude test scoorden ze ongeveer 80% succes.
De Realiteitscheck: Toen de auteurs de nieuwe "Stadsintegratie"-test toepasten, zakte de score drastisch. De beste AI kreeg ongeveer 39% goed.
Het Gat: Dit betekent dat voor elke 100 bruggen die de AI beweerde te bouwen, ongeveer 60 ervan zouden instorten op het moment dat iemand probeerde er een weg bovenop te bouwen. De AI was goed in het neppen van de uitstraling van wiskunde, maar slecht in de betekenis.

Waarom Dit Belangrijk Is
Het paper toont aan dat de huidige manieren om wiskundige vaardigheden van AI te meten, ons liegen.

Lexicale Similariteit (BLEU): Controleren of de woorden van de AI lijken op menselijke woorden is nutteloos. De AI kan onzin schrijven die eruitziet als wiskunde en toch slagen.
Gespecialiseerde Modellen: Zelfs modellen die specifiek zijn getraind om "wiskunde-experts" te zijn, deden niet veel beter dan algemene chatbots. Ze werden alleen beter in het neppen van de syntaxis.
De Oplossing: De enige manier om te weten of een AI wiskunde echt begrijpt, is te kijken of zijn werk standhoudt wanneer andere bewijzen proberen erop te steunen.

In Het Kort
Het paper introduceert een nieuwe "stress-test" voor AI-wiskunde. Het stopt met de vraag: "Ziet deze zin eruit als wiskunde?" en begint met de vraag: "Werkt deze wiskunde eigenlijk als we proberen het te gebruiken om grotere problemen op te lossen?" Het resultaat is een harde realiteitscheck: de beste AI-modellen van vandaag hebben nog steeds moeite met echte, betekenisvolle wiskunde, ook al lijkt het alsof ze het perfect doen.

1. Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) heeft hun vermogen om formele bewijzen te genereren in systemen zoals Lean verbeterd. Echter, huidige evaluatiemethoden lijden aan een fundamenteel gebrek: ze verwarren syntactische validiteit met semantische correctheid.

De beperking van compilatie: Bestaande benchmarks (bijv. MiniF2F, ProofNet) evalueren modellen voornamelijk door te controleren of een gegenereerde stelling compileert. Hoewel compilatie verifieert dat de code syntactisch geldig en logisch consistent is in isolatie, garandeert het niet dat de stelling de beoogde wiskundige betekenis vastlegt.
Het "Tautologie"-probleem: Een model kan een triviale tautologie genereren (bijv. $a + b = a + b$ ) die succesvol compileert, maar faalt in het bewijzen van de beoogde niet-triviale stelling (bijv. commutativiteit $a + b = b + a$ ).
Onvoldoende proxies: Bestaande pogingen om semantische correctheid te meten, vertrouwen op onbetrouwbare proxies zoals lexicaal overlap (BLEU-scores) tegen menselijk geannoteerde referenties of handmatige inspectie. Deze methoden zijn ofwel ruisgevoelig, vereisen dure menselijke arbeid, of falen in het onderscheid tussen correcte en incorrecte semantische betekenissen.

2. Methodologie

De auteurs stellen een paradigma-shift voor, geïnspireerd door integratietesten in software-engineering. In plaats van een stelling in isolatie te evalueren, evalueren ze deze op basis van hoe deze interacteert met de rest van de codebase.

Kernconcept: Theorem Testing (T2)

Aansluitend bij de Curry-Howard-correspondentie (waarbij bewijzen overeenkomen met programma's), behandelen de auteurs een gegenereerde stelling als een functie en de stellingen die ervan afhankelijk zijn als "testcases".

Afhankelijkheidsgrafiek: Ze construeren een afhankelijkheidsgrafiek waarbij een doelstelling ( $t_{GT}$ ) predecessors (definities/lemma's die het gebruikt) en successors (stellingen die het oproepen of erop voortbouwen) heeft.
Integratietest-Logica: Als een gegenereerde stelling ( $t_{fl}$ ) semantisch incorrect is (bijv. het definieert een tautologie in plaats van de beoogde eigenschap), zal elke successor-stelling die ervan afhankelijk is, falen bij compilatie.
Analogie van Cut Elimination: Het proces is formeel gegrondvest in het logische principe van Cut Elimination. Als een keten van bewijzen ( $X \to Y \to Z \to W$ ) faalt wanneer het tussenliggende lemma ( $Y$ ) wordt vervangen door een gegenereerde kandidaat, dan is de kandidaat semantisch incorrect.

De T2 Benchmark

De auteurs hebben een grootschalige benchmark, T2, geconstrueerd om deze evaluatie mogelijk te maken:

Bron: Geëxtraheerd uit 5 real-world Lean 4 repositories (dekkend algebra, topologie, getaltheorie, enz.).
Schaal: 2.206 problemen, elk gekoppeld aan een gemiddelde van 41 successor-stellingen.
Hard Subset: Een subset van 389 "Hard" problemen waarbij het model zowel de propositie (stelling) als het bewijs moet genereren, in plaats van alleen een bewijs in te vullen voor een gegeven stelling.
Automatisering: Het extractieproces is volledig geautomatiseerd en vereist geen menselijke annotatie voor de afhankelijkheidsstructuur. Natuurlijke taal (NL)-beschrijvingen werden gegenereerd door een krachtig LLM (Claude Sonnet 4.5) en handmatig geverifieerd voor een steekproef.

De Metriek: Testing Accuracy (TA)

Het paper introduceert Testing Accuracy (TA) als de primaire evaluatiemetriek:
$TA = E_{P \sim D} \left[ \prod_{i=1}^{k} \text{compiles}(t^{(i)}_{succ} \mid t_{fl}) \right]$
Een gegenereerde stelling slaagt alleen als alle afhankelijke successor-stellingen succesvol compileren wanneer de originele stelling wordt vervangen door de gegenereerde versie.

3. Belangrijkste Bijdragen

T2 Benchmark: De eerste grootschalige, afhankelijkheidsrijke benchmark voor formeel stellingbewijs die verder gaat dan geïsoleerde problemen naar real-world repository-contexten.
Testing Accuracy (TA): Een nieuwe, automatische, referentievrije metriek die semantische correctheid direct verifieert via compilatie van afhankelijke modules.
Empirische Gap-analyse: Omvattende evaluatie van 18 state-of-the-art modellen (zowel open- als closed-source) die een enorme disconnectie blootlegt tussen compilatiesucces en semantische correctheid.
Contextuele Inzichten: Aangetoond dat het verstrekken van successor-stellingen als context de semantische correctheid aanzienlijk verbetert, terwijl het verstrekken van alleen natuurlijke taal-bewijzen dit niet doet.

4. Experimentele Resultaten

De auteurs evalueerden 18 modellen (waaronder GPT-5, Claude-Sonnet-4.5, Llama-3.1 en gespecialiseerde wiskundemodellen zoals DeepSeek-Prover) op de T2-benchmark.

De Semantische Gap:
- Compilatie-Accuracy: Modellen behaalden hoge compilatiepercentages (bijv. Claude-Sonnet-4.5: 80,3% op de volledige set).
- Testing Accuracy (TA): Dezelfde modellen behaalden drastisch lagere TA-scores (bijv. Claude-Sonnet-4.5: 38,9% op de volledige set; 4,5% op de Hard-set).
- Valse Positieven: Tot 93,1% van de compileerbare stellingen bleek semantisch incorrect te zijn wanneer getest tegen successors.
Falen van Bestaande Metrieken:
- BLEU: Hoge lexicaal gelijkenis (BLEU-scores) toonde bijna geen correlatie met semantische correctheid (Correlatie: 0,123). Modellen konden tekstueel vergelijkbare maar logisch verkeerde bewijzen genereren.
- Gespecialiseerde Modellen: Modellen die specifiek voor stellingbewijs zijn gefinetuned, behaalden vaak hogere compilatiepercentages, maar presteerden slechter of vergelijkbaar met algemene modellen op TA, wat suggereert dat ze overfitten op syntaxis in plaats van semantiek.
Impact van Context:
- Het verstrekken van Successor-stellingen als input-context verbeterde TA consistent (bijv. +4,9% voor Claude-Sonnet-4.5).
- Het verstrekken van alleen NL-bewijzen zonder successors verbeterde de prestaties niet en degradeerde ze soms.
- Few-shot prompting en iteratieve verfijning (met compiler-feedback) leverden verwaarloosbare verbeteringen op de Hard-set op, wat aangeeft dat de moeilijkheid ligt in diepe semantische redenering, niet alleen in taakformatting.

5. Betekenis en Conclusie

Dit paper daagt fundamenteel de huidige staat van evaluatie van Geautomatiseerd Stellingbewijs (ATP) uit.

Herdelen van Succes: Het bewijst dat "compilatie" een noodzakelijke maar onvoldoende voorwaarde is voor stellinggeneratie. Een model kan syntactisch perfect zijn maar semantisch nutteloos.
Betrouwbaarheid: De T2-benchmark en TA-metriek bieden een rigoureuze, automatische manier om te beoordelen of een LLM wiskundige concepten werkelijk begrijpt of slechts syntactisch geldige code hallucineert.
Toekomstige Richting: Het werk suggereert dat toekomstige ATP-systemen moeten worden geëvalueerd op hun vermogen om te integreren in bestaande codebases (afhankelijkheidsbewuste generatie) in plaats van geïsoleerde puzzels op te lossen. Het benadrukt ook dat het verstrekken van de "testsuite" (successor-stellingen) aan het model tijdens generatie een cruciale strategie is voor het verbeteren van semantische uitlijning.

Kortom, het paper betoogt dat integratietesten de ontbrekende schakel is in het evalueren van LLM's voor formele wiskunde, en blootlegt dat huidige state-of-the-art-modellen verre zijn van het bereiken van betrouwbare semantische correctheid in stellingbewijs.