APE-Bench: Evaluating Automated Proof Engineering for Formal Math Libraries
Dit artikel introduceert APE-Bench, het eerste systematische framework en benchmark voor het evalueren van geautomatiseerde proof engineering in formele wiskundige bibliotheken door real-world repository-schaal taken te extraheren en een uniforme harness te bieden om zowel syntactische compilatie als semantische correctheid te valideren over diverse agent-implementaties heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij een meesterbibliothecaris kan zijn voor een enorme, levende bibliotheek van wiskundige bewijzen. Deze bibliotheek, genaamd Mathlib, bevat miljoenen pagina's. Het is niet alleen een statisch boek; het wordt constant herschreven, uitgebreid en gecorrigeerd door menselijke experts.
Lange tijd testten onderzoekers robots op hun vermogen om geïsoleerde, enkelvoudige wiskundige puzzels op te lossen (zoals "Bewijs dat 2+2=4"). Maar in de echte wereld gaat wiskunde niet alleen over het oplossen van één puzzel; het gaat over bewijs-engineering (proof engineering). Dit betekent het navigeren door de hele bibliotheek, het vinden van de juiste hulpmiddelen, het repareren van kapotte pagina's en ervoor zorgen dat je nieuwe toevoegingen perfect passen bij de miljoenen pagina's die er al zijn, zonder dat er ergens anders iets breekt.
Dit artikel introduceert een nieuwe manier om robots te testen op deze real-world vaardigheden. Hier is de uitsplitsing met behulp van eenvoudige analogieën:
1. Het Probleem: De "Geïsoleerde Puzzel" versus de "Levende Bibliotheek"
- De Oude Manier (miniF2F): Stel je voor dat je een chef-kok test door hem één receptenkaart te geven en hem te vragen één gerecht te koken. Als het gerecht lekker smaakt, slaagt hij. Dit vertelt je echter niet of hij een heel restaurant kan beheren, ingrediënten kan bestellen of een kapotte oven kan repareren.
- De Realiteit: Echt wiskundig werk is als het runnen van dat restaurant. Je moet samenwerken met andere chefs, specifieke tools gebruiken en ervoor zorgen dat je nieuwe gerecht niet het hele menu verpest.
- De Kloof: Bestaande tests controleerden alleen of de robot dat ene gerecht kon koken. Ze controleerden niet of de robot de chaos van een echte keuken kon aan.
2. De Oplossing: APE-Bench (De "Levende Bibliotheek" Test)
De auteurs hebben APE-Bench gecreëerd, een nieuwe testomgeving die de realiteit van het onderhoud aan een levende bibliotheek nabootst.
- Hoe het werkt: In plaats van de robot een nep-puzzel te geven, kijkt het systeem naar de echte geschiedenis van de Mathlib-bibliotheek. Het vindt een moment waarop een menselijke expert een wijziging heeft aangebracht (een "commit"), verbergt die wijziging, en vraagt de robot: "Hier is de bibliotheek vóór de wijziging. Hier is een notitie over wat de mens wilde doen. Kun jij die wijziging doorvoeren?"
- De Twist: De robot wordt niet alleen beoordeeld op de vraag of de code "draait" (syntaxis). De robot wordt beoordeeld op twee zaken:
- Compilatie: Is de code daadwerkelijk gecompileerd zonder fouten? (Is het gerecht aangebrand?)
- Semantische Controle: Heeft de robot daadwerkelijk gedaan wat er gevraagd werd? (Heeft hij het juiste probleem opgelost, of heeft hij willekeurig regels aangepast?)
3. De Infrastructuur: APE-Harness (De "Universele Keuken")
Om deze tests eerlijk uit te voeren, hebben ze een systeem gebouwd genaamd APE-Harness. Zie dit als een universele keukensimulator.
- Het "Contract": Elke test komt met een strikt contract. Er staat: "Je bevindt je in deze specifieke versie van de bibliotheek. Je mag alleen deze bestanden aanraken. Je moet bewijzen dat je de klus hebt geklaard."
- De "Scaffolds": Het systeem is zo ontworpen dat je verschillende robots (zoals Claude Code, Codex, of hun eigen APE-Agent) in dezelfde keuken kunt pluggen. Omdat de regels van de keuken (het contract) voor iedereen hetzelfde zijn, kun je eerlijk vergelijken wie de betere chef is, in plaats van alleen te zien wie geluk had met de instructies.
- De "Tijdreis"-truc: De bibliotheek heeft 67 verschillende versies (zoals 67 verschillende edities van een boek). Het opslaan van al deze versies zou een enorme hoeveelheid ruimte in beslag nemen. De auteurs hebben een slim "deduplicatie"-systeem gebouwd. Als een pagina hetzelfde is in Versie 1 en Versie 67, slaat het systeem deze slechts één keer op en verwijst het er simpelweg naar. Dit bespaarde hen 85% van de opslagruimte en 98% van het geld dat nodig was om de data te verwerken.
4. De Resultaten: Wie is geslaagd voor de test?
Ze hebben drie top-tier AI-modellen (GPT-5.2, Gemini 3 Pro, en Gemini 3 Flash) getest op deze nieuwe, moeilijkere test.
- De Moeilijkheidsgraad: De nieuwe test was veel moeilijker dan de oude "enkelvoudige puzzel"-tests.
- Op de oude tests haalden de robots 80–90% correct.
- Op de nieuwe "Bibliotheekonderhoud"-test haalde de beste robot slechts 47% correct.
- De Winnaar: Gemini 3 Flash was het meest efficiënt. Het loste de meeste problemen op voor de minste kosten. De andere modellen probeerden harder (meer conversierondes) maar liepen voordat ze klaar waren tegen hun "budget" aan.
- De Les: De robots zijn geweldig in het oplossen van geïsoleerde wiskundige problemen, maar ze worstelen nog steeds met de rommelige, complexe taak van het beheren van een enorme, evoluerende codebase.
5. Waarom dit ertoe doet
De paper beweert dat dit de eerste keer is dat we een systematische, geautomatiseerde manier hebben om te testen of AI "software engineering voor bewijzen" kan doen.
- Het verlegt de lat van "Kan de AI een wiskundig probleem oplossen?" naar "Kan de AI werken als een professioneel wiskundige in een teamomgeving?"
- Het biedt een gelijk speelveld waar verschillende AI-systemen vergeleken kunnen worden met exact dezelfde regels en tools.
Kortom: De auteurs hebben een realistische simulatie gebouwd van een gigantische, rommelige wiskundige bibliotheek en een set regels om te testen of AI deze kan onderhouden. Ze kwamen tot de conclusie dat hoewel AI beter wordt, het nog een lange weg te gaan heeft voordat het in staat is om complexe, real-world wiskundige projecten zelfstandig te beheren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.