APE-Bench: Evaluating Automated Proof Engineering for Formal Math Libraries
Dieses Paper stellt APE-Bench vor, das erste systematische Framework und Benchmark zur Evaluierung der automatisierten Proof-Engineering in formalen Mathematik-Bibliotheken, indem es reale Aufgaben auf Repository-Ebene extrahiert und eine einheitliche Testumgebung bereitstellt, um sowohl die syntaktische Kompilierbarkeit als auch die semantische Korrektheit über verschiedene Agenten-Implementierungen hinweg zu validieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man ein Meisterbibliothekar für eine riesige, lebendige Bibliothek mathematischer Beweise wird. Diese Bibliothek namens Mathlib enthält Millionen von Seiten. Sie ist nicht nur ein statisches Buch; sie wird ständig von menschlichen Experten umgeschrieben, erweitert und korrigiert.
Lange Zeit testeten Forscher Roboter in der Fähigkeit, isolierte, einzelne mathematische Rätsel zu lösen (wie „Beweise, dass 2+2=4“). Aber in der realen Welt besteht Mathematik nicht nur darin, ein einzelnes Rätsel zu lösen; es geht um Beweis-Engineering (Proof Engineering). Das bedeutet, die gesamte Bibliothek zu navigieren, die richtigen Werkzeuge zu finden, kaputte Seiten zu reparieren und sicherzustellen, dass Ihre neuen Ergänzungen perfekt mit den Millionen von Seiten, die bereits existieren, harmonieren, ohne etwas anderes zu beschädigen.
Dieses Paper stellt eine neue Methode vor, um Roboter auf diese realen Fähigkeiten zu testen. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:
1. Das Problem: Das „isolierte Rätsel“ vs. die „lebendige Bibliothek“
- Der alte Weg (miniF2F): Stellen Sie sich vor, Sie testen einen Koch, indem Sie ihm eine einzelne Rezeptkarte geben und ihn bitten, ein einzelnes Gericht zuzubereiten. Wenn das Gericht gut schmeckt, besteht er. Das sagt Ihnen jedoch nicht, ob er eine ganze Restaurantküche managen, Zutaten bestellen oder einen kaputten Ofen reparieren kann.
- Die Realität: Wahre mathematische Arbeit ist wie das Führen dieses Restaurants. Man muss mit anderen Köchen koordinieren, spezifische Werkzeuge benutzen und sicherstellen, dass das neue Gericht nicht die gesamte Speisekarte ruiniert.
- Die Lücke: Bestehende Tests prüften nur, ob der Roboter dieses eine Gericht kochen konnte. Sie prüften nicht, ob der Roboter mit dem Chaos einer echten Küche zurechtkommt.
2. Die Lösung: APE-Bench (Der „Lebendige Bibliothek“-Test)
Die Autoren entwickelten APE-Bench, ein neues Testfeld, das die reale Wartung einer Bibliothek nachahmt.
- Wie es funktioniert: Anstatt dem Roboter ein künstliches Rätsel zu geben, schaut sich das System die reale Historie der Mathlib-Bibliothek an. Es findet einen Moment, in dem ein menschlicher Experte eine Änderung (einen „Commit“) vorgenommen hat, verbirgt diese Änderung und fragt den Roboter: „Hier ist die Bibliothek vor der Änderung. Hier ist eine Notiz darüber, was der Mensch tun wollte. Kannst du diese Änderung vornehmen?“
- Der Clou: Der Robot wird nicht nur darauf geprüft, ob der Code „läuft“ (Syntax). Er wird nach zwei Dingen bewertet:
- Kompilierung: Hat der Code tatsächlich ohne Fehler kompiliert? (Ist das Gericht angebrannt?)
- Semantische Prüfung: Hat der Roboter tatsächlich das getan, was verlangt wurde? (Hat er das richtige Problem behoben, oder hat er einfach nur wahllos Zeilen geändert?)
3. Die Infrastruktur: APE-Harness (Die „Universelle Küche“)
Um diese Tests fair durchzuführen, haben sie ein System namens APE-Harness gebaut. Denken Sie an dies als einen universellen Küchensimulator.
- Der „Vertrag“: Jeder Test kommt mit einem strengen Vertrag. Er besagt: „Du befindest dich in dieser spezifischen Version der Bibliothek. Du darfst nur diese Dateien berühren. Du musst beweisen, dass du die Aufgabe erledigt hast.“
- Die „Gerüste“ (Scaffolds): Das System ist so konzipiert, dass man verschiedene Roboter (wie Claude Code, Codex oder ihren eigenen APE-Agent) in dieselbe Küche einsetzen kann. Da die Küchenregeln (der Vertrag) für alle gleich sind, kann man fair vergleichen, wer tatsächlich der bessere Koch ist, anstatt nur zu sehen, wer bei den Anweisungen Glück hatte.
- Der „Zeitreise“-Trick: Die Bibliothek hat 67 verschiedene Versionen (wie 67 verschiedene Ausgaben eines Buches). Das Speichern all dieser Versionen würde enorm viel Platz beanspruchen. Die Autoren bauten ein cleveres „Deduplizierungssystem“. Wenn eine Seite in Version 1 und Version 67 identisch ist, speichert das System sie nur einmal und verweist lediglich darauf. Dies sparte 85 % des Speicherplatzes und 98 % der Kosten für die Datenverarbeitung.
4. Die Ergebnisse: Wer hat den Test bestanden?
Sie testeten drei erstklassige KI-Modelle (GPT-5.2, Gemini 3 Pro und Gemini 3 Flash) auf diesem neuen, schwierigeren Test.
- Der Schwierigkeitsgrad: Der neue Test war viel schwieriger als die alten „Einzelrätsel“-Tests.
- Bei den alten Tests erreichten die Roboter 80–90 % Korrektheit.
- Beim neuen „Bibliothekswartungs“-Test erreichte der beste Roboter nur 47 %.
- Der Gewinner: Gemini 3 Flash war am effizientesten. Es löste die meisten Probleme für das geringste Geld. Die anderen Modelle versuchten es intensiver (mehr Konversationsrunden), aber sie verbrauchten ihr „Budget“, bevor sie fertig waren.
- Die Lehre: Die Roboter sind gut darin, isolierte mathematische Probleme zu lösen, aber sie haben immer noch Schwierigkeiten mit der unordentlichen, komplexen Aufgabe, eine riesige, sich entwickelnde Codebasis zu verwalten.
5. Warum das wichtig ist
Das Paper behauptet, dass dies das erste Mal ist, dass wir eine systematische, automatisierte Methode haben, um zu testen, ob eine KI „Software-Engineering für Beweise“ betreiben kann.
- Es verschiebt die Torpfosten von „Kann die KI ein mathematisches Problem lösen?“ zu „Kann die KI als professionelle Mathematikerin in einem Teamumfeld arbeiten?“
- Es bietet ein faires Spielfeld, auf dem verschiedene KI-Systeme unter exakt denselben Regeln und Werkzeugen verglichen werden können.
Kurz gesagt: Die Autoren haben eine realistische Simulation einer riesigen, unordentlichen mathematischen Bibliothek und einen Satz Regeln gebaut, um zu testen, ob eine KI diese warten kann. Sie fanden heraus, dass KIs zwar besser werden, aber noch einen weiten Weg vor sich haben, um komplexe, reale mathematische Projekte zuverlässig eigenständig zu verwalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.