💻 computer science

ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers

Dieses Paper führt ITPEval ein, den ersten Benchmark und die einheitliche Infrastruktur zur Evaluierung der automatisierten formalen Beweistranslation über vier große interaktive Theorembeweiser hinweg, wobei aufgezeigt wird, dass aktuelle große Sprachmodelle aufgrund von Library-Mismatches erheblich mit der Beweistranslation zu kämpfen haben und dass natives Type-Checking allein die semantische Treue oft überschätzt.

Ursprüngliche Autoren: Jiayi Wu, Robert Joseph George, Anima Anandkumar

Veröffentlicht 2026-07-23

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiayi Wu, Robert Joseph George, Anima Anandkumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Mathematiker vier verschiedene Sprachen sprechen, aber alle versuchen, exakt dieselben Rätsel zu lösen. In der hochkarätigen Arena des „formalen Theorembeweisens“ fungieren Computer als die ultimativen Schiedsrichter, die jeden einzelnen Schritt eines mathematischen Beweises prüfen, um sicherzustellen, dass er zu 100 % korrekt ist. Doch genau wie Menschen, die Französisch, Japanisch, Swahili und Arabisch sprechen, haben auch diese Computersysteme (genannt Interaktive Theorembeweiser oder ITPs) ihre eigene einzigartige Grammatik, ihren eigenen Wortschatz und ihre eigenen Bibliotheken vorab genehmigter Fakten. Ein perfekt in einem System geschriebener Beweis ist für die anderen oft unverständlich. Dies schafft ein einsames Problem: Wenn ein brillanter Beweis in einer Sprache geschrieben wurde, kann er von den anderen nicht einfach verwendet oder überprüft werden. Wissenschaftler haben versucht, „Universaltolken“ zu bauen, um diese Lücke zu schließen, in der Hoffnung, dass Künstliche Intelligenz (KI) diese mathematischen Beweise automatisch übersetzen könnte, damit die gesamte Gemeinschaft ihre Arbeit teilen kann.

Hier kommt ITPEVAL ins Spiel, eine neue Studie, die wie eine massive, strenge Sprachprüfung für KI fungiert. Die Forscher wollten sehen, ob die heutigen klügsten KI-Modelle tatsächlich in der Lage sind, formale mathematische Beweise zwischen vier großen Systemen zu übersetzen: Lean 4, Rocq, Isabelle und HOL Light. Sie haben die KI nicht nur raten lassen; sie bauten einen spezialisierten Testplatz mit über 1.500 Quelldateien und fast 7.000 Theoremen. Sie unterteilten den Test in zwei Ebenen: eine „kontrollierte“ Ebene mit einfachen, in sich geschlossenen mathematischen Problemen (wie ein Vokabeltest ohne externe Bezüge) und eine „Ökosystem“-Ebene, die echten, unordentlichen Bibliotheks-Code verwendet, der auf komplexen, systemspezifischen Regeln basiert (wie ein ganzes Gespräch mit Slang und kulturellen Referenzen).

Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „immer noch sehr schwer“. Wenn die KI versuchte, nur die Aussagen der Theoreme zu übersetzen (das „Was“), gelang den besten Modellen etwa 29,1 % richtig. Aber als sie gebeten wurde, die eigentlichen Beweise zu übersetzen (das „Wie“), stürzte die Erfolgsquote auf nur 10,5 % ab. Die Studie fand heraus, dass die größte Hürde nicht die Mathematik selbst oder die unterschiedlichen logischen Grundlagen waren, sondern das „Ökosystem“. Die KI hatte am meisten Schwierigkeiten, wenn sie die spezifischen Bibliotheken, Namenskonventionen und Automatisierungsstile des Zielsystems navigieren musste. Es ist, als könne die KI den Satz „Die Katze saß auf der Matte“ verstehen, aber scheiterte, wenn sie gebeten wurde, ihn in einen spezifischen Dialekt zu übersetzen, der die Verwendung einer bestimmten Marke von Matte und einer bestimmten Art von Katze erforderte.

Darüber hinaus entdeckten die Forscher, dass es nicht ausreicht, einen Computer einfach nur „Das sieht korrekt aus“ sagen zu lassen (ein Type-Check). Sie führten eine tiefere „Bedeutungsprüfung“ durch und fanden heraus, dass selbst wenn die Übersetzung der KI den grundlegenden Test des Computers bestand, sie in 46 % der Fälle mathematisch schwächer oder leicht anders war als das Original. Die Studie legt nahe, dass die KI zwar besser in den Grundlagen wird, aber noch lernen muss, sich an die einzigartige „Kultur“ jedes mathematischen Systems anzupassen, bevor sie wirklich ein Universalübersetzer sein kann. Die Autoren untersuchten auch einen „Round-Trip“-Test, bei dem sie Mathematik in natürliche Sprache und zurück übersetzten, wobei sie feststellten, dass die Ergebnisse je nach verwendetem System stark variierten, was darauf hindeutet, dass die Nutzung mehrerer Systeme zusammenhelfen könnte, aber noch keine Wunderheilung ist.

Technisches Resümee: ITPEVAL – Benchmarking der formalen Übersetzung über interaktive Theorembeweiser hinweg

1. Problemstellung

Das Ökosystem der formalen Theorembeweise ist derzeit fragmentiert. Während große Sprachmodelle (LLMs) signifikante Erfolge beim automatisierten Theorembeweisen und der Autoformalisierung erzielt haben, bleiben verifizierte Ergebnisse innerhalb inkompatibler interaktiver Theorembeweiser (ITPs) isoliert. Jedes System (z. B. Lean 4, Rocq, Isabelle, HOL Light) implementiert seine eigene logische Grundlage, seine eigene Taktiksprache und seine eigenen mathematischen Bibliotheken. Folglich kann ein in einem System bewiesener Satz nicht direkt in einem anderen aufgerufen werden, was zu duplizierten Formalisierungsbemühungen führt und die für lernbasierte Beweiser verfügbaren Trainingsdaten einschränkt.

Die systemübergreifende ITP-Übersetzung – die Aufgabe, formale Beweise zwischen Systemen unter Wahrung der Korrektheit zu konvertieren – wurde bisher kaum systematisch untersucht. Bestehende Bemühungen, wie etwa die „Formalizing 100 Theorems“-Kataloge oder Interoperabilitäts-Frameworks wie Dedukti, konzentrieren sich auf die Verfolgung der Abdeckung oder die Ermöglichung des Beweisaustauschs über intermediäre Repräsentationen, lassen jedoch standardisierte Benchmarks zur Evaluierung der Übersetzungsqualität vermissen. Zudem sind bestehende Evaluierungsmethoden unzureichend; eine einfache Typprüfung liefert oft hohe Falsch-Positiv-Raten hinsichtlich der semantischen Korrektheit, und Benchmarks zur Code-Übersetzung berücksichtigen nicht die tiefgreifenden Unterschiede in den logischen Grundlagen, die den ITPs eigen sind.

2. Methodik und Benchmark-Design

Die Autoren präsentieren ITPEVAL, den ersten Benchmark zur Evaluierung der automatisierten formalen Beweisübersetzung über vier große ITPs hinweg: Lean 4, Rocq (ehemals Coq), Isabelle und HOL Light. Der Benchmark erstreckt sich über zwei unterschiedliche logische Grundlagen: den Kalkül der induktiven Konstruktionen (CIC) und die höherwertige Logik (HOL).

2.1. Datenstruktur

Der Benchmark umfasst 1.560 Quelldateien und 6.848 Theoreme, die in zwei distinkte Ebenen unterteilt sind, um die Quellen der Schwierigkeit zu isolieren:

Tier A (Kontrolliert): Enthält 64 selbsterklärende, axiomatisierte Dateien (660 Lemmata), die aus dem Babel-formal-Benchmark abgeleitet wurden. Diese Dateien enthalten ihre eigenen Definitionen und Annahmen, wodurch Abhängigkeiten von prompterspezifischen Bibliotheken vermieden werden. Diese Ebene isoliert fundamentale Übersetzungsprobleme (z. B. Typentheorie, Universums-Level, implizite Argumente).
Tier B (Ökosystem): Enthält Formalisierungen aus realen Community-Bibliotheken, die API-Mismatches, Namenskonventionen und Beweisstil-Unterschiede offenlegen. Diese Ebene umfasst:
- 232 Dateien aus Formalizing 100 Theorems (4.924 Lemmata), die über alle vier Systeme hinweg abgestimmt sind.
- 1.264 Einzeltheorem-Dateien aus miniF2F (nur Aussagen), die vielfältige Inhalte aus Wettbewerbsmathematik bereitstellen.

Das Design erzwingt eine Vier-Wege-Schnittmengenanforderung: Jede Datei muss in allen vier ITPs formalisiert sein, um saubere gerichtete Vergleiche ohne Fehlstellen-Konfundierung zu gewährleisten.

2.2. Übersetzungsaufgaben

ITPEVAL evaluiert zwei primäre Aufgaben:

Aussagen-Übersetzung (Statement Translation): Generierung von Ziel-ITP-Code, bei dem die Beweiskörper durch Platzhalter (z. B. sorry) ersetzt werden. Die Verifizierung erfordert, dass die generierte Datei im Zielsystem eine Typprüfung besteht.
Beweis-Übersetzung (Proof Translation): Generierung vollständiger, kompilierbarer Beweisdateien ohne Platzhalter. Die Verifizierung erfordert, dass die gesamte Datei im Zielbeweiser erfolgreich kompiliert.

2.3. Verifizierungs-Infrastruktur

Eine kritische Komponente der Methodik ist itpeval, eine einheitliche Multi-ITP-Verifizierungs-Infrastruktur. Um die Heterogenität der ITP-Ausführungsmodelle (z. B. hohe Startkosten für Isabelle und HOL Light) zu adressieren, nutzt das System:

Zustandsisolierte Warm-Backends: Sicherstellung, dass jede Prüfung beobachtungsäquivalent zur Verifizierung eines Artefakts in einer frischen Umgebung ist, um das Durchsickern von Deklarationen zu verhindern.
Native Zielbeweiser-Prüfung: Alle Labels werden von den tatsächlichen Ziel-ITPs produziert, nicht durch oberflächliche Heuristiken.
Adaptives Scheduling: Einsatz von persistenten Workern, Session-Batching und Fork-Servern, um den Durchsatz zu managen und gleichzeitig die Pro-Datei-Prüfsemantik zu bewahren.

2.4. Semantische Äquivalenzprüfung

In Anerkennung der Tatsache, dass Typprüfung zwar notwendig, aber nicht hinreichend für die semantische Treue ist, implementieren die Autoren eine bidirektionale erweiterte definitionale Äquivalenzprüfung (BEq) für Lean 4 Targets. Diese deterministische Prüfung verifiziert, ob eine generierte Aussage $G$ und eine Referenzaussage $R$ einander implizieren ( $G \vdash R$ und $R \vdash G$ ) unter Verwendung einer eingeschränkten Beweissuche, wodurch zusätzliche modellabhängige Varianz vermieden wird.

3. Kernbeiträge

Vier-Wege-Abgestimmter Benchmark: Ein Datensatz von 1.560 Dateien und 6.848 Theoremen über Lean 4, Rocq, Isabelle und HOL Light, strukturiert in kontrollierte und Ökosystem-Ebenen, um die Kosten von Bibliotheksabhängigkeiten zu quantifizieren.
Einheitliche Verifizierungs-Infrastruktur: Ein zustandsisolierter Client (itpeval), der eine skalierbare, reproduzierbare Evaluierung über heterogene Beweiser mit nativen Prüfsemantiken ermöglicht.
Systematische LLM-Evaluierung: Eine Evaluierung von fünf Frontier- und Open-Weight-Modellen (GPT-5.5, Claude Sonnet 4.6, Gemini 3.1 Pro, DeepSeek-V4-Pro, Qwen3-235B-A22B) auf 12 gerichteten Übersetzungspaaren.
Analyse der semantischen Treue: Anwendung von BEq, um zu demonstrieren, dass die native Typprüfung allein die semantische Korrektheit erheblich überschätzen kann.
Explorative Round-Trip-Studie: Untersuchung von Autoformalisierungs- und Auto-Informalisierungs-Schleifen, um zielabhängige Verifizierungsmuster und die potenziellen Vorteile von Multi-ITP-Kontexten zu bewerten.

4. Ergebnisse

4.1. Übersetzungsleistung

Aussagen-Übersetzung: Das am besten abschneidende Modell, GPT-5.5, erreichte eine 29,1 % pass@1 Rate insgesamt. DeepSeek-V4-Pro folgte mit 27,1 %. Die Leistung sank bei anderen Modellen signifikant (Gemini bei 14,0 %, Qwen und Claude unter 10 %).
Beweis-Übersetzung: Die Leistung war wesentlich geringer, wobei GPT-5.5 insgesamt nur 10,5 % pass@1 erreichte.
Tier-Differenz: Die kontrollierte Ebene (Tier A) war konsistent einfacher als die Ökosystem-Ebene (Tier B). Für die Beweis-Übersetzung erreichte GPT-5.5 29,7 % bei kontrollierten Dateien, aber nur 5,2 % bei Ökosystem-Dateien. Dies deutet darauf hin, dass der Library-Mismatch (APIs, Benennung, Automatisierung) die größte beobachtete Fehlerquelle ist, nicht die Unterschiede in den logischen Grundlagen.
Direktionale Asymmetrie: Die Schwierigkeit der Übersetzung variiert signifikant nach Zielsystem. Isabelle und HOL Light sind starke Ziele für die Aussagen-Übersetzung, aber Isabelle wird zum schwierigsten Ziel für die Beweis-Übersetzung. Ähnlichkeit in den logischen Grundlagen (z. B. CIC zu CIC) garantiert keine höheren Erfolgsraten; die Konventionen des Ziel-Ökosystems spielen eine größere Rolle.

4.2. Semantische Äquivalenz (BEq)

Bei Anwendung des BEq-Checks auf verifizierte Lean 4 Aussagen-Übersetzungen aus miniF2F:

Nur 54,0 % der verifizierten Übersetzungen bestanden den Äquivalenzcheck.
Claude Sonnet 4.6 zeigte die höchste BEq-Passrate (83,8 %) unter den verifizierten Übersetzungen, während andere zwischen 34,5 % und 48,4 % lagen.
Dieses Ergebnis zeigt, dass eine Aussage syntaktisch gültig (typprüfbar) sein kann, aber semantisch schwächer oder verschoben gegenüber dem Originaltheorem ist.

4.3. Round-Trip und Autoformalisierung

In einer Multi-ITP Round-Trip-Studie (NL $\to$ Formal $\to$ NL $\to$ Formal) verifizierten Rocq und HOL Light etwa ein Drittel der Ausgaben bei beiden Formalisierungsschritten, während Lean 4 nahe bei 11 % und Isabelle im finalen Schritt bei 4,3 % lag. Multi-ITP-Kontext zeigte potenzielle Vorteile für spezifische Modell-Ziel-Kombinationen (z. B. Verbesserung der Lean 4 Step-1 Pass-Rate von 4,8 % auf 10,6 %), aber die Ergebnisse waren nicht über alle Systeme hinweg einheitlich.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ITPEVAL den ersten systematischen Vier-Wege-Benchmark für die formale Übersetzung bietet und aufzeigt, dass die primäre Barriere für die Kreuz-ITP-Übersetzung nicht die logische Grundlage selbst ist, sondern die Ebene der Ökosystem-Abhängigkeiten (Bibliotheken, APIs und Beweis-Idiome).

Die Autoren betonen:

Native Verifizierung ist essenziell: Oberflächliche Heuristiken oder reine Typprüfung reichen nicht aus, um die semantische Treue zu bewerten.
Infrastruktur ist entscheidend: Eine zuverlässige Kreuz-ITP-Evaluierung erfordert zustandsisolierte Verifizierung, um Konfundierungsfaktoren wie das Durchsickern von Deklarationen zu verhindern.
Zukünftige Richtungen: Das Feld muss Prioritäten auf Retrieval, Library-Mapping und API-Ausrichtung setzen, statt sich rein auf fundamentale Übersetzung zu konzentrieren. Das Paper weist zudem auf Limitationen hin, einschließlich der Zero-Shot-Evaluierung, der Beschränkung von BEq auf Lean 4 Targets und des Potenzials für Trainingsdaten-Kontamination in öffentlichen Datensätzen wie miniF2F.

Die Arbeit etabliert eine Basis für die Messung des Fortschritts in der formalen Übersetzung und legt nahe, dass zukünftige Systeme das „Library-Mismatch“-Problem lösen müssen, um eine robuste Interoperabilität zwischen formalen Beweis-Ökosystemen zu erreichen.