🤖 AI

Pessimistic Verification for Open Ended Math Questions

Dieses Paper führt „pessimistic verification“ ein, einen agentischen Workflow, der mathematische Lösungen ablehnt, wenn ein paralleler Verifizierer einen Fehler erkennt, sowie dessen verbesserte „progressive“ Variante unter Verwendung feingliedriger Beweisdekomposition, die bestehende Methoden bei der Genauigkeit und der Token-Effizienz bei anspruchsvollen offenen mathematischen Problemen signifikant übertrifft und gleichzeitig aufzeigt, dass aktuelle Benchmarks starke Modelle aufgrund von Annotationsfehlern unterschätzen könnten.

Ursprüngliche Autoren: Yanxing Huang, Zihan Tang, Zejin Lin, Peng Li, Yang Liu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yanxing Huang, Zihan Tang, Zejin Lin, Peng Li, Yang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Stapel Matheprüfungen korrigiert. Ihr Ziel ist es nicht nur zu sehen, ob das Endergebnis richtig ist, sondern auch zu prüfen, ob die Logik des Schülers fundiert ist. Wenn der Schüler in Schritt 3 einen einzigen Fehler macht, ist der gesamte Beweis falsch, selbst wenn er am Ende magischerweise die richtige Zahl erreicht hat.

Dieses Papier stellt eine neue Art und Weise vor, wie KI als dieser Lehrer agieren kann. Die Autoren nennen dies „Pessimistische Verifizierung“.

Hier ist die einfache Aufschlüsselung ihrer Idee, unter Verwendung alltäglicher Analogien:

1. Das Problem: Die „optimistische“ KI

Derzeit, wenn eine KI versucht, mathematische Beweise zu prüfen, verhält sie sich oft wie ein optimistischer Freund. Sie liest den gesamten Beweis, denkt: „Hm, sieht größtenteils gut aus“, und gibt ihm eine passende Note.

Der Fehler: KI ist schlecht darin, versteckte Fehler aufzuspüren. Sie übersieht oft kleine Fehler, weil sie versucht, „nett“ zu sein oder weil sie von langen, komplexen Argumentationen überfordert wird.
Die Kosten: Um sicher zu gehen, versuchen aktuelle Systeme, den Beweis dutzende Male zu prüfen. Das ist so, als würde man 64 verschiedenen Freunden denselben Aufsatz lesen lassen. Es funktioniert, aber es ist unglaublich teuer und langsam (wie das Ausgeben von viel Geld für Kaffee für all diese Freunde).

2. Die Lösung: Die „pessimistische“ KI

Die Autoren schlagen einen pessimistischen Ansatz vor. Stellen Sie sich einen strengen, paranoiden Sicherheitswachmann bei einer Bank vor.

Die Regel: „Wenn irgendjemand einen einzigen Fehler findet, wird das Ganze sofort abgelehnt.“
Wie es funktioniert: Anstatt die KI zu bitten, einen langen Essay darüber zu schreiben, warum der Beweis gut ist, fragen Sie sie: „Gibt es einen Fehler?“
Die Magie: Es ist viel einfacher für eine KI, einen Fehler zu finden, als zu beweisen, dass etwas perfekt ist. Indem sie sich nur darauf konzentriert, Fehler zu finden, wird die KI viel schärfer. Wenn sie einen Fehler findet, stoppt sie und sagt: „Falsch.“ Wenn sie nach ein paar Versuchen keinen findet, sagt sie: „Wahr.“

3. Die drei Variationen (Die Werkzeuge)

Das Papier testet drei Wege, um diese „pessimistische“ Denkweise anzuwenden:

Einfache Pessimistik (Die „Wiederholungs“-Methode):
- Analogie: Sie bitten denselben Sicherheitswachmann, den gesamten Beweis 10 Mal hintereinander zu lesen.
- Ergebnis: Besser als einmal, aber immer noch etwas verschwenderisch, weil der Wachmann den ganzen Beweis jedes Mal neu liest.
Vertikale Pessimistik (Die „Zoom-In“-Methode):
- Analogie: Anstatt das ganze Buch zu lesen, schneiden Sie den Beweis in kleine Absätze. Sie bitten den Wachmann, nur in Absatz 1 zu schauen, dann nur in Absatz 2.
- Ergebnis: Dies hilft dabei, winzige, versteckte Tippfehler zu finden, die bei einer langen Lesung verloren gehen könnten. Es kann jedoch langsam sein, wenn man den Beweis in zu viele winzige Stücke zerlegt.
Progressive Pessimistik (Die „Schlaue Detektiv“-Methode):
- Analogie: Dies ist der Gewinner. Der Detektiv beginnt damit, den gesamten Beweis schnell zu scannen. Wenn er keinen großen, offensichtlichen Fehler sieht, zoomt er auf einen bestimmten Absatz. Wenn er dort immer noch nichts sieht, zoomt er noch weiter in einen einzelnen Satz hinein.
- Warum sie gewinnt: Sie ist effizient. Sie verschwendet keine Zeit mit dem Zoomen auf Teile, die offensichtlich in Ordnung sind. Sie gräbt nur dort tief, wo sie Unheil vermutet. Sie findet Fehler schneller und verbraucht weniger Rechenleistung als die anderen Methoden.

4. Die große Überraschung: Der „Lösungsschlüssel“ war falsch

Einer der interessantesten Funde des Papers betrifft die „Antwortschlüssel“, die verwendet wurden, um diese KI-Systeme zu testen.

Die Entdeckung: Die Forscher fanden heraus, dass die „korrekten“ Antworten in den Testdatensätzen tatsächlich falsch waren.
Die Analogie: Stellen Sie sich vor, ein Lehrer-Lösungsschlüssel sagt, dass der Beweis eines Schülers eine „A+“ ist. Aber die neue „Pessimistische KI“ sieht darauf und sagt: „Warte, hier liegt ein Mathefehler vor!“
Das Ergebnis: Die Forscher haben die Beweise manuell überprüft und stellten fest, dass die KI recht hatte. Die menschlichen Prüfer (und die Antwortschlüssel) hatten die Fehler übersehen.
Fazament: Die aktuellen Tests für die mathematischen Fähigkeiten von KIs unterschätzen tatsächlich, wie gut die klügsten KIs sind, weil die Tests selbst Fehler enthalten.

5. Der Abschlusstest: Lösen von echten Olympiaden-Problemen

Die Autoren haben nicht beim Bewerten aufgehört; sie ließen ihre KI auch versuchen, die schwierigsten Mathematikprobleme der Welt (wie die Internationale Mathematik-Olympiade) zu lösen.

Sie nutzten ihre „Progressive Pessimistic“-Methode, um die Arbeit der KI zu überprüfen, während diese die Probleme löste.
Ergebnis: Die KI löste mehr Probleme korrekt und verbrauchte dabei weniger Computerressourcen (Token) als bisherige Methoden. Es war, als hätte man ein Team von Detektiven, das ein Rätsel schneller und kostengünstiger lösen konnte als jeder andere.

Zusammenfassung

Das Paper argumentiert, dass wir zur Verifizierung von Mathematik nicht versuchen sollten, perfekt zu sein; wir sollten versuchen, misstrauisch zu sein. Indem wir die KI lehren, aggressiv nach Fehlern zu suchen und Beweise in kleinere, handhabbare Stücke zu zerlegen, können wir sie intelligenter, schneller und zuverlässiger machen. Und dabei haben sie entdeckt, dass viele unserer aktuellen „korrekten“ mathematischen Antworten eigentlich inkorrekt sind.

Technisches Resümee: Pessimistische Verifizierung für offene mathematische Fragestellungen

1. Problemstellung

Die automatische Verifizierung stellt einen kritischen Flaschenhals beim Aufbau von mathematischen Lösungsagenten und Reinforcement-Learning-Systemen für große Sprachmodelle (LLMs) dar. Während regelbasierte Verifizierung effizient ist, beschränkt sie sich auf Probleme mit deterministischen Antworten und kann offene mathematische Fragestellungen, die eine Beweisbewertung erfordern, nicht adressieren. Umgekehrt leidet die LLM-basierte automatische Verifizierung unter drei primären Einschränkungen:

Unzureichende Genauigkeit: Aktuelle Modelle verfügen nicht über ausreichende Selbstverifizierungsfähigkeiten und erfordern oft die Anleitung durch menschliche Experten.
Hohe Rechenkosten: Bestehende Workflows (z. B. DeepSeekMath-V2, DeepSeek-V3.2) generieren oft eine enorme Anzahl an Kandidatenbeweisen und unterziehen diese einer extensiven parallelen Verifizierung (z. B. 64 Runden), was tausende API-Aufrufe pro Problem verbraucht.
Zuverlässigkeit von Benchmarks: Die Arbeit argumentiert, dass bestehende Benchmarks die Fähigkeiten stärkerer Modelle aufgrund inhärenter Annotationsfehler unterschätzen können, bei denen menschliche Annotatoren subtile oder kritische Fehler in Beweisen übersehen.

Der Kern der Argumentation dieser Arbeit ist, dass die primäre Einschränkung der automatischen Verifizierung nicht in der Generierung von Lösungen liegt, sondern in der Fähigkeit, Fehler innerhalb eines Beweises zu erkennen.

2. Methodik

Die Autoren schlagen die Pessimistische Verifizierung vor, ein Paradigma, bei dem eine Lösung abgelehnt wird, wenn irgendeiner mehrerer paralleler Verifizierer einen Mangel identifiziert. Dieser Ansatz priorisiert die Fehlererkennung gegenüber dem Konsens. Das Paper führt drei Varianten dieser Methode ein:

2.1. Einfache pessimistische Verifizierung

Diese Variante wiederholt den Standard-Verifizierungsprozess $n$ -mal parallel. Wenn einer der $n$ unabhängigen Checks einen Fehler findet, wird der Beweis als inkorrekt markiert. Dies dient als Baseline, die den aktuellen Mainstream-Ansätzen entspricht, jedoch keine strukturelle Optimierung aufweist.

2.2. Vertikale pessimistische Verifizierung

Anstatt den gesamten Beweis wiederholt zu prüfen, partitioniert diese Methode den Beweis in Stücke (Chunks) fester Länge $k$ . Sie verwendet eine spezifische Prompting-Strategie (illustriert in Abbildung 2), bei der das LLM angewiesen wird, sich ausschließlich auf einen spezifischen Chunk zu konzentrieren, während der vollständige Beweis als Kontext erhalten bleibt. Dies ermöglicht eine tiefere, feingliedrige Untersuchung spezifischer Abschnitte. Obwohl dies die Fehlererkennung gegenüber der Single-Pass-Verifizierung verbessert, verursacht es hohe Kosten aufgrund der festen Granularität, da potenziell Token in leicht verifizierbaren Abschnitten verschwendet werden.

2.3. Progressive pessimistische Verifizierung

Dies ist der Kernbeitrag, der die Mechanismen der einfachen und der vertikalen Methode kombiniert. Sie nutzt eine Multi-Skalen-Verifizierungsstrategie:

Iterative Dekomposition: Der Prozess beginnt mit der Verifizierung des vollständigen Beweises. Wenn kein Fehler gefunden wird, wird der Beweis unterteilt (z. B. halbiert) und jeder Teil wird separat verifiziert.
Pruning (Beschneidung): Beweise, in denen Fehler entdeckt werden, werden sofort herausgefiltert. Die Verifizierung setzt nur bei den verbleibenden Beweisen fort.
Parameter: Die Methode verwendet $n$ , um die maximale Anzahl der Iterationen zu steuern, und $k$ , um eine Untergrenze für die Segmentierungsgröße festzulegen, um eine Übersegmentierung zu verhindern.
Effizienz: Dieser dynamische Ansatz ermöglicht es dem System, offensichtliche Fehler schnell auf der Makroebene herauszufiltern und erst dort in detaillierte Schritte einzutauchen, wo es notwendig ist, was den Token-Verbrauch im Vergleich zu Methoden mit fester Granularität signifikant reduziert.

3. Zentrale Beiträge

Identifizierung von Kosteneffizienzen: Die Studie hebt die weit verbreiteten Kosteneffizienzen in aktuellen mathematischen Reasoning-Workflows hervor und bietet eine neue Perspektik, die auf der fehlerzentrierten Verifizierung basiert.
Neuartige Verifizierungs-Varianten: Der Vorschlag von drei pessimistischen Verifizierungsmethoden (Einfach, Vertikal, Progressiv), welche die Verifizierungsfähigkeit von LLMs mit höherer Effizienz als die Skalierung langer Chain-of-Thought (CoT) signifikant verbessern.
Empirische Validierung und Benchmark-Analyse: Umfassende Experimente auf Verifizierungs-Benchmarks (IMO-GradingBench, Hard2Verify) und Problemlösungsaufgaben (IMO 2025, MathArena Apex 2025). Entscheidend ist, dass die Autoren zeigen, dass bestehende Benchmarks oft Annotationsfehler enthalten, was zu einer Unterschätzung der Verifizierungsfähigkeiten starker Modelle führt.

4. Experimentelle Ergebnisse

Die Experimente wurden auf drei Datensätzen durchgeführt: IMO-GradingBench (menschlich bewertete IMO-Lösungen), Hard2Verify (Wettbewerbsprobleme mit menschlichen Annotationen) und QiuZhen-Bench (Bachelor-Niveau Probleme, annotiert durch GPT-5).

Leistungsmetriken: Die primären Metriken waren die True Negative Rate (TNR), die True Positive Rate (TPR) und der Balanced F1 Score.
Skalierungseffizienz: Die progressive pessimistische Verifizierung erreichte konsistent die höchste Performance und Token-Effizienz über alle Modelle hinweg (von Qwen3-1.7B bis GPT-5 und Gemini 3 Pro). Sie übertraf sowohl die Standard-Long-CoT als auch die einfache parallele Verifizierung sowohl in der Genauigkeit als auch in den Kosten.
Fehlererkennung vs. Konsens: Die Ergebnisse bestätigten, dass die Fehlererkennung (TNR) der entscheidende Differenzierer zwischen starken und schwachen Verifizierern ist, während die TPR über Modelle hinweg relativ stabil bleibt.
Fallstudien zu Annotationsfehlern: Detaillierte Analysen von False-Negative (FN)-Fällen zeigten, dass State-of-the-Art-Modelle (z. B. GPT-5, Gemini 3 Pro) häufig kritische Fehler in Beweisen identifizierten, die ursprünglich von menschlichen Annotatoren als korrekt (7/7 Punkte) markiert worden waren. Dies deutet darauf hin, dass aktuelle Benchmarks für Spitzenmodelle unzuverlässig sind und dass der beobachtete "TPR-Verlust" in einigen Metriken oft ein Artefakt fehlerhafter Ground-Truth-Daten ist und nicht auf ein Versagen des Modells zurückzuführen ist.
Problemlösung: In agentischen Workflows auf IMO 2025 und MathArena Apex 2025 verbesserte der progressive pessimistische Verifizierungs-Workflow sowohl die endgültige Genauigkeit als auch die Effizienz (gemessen in äquivalenten Output-Token) signifikant im Vergleich zum direkten Lösen oder der naiven parallelen Verifizierung. Beispielsweise erreichte die progressive Methode auf dem IMO 2025-Datensatz eine Gesamtpunktzahl von 22/42 im Vergleich zu 13/42 beim direkten Lösen, bei gleichzeitig geringerem Token-Verbrauch als die einfache pessimistische Baseline.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Progressive Pessimistische Verifizierung einen gangbaren Kompromiss zwischen der strengen Rigorosität formaler Theorembeweiser (die rechenintensiv sind und eine komplexe Autoformalisierung erfordern) und den Limitationen der informellen Verifizierung bietet.

Fehlerzentrierte Philosophie: Die Arbeit betont, dass Verifizierungsergebnisse, die Fehler identifizieren, einen höheren Informationsgehalt besitzen und priorisiert werden sollten. Diese Philosophie erleichtert das algorithmische Pruning und erhöht so die Effizienz.
Segmentweise Prüfung: Die Methode argumentt, dass effektive Verifizierung eine akribische Untersuchung kleinster Details innerhalb eines Prozesses erfordert, statt wiederholter, oberflächlicher Überprüfungen des Ganzen.
Praktische Auswirkungen: Die Autoren postulieren, dass sobald die informelle Verifizierung eine ausreichende Leistung erreicht, sie die Anforderungen der meisten praktischen Anwendungen in der mathematischen Forschung und Softwaretechnik erfüllen kann (z. B. Debugging von Code ohne Ausführung von Testfällen).
Zukünftiges Potenzial: Die Methode wird als Weg präsentiert, die Leistungsfähigkeit von State-of-the-Art-Modellen voranzutreiben, wobei sie potenziell als Komponente in Trainings-Pipelines dienen kann, um das rigorose Reasoning und die Verifizierungsfähigkeiten von LLMs zu verbessern.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz eine skalierbare, kosteneffiziente Alternative zu aktuellen Verifizierungs-Workflows bietet, die in der Lage ist, die Komplexität mathematischer Forschungsprobleme zu bewältigen und gleichzeitig die Grenzen bestehender, menschlich annotierter Benchmarks aufzuzeigen.