AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification
Dieses Paper führt AdvancedMathBench ein, eine umfassende Benchmark-Suite, die ProverBench zur Evaluierung fortgeschrittener mathematischer Beweisgenerierung und VerifierBench zur Bewertung der Beweisverifizierung sowie eine spezialisierte automatische Verifizierungs-Pipeline umfasst, um aufzuzeigen, dass aktuelle Frontier-Large-Language-Modelle noch immer erheblich damit kämpfen, rigorose Beweise auf Bachelor- und Doktoranden-Niveau zu konstruieren und zu validieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter gebaut, der Highschool-Mathetests bestehen kann und knifflige Algebra- und Geometrieaufgaben schneller löst als jeder Mensch. Sie denken vielleicht: „Großartig! Dieser Roboter ist ein Mathegenie!“ Aber was passiert, wenn Sie ihm eine Mathematikaufgabe auf PhD-Niveau geben? Versteht er tatsächlich die Logik oder rät er nur die Endzahl und hofft das Beste?
Genau das untersucht eine neue Studie namens AdvancedMathBench. Die Forscher haben ein spezielles „Mathe-Fitnessstudio“ gebaut, um zu testen, ob KI-Modelle zwei sehr schwierige Dinge können: eine perfekte mathematische Beweisführung von Grund auf zu schreiben und zu prüfen, ob der Beweis eines anderen tatsächlich korrekt ist.
Der Beweis liegt in der Puddingform (Nicht nur in der Antwort)
Die meisten Mathetests für KIs sind wie Multiple-Choice-Quizzes. Der Roboter muss nur den richtigen Buchstaben auswählen (A, B, C oder D) oder die Endzahl hinschreiben. Wenn die Antwort richtig ist, bekommt der Roboter einen goldenen Stern.
Aber fortgeschrittene Mathematik handelt nicht von der Endzahl; sie handelt von der Reise. Es ist, als würde man einen Koch bitten, nicht nur einen köstlichen Kuchen zu servieren, sondern auch das exakte Rezept aufzuschreiben, zu erklären, warum er jede Zutat hinzugefügt hat, und zu beweisen, dass der Kuchen nicht zusammenbricht. Wenn das Rezept einen versteckten Fehler hat (wie Salz statt Zucker zu verwenden), sieht der Kuchen anfangs vielleicht gut aus, aber er ist ruiniert.
Das Paper argumentiert, dass aktuelle KI-Benchmarks zu einfach sind, weil sie nur die Endantwort prüfen. Sie übersehen den „Rezept“-Teil. Um dies zu korrigieren, haben die Forscher AdvancedMathBench entwickelt, das die KI dazu zwingt, die ganze Geschichte des mathematischen Problems aufzuschreiben und dann zu prüfen, ob diese Geschichte Sinn ergibt.
Die zwei großen Herausforderungen
1. Der „Schreiber“-Test (ProverBench)
Zuerst baten sie die KI, als Mathematiker zu agieren und einen vollständigen Beweis zu schreiben. Sie gaben ihr 245 Probleme, unterteilt in zwei Stufen:
- Undergraduate (UG): Wie eine schwere College-Abschlussprüfung.
- Doctoral Qualifying (QE): Wie der superharte Test, den man bestehen muss, um einen PhD zu werden.
Das Ergebnis: Selbst die klügsten KI-Modelle hatten Schwierigkeiten. Das beste Modell, GPT-5.5-xhigh, erreichte eine Punktzahl von 64,5 bei den College-Level-Problemen. Aber als sie zu den PhD-Level-Problemen übergingen, sank seine Punktzahl auf 48,9.
Dies deutet darauf hin, dass KI zwar gut in Highschool-Mathe ist, aber noch einen weiten Weg vor sich hat, bevor sie die tiefe, rigorose Logik bewältigen kann, die für fortgeschrittene Forschung erforderlich ist. Das Paper legt nahe, dass es nicht ausreicht, nur die richtige Antwort zu erhalten; das Modell muss ein felsfestes Argument aufbauen, und momentan stolpert es noch über die schwierigsten Schritte.
2. Der „Editor“-Test (VerifierBench)
Als Nächstes baten sie die KI, als strenger Editor zu agieren. Sie gaben ihr 888 Beweise, die von anderen Modellen geschrieben wurden (einige korrekt, andere voller versteckter Fallen), und fragten: „Ist dieser Beweis gültig? Wenn nicht, wo liegt der Fehler?“
Das Ergebnis: Dies war noch schwieriger. Das beste Modell, DeepSeek-V4-Pro, erreichte nur einen Score von 65,1 (einen Balanced F1-Score).
Hier ist der knifflige Teil: Das Paper fand heraus, dass die KI ziemlich gut aussieht, wenn man sie nur fragt „Ist das richtig oder falsch?“ (ein einfaches Ja/Nein). Aber wenn man sie bittet, zu erklären, warum, und den spezifischen Fehler zu benennen, sinkt ihre Leistung drastisch.
Zum Beispiel waren einige Modelle so begierig zu sagen: „Ja, das ist korrekt!“, dass sie offensichtliche Fehler übersahen. Ein Modell, gpt-oss-120b, sagte in 95,3 % der Fälle „Ja“ zu validen Beweisen, aber es sagte nur in 32,0 % der Fälle „Nein“ zu invaliden Beweisen. Es war wie ein Lehrer, der jedem eine Eins gibt, selbst wenn dieser geschummelt hat. Das Paper legt nahe, dass der wahre Engpass nicht darin besteht, korrekte Mathematik zu erkennen, sondern subtile, täuschend echt aussehende, aber falsche Beweise zu entlarven.
Wie sie den Test fair gestalteten
Man könnte sich fragen: „Woher wissen Sie, ob der Beweis einer KI wirklich gut ist?“ Man kann nicht einfach eine andere KI fragen, da diese eventuell dieselben Fehler machen könnten.
Deshalb bauten die Forscher eine spezielle Automatische Verifikations-Pipeline. Denken Sie an ein Team von Experten – menschliche Mathematiker –, die einem superpräzisen Roboter beigebracht haben, wie man Beweise bewertet.
- Sie sammelten tausende Beispiele und ließen echte Experten diese prüfen.
- Sie trainierten ihren Roboter darauf, nach „Fatal Errors“ (Arten von Fehlern, die den gesamten Beweis zerstören) und „Recoverable Errors“ (kleine Patzer, die korrigiert werden können) zu suchen.
- Sie verwendeten eine „pessimistische“ Regel: Ein Beweis wird nur akzeptiert, wenn acht verschiedene Prüfungen alle sagen, dass er perfekt ist. Wenn auch nur eine einzige Prüfung einen Fehler findet, fällt der Beweis durch.
Dieses System war so gut, dass es andere Top-KI-Richter übertraf und einen Wert von 82,1 auf einem Testdatensatz erreichte, bei dem andere Modelle nur 70,6 erreichten. Dies deutet darauf hin, dass man zur echten Prüfung von Mathe-KI einen spezialisierten, rigorosen Grader benötigt und nicht nur einen allgemeinen Chatbot.
Die wichtigste Erkenntnis
Das Paper sagt nicht, dass KI „schlecht“ in Mathe ist. Es sagt, dass KI bei der schwierigsten, fortgeschrittensten Mathematik noch lernt.
- Beweise schreiben: Die beste KI erreicht etwa 64,5 bei College-Level-Problemen und fällt auf 48,9 bei PhD-Level-Problemen ab.
- Beweise prüfen: Die beste KI erreicht einen Score von 65,1, was bedeutet, dass sie immer noch viele subtile Fehler übersieht.
Die Forscher legen nahe, dass wir nicht mehr nur auf die Endantwort schauen können. Wenn wir wollen, dass KI bei echter wissenschaftlicher Entdeckung hilft, muss sie in der Lage sein, ein perfektes logisches Argument aufzubauen und – ebenso wichtig – ihre eigenen Fehler zu erkennen, bevor es jemand anderes tut. Bis dahin ist der „Mathegenie“-Roboter noch ein Schüler im Werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.