🤖 AI

PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models

Dieses Paper führt PyraMathBench ein, einen umfassenden hierarchischen Benchmark, der darauf ausgelegt ist, die Integration von numerischer Verarbeitung und mathematischer Argumentation in großen Sprachmodellen zu evaluieren, und schlägt das SOLVE-Modul sowie die IRPO-Trainingsmethode vor, um die Modellleistung durch die Adressierung von Schwächen in der numerischen Berechnung und dem abstrakten Denken signifikant zu steigern.

Ursprüngliche Autoren: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich große Sprachmodelle (LLMs) als brillante, belesene Studenten vor, die in der Lage sind, Poesie zu schreiben und Geschichtsbücher perfekt zusammenzufassen. Doch wenn man ihnen eine mathematische Textaufgabe gibt, stolpern sie oft. Sie verstehen vielleicht die Geschichte, scheitern aber an den eigentlichen Zahlen, oder sie „halluzinieren“ (erfinden) Zahlen, die gar nicht vorhanden sind.

Das Paper „PyraMathBench“ führt eine neue Art und Weise ein, diese Studenten zu testen, sowie eine neue Methode, um ihnen beim Lernen zu helfen. Hier ist die Aufschlüsselung in einfachen Worten:

1. Das Problem: Die „Black Box“ des mathematischen Scheiterns

Wenn wir KI derzeit bei Mathematik testen, schauen wir meistens nur auf das Endergebnis. Hat sie es richtig gemacht? Ja oder Nein.

Der Fehler: Wenn die Antwort falsch ist, wissen wir nicht, warum. Hat die KI die Frage missverstanden? Hat sie eine mathematische Regel vergessen? Oder hat sie einfach nur die Arithmetik falsch berechnet (wie ein Taschenrechner mit einem defekten Knopf)?
Die Analogie: Es ist, als würde man einen Aufsatz eines Schülers bewerten, indem man nur die Endnote betrachtet. Wenn er eine „3“ bekommt, weiß man nicht, ob er eine schlechte Handschrift hatte, die Aufgabenstellung nicht verstanden hat oder einen Rechtschreibfehler gemacht hat. Man muss die einzelnen Schritte sehen, um das Problem zu beheben.

2. Die Lösung: PyraMathBench (Der „Pyramiden“-Test)

Die Autoren haben einen massiven neuen Benchmark namens PyraMathBench entwickelt. Denken Sie an eine Pyramide aus mathematischen Fähigkeiten.

Die Struktur: Anstatt der KI einfach nur eine schwere Aufgabe zu geben, brechen sie diese auf. Sie nehmen 7.404 reale mathematische Geschichten und zerlegen sie in 32.505 kleinere Teile (Teilaufgaben).
Die Schichten:
- Die Basis (Numerische Analyse): Kann die KI die Zahlen im Text finden? Kann sie Zahlen aus einem Bild ablesen?
- Die Mitte (Verständnis & Berechnung): Kann sie die Geschichte in eine mathematische Gleichung umwandeln? Kann sie tatsächlich die Addition durchführen oder die Gleichung lösen?
- Die Spitze (Komplexe Argumentation): Kann sie alles zusammenfügen, um die ursprüngliche schwere Aufgabe zu lösen?
Das Ergebnis: Durch das Testen der KI auf jeder einzelnen Ebene fanden die Forscher heraus, dass viele Top-KI-Modelle in Wirklichkeit bei den Grundlagen schlecht sind. Sie scheitern oft daran, Zahlen in Bildern zu erkennen, oder werden durch einfache Arithmetik verwirrt, selbst wenn sie logisch begabt sind.

3. Die Diagnose: Was ist das Problem?

Nach dem Testen von 11 verschiedenen KI-Modellen (darunter bekannte Namen wie GPT-4, Llama und DeepSeek) fanden sie zwei Hauptschwächen:

Schlechte „Lesbarkeit“ von Zahlen: Die Modelle übersehen oft Zahlen im Text oder, noch schlimmer, in Bildern. Sie sehen vielleicht eine Uhr in einem Bild, schätzen aber die Zeit falsch ein, oder sie ignorieren eine entscheidende Zahl in einer Textaufgabe.
Halluzinieren: Wenn sie eine Zahl nicht wissen, erfinden sie manchmal einfach eine, um die Geschichte fortzuführen.

4. Die Lösung: SOLVE und IRPO

Um der KI zu helfen, besser zu werden, haben die Autoren zwei neue Werkzeuge entwickelt – wie ein schlauer Tutor und ein persönlicher Trainer.

SOLVE (Der schlaue Tutor):
- Das Problem: KI versucht oft, externe Werkzeuge (wie einen Taschenrechner oder einen Code-Interpreter) zu nutzen, scheitert aber, weil sie die Anfrage schlecht formatiert (z. B. die falsche Code-Syntax schreibt). Es ist, als würde ein Schüler versuchen, einen Taschenrechner zu benutzen, aber die Tasten in der falschen Reihenfolge drücken.
- Die Lösung: SOLVE ist ein Modul, das als Übersetzer fungiert. Es ermöglicht der KI, eine Anfrage auf jede erdenkliche unordentliche Weise zu stellen (sogar im „handschriftlichen“ Stil), und SOLVE bereinigt diese und sendet die perfekte Anfrage an den Taschenrechner. Zudem weiß es, wann die KI klug genug ist, ein einfaches Problem selbst zu lösen, damit keine Zeit mit dem Aufrufen eines Werkzeugs verschwendet wird.
IRPO (Der persönliche Trainer):
- Das Problem: Standardmäßige Trainingsmethoden belohnen die KI nur für das Endergebnis. Sie lehren die KI nicht, wie sie den Taschenrechner während des Prozesses effektiv nutzt.
- Die Lösung: IRPO ist eine neue Trainingsmethode. Es beobachtet den gesamten Denkprozess der KI. Wenn die KI zum richtigen Zeitpunkt einen Taschenrechner aufruft, erhält sie eine Belohnung. Wenn die KI einen Taschenrechner für ein Problem aufruft, das sie selbst hätte lösen können, erhält sie eine Strafe. Es lehrt die KI zu wissen, wann sie nachdenken und wann sie ein Werkzeug benutzen soll.

5. Das Ergebnis

Als sie diese Korrekturen auf das Qwen-2.5 Modell anwandten:

Steigerte sich der mathematische Score des Modells um 5,0 Punkte.
Es wurde viel besser darin zu wissen, wann es einen Taschenrechner benutzen sollte und wann es die Mathematik selbst erledigen kann.

Zusammenfassung

Das Paper argumentt, dass wir, um KI in Mathematik besser zu machen, nicht nur auf die Endnote schauen dürfen. Wir müssen Mathematik in eine Pyramide aus winzigen Fähigkeiten zerlegen, um genau zu sehen, wo die KI scheitert. Sobald wir die Risse sehen (wie die schlechte Zahlenerkennung), können wir smarte Werkzeuge (SOLVE) und besseres Training (IRPO) bauen, um sie zu beheben und den verwirrten Studenten in ein Mathe-Genie zu verwandeln.

Technisches Resümee: PyraMathBench

Problemstellung

Trotz der entscheidenden Rolle des numerischen Denkens in Anwendungen, die von der wissenschaftlichen Forschung bis zur Finanzanalyse reichen, haben aktuelle Large Language Models (LLMs) erhebliche Schwierigkeiten mit mathematischen Aufgaben. Bestehende Benchmarks versäumen es oft, numerische Verarbeitungsfehler (z. B. Tokenisierungsfehler, Rechenfehler, Halluzinationen) von mathematischen Denkfehlern (z. B. logische Fehlinterpretationen) zu trennen. Folglich bleibt unklar, ob ein Fehler eines Modells auf eine Unfähigkeit zur Berechnung oder auf eine Unfähigkeit zum Verständnis der Problemstruktur zurückzuführen ist. Zudem testen bestehende Frameworks Fähigkeiten oft isoliert und lassen die Korrelationen zwischen Aufgaben vermissen, die aufzeigen, wie fundamentale Fertigkeiten komplexes Denken beeinflussen. Darüber hinaus überschätzen aktuelle Bewertungen von Multimodalen LLMs (MLLMs) deren visuelle Denkfähigkeiten bei visuellen Mathematikproblemen oft, indem sie nicht zwischen der Abhängigkeit von textuellen Hinweisen und der tatsächlichen Extraktion visueller Daten unterscheiden.

Methodik

1. PyraMathBench (PMB)

Die Autoren führen PyraMathBench ein, ein umfassendes hierarchisches Benchmark-System, das darauf ausgelegt ist, die Synergie zwischen numerischer Verarbeitung und mathematischem Denken zu bewerten.

Skalierung und Struktur: Das Benchmark umfasst 32.505 Fragen, die aus 7.404 Mathematik-Textaufgaben (MWPs) und visuellen Denkproblemen abgeleitet wurden.
Hierarchische Taxonomie: Inspiriert von Piagets kognitiver Theorie werden die Aufgaben in 4 zentrale kognitive Aspekte und 14 distinkte Subaufgaben zerlegt:
1. Komplexes Denken: Mathematik-Textaufgaben (MWP) und visuelle Denkprobleme (VRP).
2. Verständnis: Aufgabenabstraktion (QA), Aufgabenzerlegung (TD) und mathematisches Wissen (MK).
3. Berechnung: Arithmetik, Gleichungslösen (ES), Sortieren und Formelanwendung (FA).
4. Numerische Parsierung: Zahlenkonvertierung (NC), Einheitenkonvertierung (UC), Numeralerkennung (NR), visuelle Datenquantifizierung (VDQ) und Objektzählen (OC).
Datenerstellung: Die Daten stammen aus sechs bestehenden Datensätzen (z. B. GSM8K, MATH, MathVista) und Übungssammlungen. Die Subaufgaben wurden von sechs Experten mit Fachkenntnissen in der Sekundarstufe I/II (High School Mathematics) annotiert, was eine rigorose Zerlegung realer Probleme statt einer synthetischen Generierung gewährleistet. Der Datensatz enthält sowohl unimodale als auch multimodale Aufgaben.
Evaluationsmetriken: Eine benutzerdefinierte Scoring-Funktion basierend auf dem relativen Fehler (Skala 0–100) wird für numerische Antworten verwendet, während MathBERT-Embeddings und die Kosinus-Ähnlichkeit für Textantworten zum Einsatz kommen.

2. Vorgeschlagene Lösungen: SOLVE und IRPO

Um die identifizierten Schwächen in der numerischen Berechnung und Werkzeugnutzung anzugehen, schlagen die Autoren zwei Erweiterungen vor:

SOLVE (Smart Optimization & Learning-based VErsatile module): Ein Modul zur Werkzeugintegration, das auf Flexibilität und Adaptivität ausgelegt ist.
- Fuzzy Call Recognition: Im Gegensatz zu starren „Plug-and-Play“-Modulen akzeptiert SOLVE Werkzeugaufrufe in verschiedenen Formaten (LaTeX, Python, informeller Text) und standardisiert diese, was Parsing-Fehler reduziert.
- Dynamische Schwierigkeitseinschätzung: Unter Verwendung der Item-Response-Theorie (IRT-2PL) schätzt SOLVE die Schwierigkeit einer Aufgabe und die aktuelle Kompetenz ( $\theta$ ) des Modells. Wenn die Wahrscheinlichkeit, dass das Modell die Aufgabe korrekt löst, einen Schwellenwert von 0,95 überschreitet, umgeht SOLVE den Werkzeugaufruf, um die Effizienz zu optimieren.
IRPO (Interactive Relative Policy Optimization): Ein neues Reinforcement Learning (RL) Framework, das die Group Relative Policy Optimization (GRPO) erweitert.
- Dual-Stream Sampling: IRPO sampelt gleichzeitig Ausgaben aus einer Basis-Policy ( $\pi_\theta$ ) und einer werkzeug-augmentierten Policy ( $\pi^\tau_\theta$ ).
- Reward-Funktion: Die Reward-Funktion ist vielschichtig; sie bestraft unnötige Werkzeugaufrufe, wenn das Modell dazu in der Lage ist (basierend auf der Subaufgaben-Genauigkeit), und belohnt die Werkzeugnutzung, wenn diese bei der Lösung komplexer Teilprobleme hilft. Sie beinhaltet eine dynamische Baseline und eine logistische Funktion, welche die Wahrscheinlichkeit werkzeugfreier korrekter Lösungen modelliert.

Zentrale Ergebnisse

Benchmark-Evaluation

Experimente mit 11 repräsentativen LLMs (einschließlich GPT-4o, DeepSeek-R1, Qwen-2.5 und Llama-3.1) zeigen:

Leistungslücken: Während Top-Modelle wie DeepSeek-R1 und GPT-4o gut bei komplexem Denken (MWP) abschneiden, weisen sie signifikante Schwächen bei der Aufgabenabstraktion (QA), dem Gleichungslösen (ES) und der numerischen Parsierung auf.
Mathematik-spezialisierte Modelle: Überraschenderweise schnitten mathematik-spezialisierte Modelle (z. B. DeepSeek-Math, Qwen2.5-Math) in mehreren Subaufgaben schlechter ab als Generalisten-Modelle wie Llama-3.1, was auf mangelndes Instruction-Following (Ignorieren von Prompts zur Abstraktion von Problemen) und inkonsistente Antwortformate zurückzuführen ist.
Multimodale Limitationen: MLLMs erzielten extrem niedrige Werte (Durchschnitt < 20) bei visuellen numerischen Parsierungs-Subaufgaben (NR, VDQ, OC). Die Analyse deutet darauf hin, dass sie primär auf textuelle Informationen vertrauen, anstatt Daten aus Bildern zu extrahieren, selbst in einfachen Szenarien wie dem Zählen von Objekten oder dem Lesen von Uhren.
Korrelationsanalyse: Eine Pearson-Korrelationsanalyse zeigt, dass die Leistung bei Aufgabenabstraktion (QA), Gleichungslösen (ES) und Formelanwendung (FA) am stärksten mit der allgemeinen MWP-Leistung korreliert. Diese Bereiche stellen die primären Engpässe für aktuelle LLMs dar.

Verbesserung durch SOLVE und IRPO

Die Anwendung der vorgeschlagenen Methoden auf Qwen-2.5 und Llama-3.1-8B lieferte signifikante Verbesserungen:

Baseline vs. PPM: Ein einfaches „Plug-and-Play“-Werkzeugaufrufen verschlechterte die Leistung tatsächlich (z. B. sank Qwen-2.5 von 91,1 auf 82,8) aufgrund von Parsing-Fehlern und Context-Bloat.
SOLVE-Impact: Die Integration von SOLVE verbesserte die Scores (Qwen-2.5: 95,8; Llama-3.1: 74,8) durch die Handhabung von Fuzzy-Werkzeugaufrufen und das Umgehen unnötiger Aufrufe.
IRPO-Impact: Ein weiteres Training mit IRPO erreichte die höchsten Werte (Qwen-2.5: 96,1; Llama-3.1: 76,1) und demonstrierte eine Steigerung von 5,0 % gegenüber der Vanilla-Baseline für Qwen-2.5.
Vergleich: IRPO übertraf GRPO, insbesondere bei schwächeren Modellen, indem es den Entscheidungsprozess für die Werkzeugaufrufung über mehrere Runden hinweg explizit optimierte.

Bedeutung und Behauptungen

Das Paper behauptet, dass PyraMathBench einen notwendigen Wandel von einer „antwortzentrierten“ Evaluation hin zu einer prozessorientierten, hierarchischen Bewertung darstellt. Durch die Zerlegung komplexer Probleme in atomare kognitive Aufgaben ermöglicht das Benchmark den Forschern, spezifische Fehlermodi zu lokalisieren (z. B. die Unterscheidung zwischen einem Rechenfehler und einem Denkfehler).

Die Autoren behaupten, dass ihre vorgeschlagenen SOLVE- und IRPO-Frameworks effektiv die „Werkzeugaufruf-Parsing-Fehler“ und die „ineffiziente Werkzeugnutzung“ mildern, die aktuelle LLMs behindern. Die Ergebnisse legen nahe, dass die Verbesserung der Synergie zwischen internem Denken und externer Werkzeugnutzung entscheidend für den Fortschritt mathematischer Fähigkeiten ist. Das Paper schließt mit der Feststellung, dass aktuelle Modelle zwar vielversprechende Ansätze im hohen Abstraktionsniveau zeigen, ihre Kompetenz in der fundamentalen numerischen Verarbeitung und der multimodalen Datenextraktion jedoch weiterhin eine signifikante Barriere für die Lösung realer mathematischer Probleme darstellt.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Ambiguität der Zerlegung: Die Aufgabenzerlegung kann mehrere valide Versionen haben, was die Ergebnisse beeinflussen kann, insbesondere im Bereich „Verständnis“.
Umfang: Die Taxonomie deckt 14 Subaufgaben ab, umfasst aber nicht alle möglichen atomaren Sprachfähigkeiten.
Sprache: Die Studie ist derzeit auf Englisch beschränkt.
Domänenspezifität: Die SOLVE- und IRPO-Methoden sind für Mathematik-Textaufgaben optimiert und lassen sich möglicherweise nicht direkt auf andere mathematische Domänen wie formale Beweise oder reine algebraische Manipulation übertragen.