MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese
Dieser Beitrag stellt Math-PT vor, einen neuen Benchmark-Datensatz mit 1.729 mathematischen Aufgaben in europäischem und brasilianischem Portugiesisch, die aus einheimischen Wettbewerben und Prüfungen stammen und zeigen, dass zwar state-of-the-art-LLMs bei Multiple-Choice-Fragen gut abschneiden, ihre Fähigkeiten jedoch bei visuellen und offenen Aufgaben nachlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Large Language Models (LLMs) seien wie brillante Schüler, die fast jedes Buch der Weltbibliothek gelesen haben. Seit Jahren testen wir ihre mathematischen Fähigkeiten mit Prüfungen, die ausschließlich auf Englisch verfasst sind. Das ist, als würde man einem Schüler einen Fahrtest nur auf Englisch geben und dann annehmen, er könne in jeder Sprache perfekt fahren, nur weil er diesen einen Test bestanden hat.
Die Arbeit MATH-PT argumentiert, dass dieser Ansatz einen riesigen Blindflecken aufweist. Sie führt einen neuen „Fahrtest" ein, der speziell in Portugiesisch (sowohl der europäischen als auch der brasilianischen Variante) verfasst wurde, um zu prüfen, ob diese KI-Schüler Mathematik tatsächlich bewältigen können, wenn sich die Sprache ändert.
Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:
1. Das Problem: Die „nur englische" Bibliothek
Die meisten mathematischen Benchmarks (wie MATH oder MathVista) sind wie eine Bibliothek, in der jedes Buch auf Englisch verfasst ist. Selbst wenn Forscher versuchen, andere Sprachen zu testen, übersetzen sie lediglich die englischen Bücher. Die Autoren sagen, dies sei unfair, da es uns nicht verrät, ob die KI mathematische Konzepte wirklich versteht oder nur englische Muster auswendig gelernt hat. Sie wollten eine Bibliothek mit mathematischen Aufgaben aufbauen, die in Portugiesisch geboren wurden, entnommen aus echten portugiesischen und brasilianischen Mathematik-Olympiaden und Schulprüfungen.
2. Der neue Test: MATH-PT
Das Team erstellte einen Datensatz namens MATH-PT mit 1.729 Aufgaben.
- Die Quelle: Sie übersetzten nicht einfach; sie gruben in den Originalarchiven von Wettbewerben wie den Olimpíadas Portuguesas da Matemática und Brasiliens OBMEP.
- Die Vielfalt: Der Test deckt alles ab, von Rätseln der 5. Klasse bis hin zu Herausforderungen vor dem Universitätsstudium.
- Das Format: Er umfasst Multiple-Choice-Fragen (wie ein Antwortbogen) und offene Fragen (bei denen man die Antwort von Grund auf schreiben muss). Entscheidend ist, dass viele Fragen Diagramme und Abbildungen (wie geometrische Formen) enthalten, die das Team sorgfältig mithilfe von Code bewahrte, damit die KI sie „sehen" konnte.
3. Die Ergebnisse: Der „Kluge" vs. Der „Kämpfende"
Sie testeten 13 verschiedene KI-Modelle, von den leistungsstärksten „Frontier"-Modellen (die Super-Genies) bis hin zu kleineren, Open-Source-Modellen (die Durchschnittsschüler).
- Der Multiple-Choice-Vorteil: Denken Sie an Multiple-Choice-Fragen als ein Spiel „Finde den Unterschied". Die KI-Modelle waren darin sehr gut. Selbst die kleineren Modelle konnten oft den richtigen Buchstaben (A, B, C, D oder E) erraten.
- Der Kampf bei offenen Fragen: Als der Test zu offenen Fragen wechselte (bei denen die KI die Antwort selbst generieren muss), sanken die Punktzahlen erheblich. Es ist der Unterschied zwischen dem Erkennen eines Gesichts in einer Reihe und dem Zeichnen dieses Gesichts aus dem Gedächtnis. Die KI hatte größere Schwierigkeiten, wenn sie die Antwort selbst „denken" und schreiben musste, anstatt nur eine auszuwählen.
- Das „Bild"-Problem: Dies war die größte Hürde. Wenn eine Frage ein Diagramm (ein Bild) enthielt, stürzte die Leistung der KI drastisch ab. Selbst die klügsten Modelle gerieten in Verwirrung, wenn sie eine visuelle Form neben dem Text interpretieren mussten. Es ist, als würde man einen Schüler bitten, ein Geometrie-Problem zu lösen, während er eine Augenbinde trägt; er kann die Wörter lesen, aber er kann die Form nicht „sehen".
4. Die Gewinner und Verlierer
- Die Champions: Die „Frontier"-Modelle (wie GPT-5 und Qwen3-235B) waren die klaren Gewinner. Sie bewältigten die portugiesische Mathematik gut, insbesondere die Multiple-Choice-Fragen.
- Die Kämpfenden: Die kleineren, Open-Source-Modelle (wie Llama-3 und Gemma-3) fanden die Mathematik viel schwieriger. Ihre Genauigkeit sank drastisch, sobald die Fragen schwieriger wurden oder Bilder enthielten.
- Der Skalierungseffekt: Die Arbeit ergab, dass für die Qwen-Familie von Modellen das Vergrößern des Modells (Hinzufügen von mehr „Gehirnkraft") sehr half. Es ist wie der Wechsel vom Fahrrad zum Sportwagen; die größeren Modelle bewältigten komplexe Schlussfolgerungsaufgaben viel besser als die kleineren.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass KI zwar sehr gut in Mathematik wird, aber immer noch eine „Sprachverzerrung" aufweist und Schwierigkeiten hat, wenn der Test schwieriger (offen) oder visuell (Diagramme) wird. Durch die Veröffentlichung dieses portugiesischen Datensatzes übergeben die Autoren den Forschern ein neues, faires Lineal, um zu messen, wie gut KI tatsächlich in Sprachen außer Englisch denken kann. Sie sagen nicht, dass KI bereits perfekt ist; sie sagen: „Hier ist ein neuer Test, der uns genau zeigt, wo die KI noch lernt."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.