MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation
Dieser Beitrag stellt MGSM-Pro vor, eine mehrsprachige Erweiterung des GSM-Symbolic-Benchmarks, die die Robustheit mathematischen Schlussfolgerns über neun Sprachen hinweg bewertet, indem sie mehrere Instanzen mit variierenden Ziffern generiert, und dabei signifikante Leistungseinbußen bei ressourcenarmen Sprachen sowie unterschiedliche Resilienz der Modelle gegenüber solchen Störungen aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Lehrer, der einem Klassenraum mit Schülern aus verschiedenen Ländern einen Mathe-Test gibt. Sie möchten herausfinden, wer wirklich gut in Mathe ist und wer nur die Antworten aus einem Übungsbuch auswendig gelernt hat.
Dieser Artikel stellt eine neue, härtere Methode vor, um Large Language Models (KI) bei Matheproblemen zu testen, die MGSM-Pro genannt wird. Hier ist die Geschichte dessen, was sie herausfanden, einfach erklärt.
Das Problem: Die Falle des „Übungsbuchs"
Seit langem werden KI-Modelle besser darin, mathematische Textaufgaben zu lösen. Doch Forscher stellten etwas Verdächtiges fest: Die KI denkt möglicherweise gar nicht wirklich über die Mathematik nach. Stattdessen könnte sie sich spezifische Details aus den Testfragen merken, die sie während des Trainings gesehen hat.
Stellen Sie sich einen Schüler vor, der die Antwort auf eine bestimmte Textaufgabe auswendig gelernt hat: „Wenn John 5 Äpfel hat und 3 weitere kauft..." Der Schüler weiß, dass die Antwort 8 ist. Aber wenn Sie die Frage ändern in „Wenn Sarah 5 Orangen hat und 3 weitere kauft...", könnte der Schüler, der nur die erste Aufgabe auswendig gelernt hat, verwirrt sein.
Kürzlich stellten Forscher fest, dass selbst im Englischen, wenn Sie Namen oder Zahlen in einer Matheaufgabe leicht ändern, viele KI-Modelle versagen. Sie erkannten, dass die alten Tests zu einfach waren, weil sie nicht prüften, ob die KI mit diesen kleinen Änderungen umgehen konnte.
Die Lösung: MGSM-Pro (Der „Shuffle"-Test)
Die Autoren erstellten einen neuen Datensatz namens MGSM-Pro. Sie nahmen 250 Matheprobleme und verwandelten sie in 1.240 Probleme (5 Versionen jedes Problems).
Sie taten dies, indem sie das Deck mischten:
- Namen ändern: „John" durch „Zainabu" oder „Carla" ersetzen.
- Zahlen ändern: „5 Äpfel" durch „7 Äpfel" ersetzen.
- Ablenkungen hinzufügen: Einen Satz hinzufügen, der wichtig klingt, aber tatsächlich Unsinn ist (wie „Der Himmel ist blau, also kaufte John 5 Äpfel").
Sie taten dies in neun verschiedenen Sprachen, von weit verbreiteten Sprachen wie Englisch und Chinesisch bis hin zu Sprachen mit weniger digitalen Ressourcen wie Swahili, Yoruba und Igbo.
Die große Entdeckung: Der Kampf der „Low-Resource"-Sprachen
Als sie die Tests durchführten, stellten sie eine massive Lücke zwischen „High-Resource"-Sprachen (wie Englisch) und „Low-Resource"-Sprachen (wie Twi oder Igbo) fest.
- Die High-Resource-Schüler: Wenn Sie Namen oder Zahlen im Englischen oder Chinesischen änderten, sanken die KI-Modelle zwar etwas in der Punktzahl, blieben aber größtenteils auf Kurs. Sie waren wie ein Schüler, der das mathematische Konzept tatsächlich verstanden hatte.
- Die Low-Resource-Schüler: Als sie dasselbe Mischen für Sprachen wie Twi oder Igbo durchführten, brachen die KI-Modelle zusammen. Ihre Punktzahlen stürzten ab. Es war, als hätte der Schüler plötzlich vergessen, wie man zählt, weil der Lehrer einen anderen Namen für die Frucht verwendete.
Die Analogie: Stellen Sie sich einen Schüler vor, der im Englischen großartig in Mathe ist, aber in seiner Muttersprache schrecklich. Wenn der Lehrer eine Frage mit einer Wendung auf Englisch stellt, löst der Schüler sie. Aber wenn der Lehrer die exakt gleiche gewendete Frage in der Muttersprache des Schülers stellt, friert der Schüler ein. Der Artikel fand heraus, dass KI-Modelle dasselbe tun: Sie sind in Sprachen, für die sie weniger Daten gesehen haben, viel weniger „robust" (zuverlässig).
Wer bestanden und wer hat durchgefallen?
Der Artikel testete viele verschiedene KI-Modelle (einige von großen Technologieunternehmen, einige Open-Source).
- Die Robusten: Neuere, intelligentere Modelle wie Gemini 3.0 Pro und GPT-OSS 120B kamen mit den Änderungen gut zurecht. Sie gerieten nicht in Panik, wenn sich Zahlen oder Namen änderten.
- Die Zerbrechlichen: Ältere Modelle oder kleinere Modelle (wie Gemma 3 4B oder Llama 3) fielen auseinander. Sie konnten die „Wendung" nicht bewältigen.
- Der Größen-Mythos: Man könnte denken, ein größeres Gehirn (mehr Parameter) bedeutet immer einen intelligenteren Schüler. Der Artikel stellte fest, dass dies nicht wahr ist. Manchmal versagte ein riesiges Modell kläglich, während ein etwas kleineres erfolgreich war. Es geht nicht nur um die Größe; es geht darum, wie das Modell trainiert wurde.
Die Lehre: Testen Sie nicht nur einmal
Das wichtigste Ergebnis betrifft, wie wir KI in Zukunft testen sollten.
Derzeit testen viele Leaderboards (Ranglisten der besten KI) ein Modell nur mit einer Version eines Problems. Die Autoren sagen, dies sei wie einem Schüler eine einzelne Übungsaufgabe zu geben und ihn zum Genie zu erklären, wenn er sie richtig löst.
Ihre Empfehlung: Um wirklich zu wissen, ob eine KI gut in Mathe ist, müssen Sie sie an mindestens fünf verschiedenen Versionen desselben Problems testen (Namen und Zahlen ändern). Wenn die KI alle fünf richtig hat, dann ist sie wirklich intelligent. Wenn sie nur die erste richtig hat, merkt sie sich nur auswendig.
Zusammenfassung
Der Artikel argumentiert, dass wir aufhören müssen, KI so zu behandeln, als wäre sie perfekt, nur weil sie die leichten Tests besteht. Durch das Mischen von Namen und Zahlen in Matheproblemen über verschiedene Sprachen hinweg zeigten sie, dass:
- KI in Sprachen mit weniger digitalen Daten viel schwächer ist.
- Viele aktuelle Ranglisten irreführend sind, weil sie nicht auf dieses „Mischen" testen.
- Um ein echtes Bild der Mathefähigkeiten einer KI zu erhalten, müssen wir sie an mehreren Variationen desselben Problems testen, nicht nur an einem.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.