GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models
Dieses Paper stellt GSM-Plus-BN vor, einen neuartigen, auf Perturbationen basierenden Benchmark für mathematisches Denken in bengalischer Sprache, der aus dem englischen GSM-Plus-Datensatz abgeleitet wurde, um die Robustheit und die Fähigkeiten zum logischen Schlussfolgern von sechs großen Sprachmodellen zu bewerten und gleichzeitig die signifikanten Leistungsunterschiede und Herausforderungen hervorzuheben, die in Kontexten mit ressourcenarmen Sprachen inhärent sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, mathematische Probleme zu lösen. Sie würden ihn nicht einfach nur fragen, um zu berechnen; Sie wollten wissen, ob er wirklich versteht, warum die Antwort 4 ist, oder ob er nur auswendig gelernt hat, dass "2 plus 2" immer 4 ergibt. Dies ist die große Frage in der Welt der Künstlichen Intelligenz: "Denken" Large Language Models (LLMs) – die superintelligenten Computergehirne hinter Chatbots – wirklich, oder sind sie nur sehr gut darin, das nächste Wort in einem Satz zu erraten?
Um das herauszufinden, testen Wissenschaftler diese Roboter mit mathematischen Textaufgaben. Aber hier ist der Haken: Wenn man einem Roboter exakt dieselbe Frage tausend Mal stellt, könnte er die Antwort einfach nur auswendig lernen. Um zu sehen, ob er wirklich klug ist, muss man ihn austricksen. Man ändert die Zahlen, tauscht die Wörter aus oder fügt verwirrende Zusatzdetails hinzu, um zu sehen, ob der Roboter immer noch die richtige Antwort findet. Das nennt man "Perturbation" (Störung). Es ist so, als würde man einem Schüler fragen: "Wenn ich 3 Äpfel habe und 1 esse, wie viele sind übrig?" und dann, eine Sekunde später, fragen: "Wenn ich 3-300 Äpfel habe und 100 esse, wie viele sind übrig?" Ein kluger Schüler weiß, dass die Mathematik dieselbe ist; ein Roboter, der nur die erste Antwort auswendig gelernt hat, könnte verwirrt sein.
Stellen Sie sich nun vor, man führt all diese Tests nicht auf Englisch durch, der Sprache, in der die meisten Roboter trainiert wurden, sondern auf Bengali, einer Sprache, die von über 230 Millionen Menschen gesprochen wird. Bis jetzt gab es fast keine Möglichkeit, zu testen, ob diese KI-Gehirne mit mathematischen Tricks in Bengali umgehen können. Dieses Paper tritt an, um diese riesige Lücke zu schließen, mit der Frage: Können diese KI-Modelle wirklich in Bengali schlussfolgern, oder geraten sie ins Straucheln, wenn sich die Wörter ändern?
Die Forscher hinter dieser Studie, ein Team von Universitäten aus Bangladesch, beschlossen, einen riesigen, tückischen Spielplatz für KI namens GSM-PLUS-BN zu bauen. Denken Sie an einen "Mathematik-Hindernisparcours", der speziell für die bengalische Sprache entwickelt wurde. Sie begannen mit einem Satz von 1.000 Standard-Mathematikaufgaben (den "Seed"-Fragen) und nutzten dann ein cleveres Rezept, um 8.000 neue, schwierigere Versionen davon zu erstellen.
Wie haben sie diese Tricks erstellt? Sie verwendeten acht verschiedene Arten von "Verzerrungen", wie ein Magier, der eine Karte in einem Deck austauscht:
- Ändern der Zahlen: Eine "3" durch eine "4" ersetzen oder eine kleine Zahl in eine riesige verwandeln (wie 2 in 2.000).
- Ändern der Mathematik: Einen neuen Schritt zum Problem hinzufügen oder die Frage umdrehen (anstatt zu fragen "Was ist die Summe?", zu fragen "Wenn die Summe X ist, was war die Ausgangszahl?").
- Ändern der Wörter: Den Satz so umschreiben, dass er dasselbe bedeutet, aber völlig anders klingt.
- Das "Red Herring" (Ablenkungsmanöver): Einen Satz hinzufügen, der wichtig klingt, aber eigentlich nutzlos ist, wie die Erwähnung des Preises eines Hemdes, wenn es nur darum geht, wie viele Hemden man benötigt.
- Das "Fehlende Teil": Eine entscheidende Information entfernen, um zu sehen, ob der Roboter zugibt, dass er die Antwort nicht weiß, oder ob er einfach rät.
Sie testeten sechs verschiedene KI-Modelle auf diesem Parcours. Einige waren klein und schnell (wie ein intelligenter Taschenrechner), andere waren massiv und komplex (wie ein Supercomputer-Gehirn). Sie baten die Roboter, die Aufgaben auf zwei Arten zu lösen: erstens, indem sie nur eine direkte Antwort geben, und zweitens, indem sie "Schritt für Schritt denken" (eine Technik namens Chain-of-Thought, bei der der Roboter seinen Rechenweg zeigen muss).
Was haben sie herausgefunden?
Die Ergebnisse waren eine Mischung aus "Wow!" und "Oje!".
Zuerst bewirkte der Trick des "Schritt-für-Schritt-Denkens" Wunder für einige Roboter, wirkte sich aber bei anderen negativ aus. Das Modell Qwen3-32B war wie ein Schüler, der furchtbar in Mathe war, bis der Lehrer sagte: "Zeig deinen Rechenweg!" Plötzlich sprang seine Punktzahl von einem erbärmlichen Wert von 13,98 % auf solide 76,25 %. Es scheint, dass dieses Modell das Potenzial hatte, klug zu sein, aber es brauchte einen kleinen Anstoß, um es freizusetzen.
Die größten Roboter bekamen jedoch nicht immer die größten Steigerungen. Das GPT-OSS-20B (ein Modell mit 20 Milliarden Parametern) war tatsächlich am besten darin, die Standardfragen ohne zusätzliche Hilfe zu lösen, wobei es 96,08 % richtig bekam. Aber als es gezwungen wurde, "Schritt für Schritt zu denken", wurde es sogar etwas schlechter und sank auf 87,80 %. Unterdessen verzeichnete der massive GPT-OSS-120B-Riese mit einem starken Start von 88,03 % bei den Standardfragen ebenfalls einen leichten Rückgang, als er gebeten wurde, seinen Rechenweg zu zeigen. Es scheint, dass diese Giganten so gut darin waren, die Antwort direkt zu erraten, dass die zusätzlichen Anweisungen sie manchmal verwirrten.
Die überraschendste Entdeckung war, wie schwer sich die Roboter an den "Kritisches Denken"-Fallen abarbeiteten. Als die Forscher eine Schlüsselinformation entfernten und fragten: "Kannst du das lösen?", versagten fast alle Modelle kläglich. Selbst die besten erreichten nur etwa 33 %. Dies deutet darauf hin, dass diese KI-Modelle zwar gut darin sind, Mustern zu folgen, aber immer noch Schwierigkeiten haben zu erkennen, wenn ein Problem unlösbar ist. Sie neigen dazu, trotzdem zu raten, anstatt zu sagen: "Ich habe nicht genügend Informationen."
Eine weitere große Erkenntnis war, dass Mathematik für KI immer noch schwierig ist, egal in welcher Sprache. Selbst die besten Modelle hatten Schwierigkeiten mit Problemen, die erforderten, wie Zahlen zu schreiben (wie das Umwandeln von ganzen Zahlen in Brüche) oder zusätzliche mathematische Schritte hinzuzufügen. Das Paper legt nahe, dass diese Modelle sich zu sehr auf das Erkennen von Mustern im Text verlassen, anstatt die eigentliche Mathematik in ihrem "Kopf" zu betreiben.
Schließlich fanden die Team heraus, dass die KI-Modelle in Bengali viel zerbrechlicher sind, als sie es in Englisch sind. Wenn die Fragen leicht verändert wurden, sanken die Punktzahlen der Roboter signifikant. Dies zeigt uns, dass KI zwar klüger wird, aber noch einen weiten Weg vor sich hat, bevor sie wirklich Mathematik in Sprachen wie Bengali so "verstehen" kann wie ein Mensch.
Kurz gesagt: Dieses Paper hat nicht nur einen neuen Test gebaut; es hat uns gezeigt, dass KI zwar überraschend gut in Mathe sein kann, aber immer noch leicht durch Tricks verwirrt wird, besonders in Sprachen, die sie nicht so gut beherrscht wie Englisch. Der "Schritt-für-Schritt-Denken"-Trick hilft einigen, ist aber kein magischer Zauberstab, der alles behebt. Die Roboter werden besser, aber sie sind noch nicht bereit, die ultimativen Mathe-Genies zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.