M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models
Dieses Paper stellt M3Kang vor, den ersten massiv multilingualen, multimodalen Datensatz für mathematisches Schließen, der aus dem Kangaroo Math Competition abgeleitet wurde, welcher hochmoderne Vision-Language-Modelle im Vergleich zur menschlichen Leistung benchmarkt und deren aktuelle Einschränkungen in grundlegender Mathematik und diagrammbasiertem Denken über 108 Sprachen hinweg aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen riesigen, weltweiten Mathematikwettbewerb vor, den „Kangaroo Math Competition“. Jedes Jahr nehmen über sechs Millionen Kinder unter 18 Jahren aus mehr als 90 Ländern teil. Sie lösen knifflige mathematische Rätsel, von denen einige nur aus Worten bestehen, aber viele erfordern das Betrachten von Diagrammen, Formen und Bildern, um die Antwort zu finden.
Stellen Sie sich nun vor, ein Forscherteam von Qualcomm AI Research hätte beschlossen, diesen Wettbewerb in einen massiven Test für Künstliche Intelligenz zu verwandeln. Sie entwickelten ein neues Werkzeug namens M3Kang. Stellen Sie sich M3Kang wie einen „universellen Übersetzer und Mathematiklehrer“ in Form eines Datensatzes vor.
Hier ist die einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben:
1. Das große Projekt: Den ultimativen Mathematiktest bauen
Die Forscher nahmen die ursprünglichen Mathematikaufgaben (die größtenteils auf Katalanisch und Englisch waren) und übersetzten sie in 108 verschiedene Sprachen.
- Die Größenordnung: Sie haben nicht nur die Wörter übersetzt; sie haben die Bilder und Diagramme an den Fragen beibehalten. Dies führte zu über 111.000 einzigartigen mathematischen Problemen.
- Das Ziel: Sie wollten sehen, ob KI-Modelle (die „Gehirne“ hinter Chatbots und Bildgeneratoren) in der Lage sind, mathematische Probleme in anderen Sprachen als Englisch zu lösen, und ob sie tatsächlich Diagramme „sehen“ und verstehen können, anstatt nur den Text zu lesen.
2. Wie sie es aufgebaut haben (Das Fließband)
Einen Datensatz dieser Größe zu erstellen, ist wie den Bau eines Fabrik-Fließbands.
- Schritt 1: Sie nahmen die ursprünglichen PDFs des Mathematikwettbewerbs und wandelten sie in saubere Bilder mit Text um.
- Schritt 2: Sie nutzten KI, um die Fragen zuerst ins Englische zu übersetzen, wobei sie doppelt prüften, ob die Übersetzung die mathematische Logik beeinträchtigte.
- Schritt 3: Sie nutzten einen cleveren „Rückübersetzungs“-Trick, um die anderen 108 Sprachen zu überprüfen. Stellen Sie sich vor, man übersetzt einen Satz von Spanisch nach Englisch und übersetzt ihn dann sofort wieder zurück ins Spanische. Wenn das Ergebnis vom Original abweicht, ist die Übersetzung schlecht. Sie nutzten diese Methode, um schlechte Übersetzungen automatisch herauszufiltern.
3. Die Ergebnisse: Wie hat die KI abgeschnitten?
Sie testeten die klügsten verfügbaren KI-Modelle (sowohl kostenlose/Open-Source- als auch teure/geschlossene Modelle) gegen diesen neuen Test. Hier sind ihre Entdeckungen:
- Der „Englisch-Vorteil“ ist real: Genau wie ein Schüler, der nur auf Englisch lernt, in einem französischen Klassenzimmer Schwierigkeiten haben könnte, waren die KI-Modelle bei mathematischen Problemen auf Englisch viel besser. Wenn die Sprache im Internet seltener vorkam (wie Swahili oder Maltesisch), sank die Leistung der KI signifikant. Es ist, als hätte die KI vergessen, wie man rechnet, wenn sich die Sprache ändert.
- Größe spielt eine Rolle (aber nicht für alles): Größere KI-Modelle schnitten im Allgemeinen besser ab. Doch selbst die größten, klügsten Modelle hatten mit grundlegender Logik und Diagrammen zu kämpfen.
- Das „Blindheits“-Problem: Dies war die überraschendste Erkenntung. Wenn Menschen den Test machen, finden sie die Aufgaben mit Bildern tatsächlich einfacher als die Aufgaben mit reinem Text. Aber für die KI ist es genau umgekehrt! Die KI-Modelle wurden signifikant schlechter, wenn ein Bild im Spiel war. Es ist, als würde ein Schüler, der gut darin ist, eine Textaufgabe zu lesen, einfrieren, sobald er eine Grafik betrachten muss. Die KI scheint Schwierigkeiten zu haben, die Verbindung zwischen dem Text und dem Bild herzzustellen.
- KI vs. Menschen: Sie verglichen die KI-Ergebnisse mit den echten Ergebnissen von 68.000 Schülern.
- Die beste KI (Gemini-2.5-Pro) verhielt sich wie ein erstklassiger Schüler auf Englisch, aber ihre Leistung sank in ressourcenarmen Sprachen auf „durchschnittlich“ oder „unterdurchschnittlich“.
- Interessanterweise wurde die KI nicht besser, wenn die Mathematik schwieriger wurde, so wie es bei Menschen der Fall ist. Manchmal meisterte die KI die schwierigsten Aufgaben, scheiterte aber an den einfachsten, was darauf hindeutet, dass sie „rät“ oder eine andere Art des Denkens nutzt als ein menschliches Kind.
4. Können wir das beheben?
Die Forscher probierten einige „Trainingstricks“ aus, um der KI zu helfen, in anderen Sprachen besser zu sprechen.
- Der „Übersetzer“-Trick: Sie fanden heraus, dass die KI viel besser darin wurde, Probleme in anderen Sprachen zu lösen, wenn man ihr sagte: „Übersetze diese Frage zuerst im Kopf ins Englische, löse sie und gib dann die Antwort.“ Es ist, als würde man einem Schüler kurz vor der Prüfung ein Wörterbuch in die Hand drücken.
- Der „Steuerungs“-Trick: Sie versuchten, den internen Denkprozess der KI so zu beeinflen, dass er „englisch-ähnlicher“ wurde, selbst wenn sie in anderen Sprachen sprach. Dies half ein wenig, aber der „Übersetzer“-Trick war der Gewinner.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI zwar unglaublich klug wird, aber immer noch eine große Schwachstelle hat: Sie hat Schwierigkeiten, Lesen, Sehen und Denken über verschiedene Sprachen hinweg zu kombinieren.
Die Forscher haben all ihre Daten und Codes öffentlich zugänglich gemacht (Open-Source), damit andere Wissenschaftler diesen „Kangaroo-Test“ nutzen können, um bessere, inklusivere KIs zu bauen, die nicht nur Englisch sprechen, sondern tatsächlich in jeder Sprache rechnen können – mit oder ohne Bild. Sie hoffen, dass dies dazu beiträgt, eine KI zu schaffen, die wirklich global und fair für alle ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.