Measuring Representation Robustness in Large Language Models for Geometry
Die Studie „GeoRepEval" zeigt, dass die Leistung von großen Sprachmodellen bei geometrischen Aufgaben stark von der Darstellungsform abhängt, wobei insbesondere Vektorformulierungen zu erheblichen Einbußen führen und die Modelle eher auf representationspezifische Heuristiken als auf abstraktes geometrisches Denken angewiesen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas verwirrten Schüler. Wenn Sie ihm eine Matheaufgabe auf Deutsch stellen, löst er sie perfekt. Wenn Sie dieselbe Aufgabe aber auf Französisch stellen, stolpert er über die Wörter und macht Fehler. Und wenn Sie sie ihm auf Spanisch geben, gibt er komplett falsche Antworten, obwohl die Mathematik dahinter exakt dieselbe ist.
Genau das ist die Geschichte dieser Forschungsarbeit. Die Autoren untersuchen große Sprachmodelle (KI-Systeme wie ChatGPT oder Gemini) und fragen sich: Verstehen diese KIs wirklich Mathematik, oder merken sie sich nur, wie Aufgaben auf eine bestimmte Art aussehen?
Hier ist die Erklärung der Studie „GeoRepEval" in einfachen Worten:
1. Das Problem: Die „Verkleidungs"-Falle
In der Geometrie kann man dasselbe Problem auf drei völlig unterschiedliche Arten beschreiben:
- Euclidisch (Die klassische Art): „Ein Dreieck hat eine Seite von 5 cm und eine Höhe von 12 cm..." (Wie in einem Schulbuch).
- Koordinaten (Die Graphik-Art): „Der Punkt A liegt bei (0,0), Punkt B bei (5,0)..." (Wie auf einem Koordinatensystem).
- Vektor (Die Ingenieurs-Art): „Berechnen Sie das Kreuzprodukt der Vektoren AB und AC..." (Sehr abstrakt und mit vielen Pfeilen und Formeln).
Die KI sollte eigentlich egal sein, welche Form sie bekommt. Die Mathematik ist ja identisch. Aber die Studie zeigt: Die KI ist nicht egal. Sie ist wie ein Schauspieler, der nur eine Rolle beherrscht. Wenn man ihm die Maske wechselt, verliert er die Fassung.
2. Der Test: GeoRepEval
Die Forscher haben 158 klassische Schulgeometrie-Aufgaben aus indischen Lehrbüchern genommen. Jede dieser 158 Aufgaben wurde dann in die drei oben genannten Formen „verkleidet". Das ergab 474 verschiedene Versionen derselben Probleme.
Sie gaben diese Aufgaben dann an 11 verschiedene KI-Modelle (von kleinen, billigen Modellen bis zu den allerstärksten Super-KIs) und schauten genau hin:
- Löst die KI die Aufgabe in Form A?
- Löst sie dieselbe Aufgabe in Form B?
- Löst sie sie in Form C?
3. Die schockierenden Ergebnisse
Die Ergebnisse waren eindeutig und etwas enttäuschend für die KI-Hype-Welt:
- Der „Vektor"-Fluch: Die KIs waren am besten in der klassischen Form (Euclidisch). Aber sobald die Aufgabe als „Vektor"-Problem formuliert wurde, brach die Leistung dramatisch ein. Bei manchen Modellen sank die Erfolgsrate um bis zu 14 Prozentpunkte.
- Die fragile Robustheit: Ein Maß namens „Invariance@3" (Wie oft löst die KI alle drei Versionen richtig?) war bei fast allen Modellen katastrophal niedrig. Das Modell „LLaMA 3.1" löste zum Beispiel weniger als 5 % der Aufgaben in allen drei Formen korrekt. Das bedeutet: Wenn die KI die Aufgabe einmal richtig löst, ist es oft reines Glück, dass sie sie beim nächsten Mal (in anderer Form) auch schafft.
- Größe zählt nicht alles: Selbst die allerstärksten Modelle (wie GPT-5 oder Claude) zeigten diese Schwäche. Sie waren nur etwas besser, aber das Grundproblem blieb bestehen.
4. Warum passiert das? (Die Analogie)
Stellen Sie sich vor, die KI lernt Mathe nicht durch echtes Verständnis, sondern durch Mustererkennung.
- Wenn sie eine Aufgabe sieht, die wie ein „Dreieck" aussieht, greift sie auf einen gespeicherten „Dreieck-Algorithmus" zurück.
- Wenn die Aufgabe aber wie ein „Vektor" aussieht, sucht sie nach einem „Vektor-Algorithmus".
- Das Problem ist: Die KIs haben in ihren Trainingsdaten (dem Internet und Büchern) viel mehr klassische Dreiecksaufgaben gesehen als Vektor-Aufgaben. Sie haben also die „Vektor-Muster" nicht gut gelernt.
Es ist, als würde ein Koch, der nur Pizza kochen kann, versuchen, ein Sushi zu machen, nur weil man ihm sagt: „Mach das gleiche Essen, aber nimm den Fisch statt den Teig." Er wird scheitern, nicht weil er nicht kochen kann, sondern weil er nur eine Art von Kochen gelernt hat.
5. Der Rettungsweg: „Zuerst umwandeln, dann lösen"
Die Forscher haben einen cleveren Trick ausprobiert. Sie sagten den KIs: „Bevor du die Vektor-Aufgabe löst, schreibe sie erst einmal in die klassische Form um."
- Das Ergebnis: Bei den starken Modellen explodierte die Erfolgsrate sofort! Sie konnten die Vektor-Aufgaben plötzlich fast perfekt lösen, sobald sie sie erst in die „bekannte Sprache" übersetzt hatten.
- Die Lehre: Das beweist, dass die KIs das mathematische Verständnis haben, aber sie sind zu faul oder zu verwirrt, um es direkt in der schwierigen Form anzuwenden. Sie brauchen eine Brücke.
- Die Ausnahme: Bei den schwachen, kleinen Modeln half dieser Trick nichts. Sie konnten die Aufgabe nicht einmal nach dem Umwandeln lösen. Hier fehlt echtes Verständnis.
Fazit für den Alltag
Diese Studie ist eine wichtige Warnung. Wir dürfen nicht einfach davon ausgehen, dass eine KI „smart" ist, nur weil sie eine Matheaufgabe auf Deutsch löst. Wenn wir sie in einer anderen Sprache (oder Form) fragen, kann sie völlig versagen.
Für die Zukunft bedeutet das: Wir müssen KI-Systeme nicht nur auf ihre Intelligenz testen, sondern darauf, ob sie robust sind – also ob sie das Wesentliche verstehen, egal wie man es ihnen vorstellt. Sonst bauen wir Systeme, die auf einer einzigen Art von Frage funktionieren, aber im echten Leben, wo Probleme immer anders formuliert werden, versagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.