The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors

Die Studie zeigt, dass Vision-Language-Modelle auf dem DrawEduMath-Datensatz bei der Analyse von Schülerfehlern und der Unterstützung lernschwacher Schüler signifikant versagen, was auf die Notwendigkeit alternativer Entwicklungsansätze für den pädagogischen Einsatz hinweist.

Das Wesentliche

🎨 Wenn KI-Mathematiklehrer an den Schülern scheitern, die Hilfe brauchen

Stellen Sie sich vor, Sie haben einen super-intelligenten Roboter-Tutor, der von den besten Ingenieuren der Welt gebaut wurde. Dieser Roboter ist ein Genie darin, Matheaufgaben zu lösen. Er kann komplexe Formeln im Schlaf berechnen und sieht sich gerne Bilder an.

Aber was passiert, wenn dieser Roboter nicht nur die richtigen Antworten prüft, sondern auch die Fehler von echten Schülern korrigieren soll? Genau das haben die Forscher in dieser Studie untersucht.

Das Ergebnis ist überraschend und etwas beunruhigend: Der Roboter ist ein Meister für die Guten, aber ein schlechter Lehrer für die, die Hilfe brauchen.

Hier ist die Geschichte, wie sie sich im Detail abspielt:

1. Das Labor: Ein riesiger Korb mit echten Schulheften

Die Forscher haben einen riesigen Korb voller echter Schülerarbeiten gesammelt (über 2.000 Bilder). Diese Bilder zeigen, wie Kinder Matheaufgaben auf Papier oder am Tablet gelöst haben. Manche Lösungen sind perfekt, andere sind voller Fehler – genau wie im echten Leben.
Sie haben 11 der modernsten „Augen-und-Ohren-KIs" (Vision-Language-Modelle) vor diesen Korb gestellt und sie gefragt: „Was hat der Schüler hier gemacht? Hat er einen Fehler gemacht?"

2. Die große Entdeckung: Der „Fehler-Blindheit"-Effekt

Die KI-Modelle haben sich wie folgt verhalten:

• Bei perfekten Lösungen: Der Roboter war brillant. Er sah sofort: „Ah, der Schüler hat 5 + 5 = 10 geschrieben. Perfekt!"
• Bei fehlerhaften Lösungen: Der Roboter wurde verwirrt oder gab falsche Antworten. Wenn ein Schüler einen Fehler gemacht hatte, beschrieb die KI oft so, als wäre alles in Ordnung, oder sie verstand die Situation völlig falsch.

Die Analogie: Stellen Sie sich vor, Sie geben einem Arzt ein Röntgenbild. Wenn das Bild gesund ist, sagt er: „Alles super!" Aber wenn das Bild einen gebrochenen Knochen zeigt, sagt er plötzlich: „Das sieht aus wie ein gesunder Knochen, nur etwas schief."
Das ist das Problem: Die KIs sind darauf trainiert, perfekte Mathematik zu erkennen, nicht fehlerhafte Mathematik. Sie erwarten, dass die Welt immer „richtig" ist.

3. Warum passiert das? (Die drei Hauptgründe)

Die Forscher haben herausgefunden, warum der Roboter so versagt:

• Grund 1: Es liegt nicht am „schmutzigen" Papier.
  Man könnte denken: „Vielleicht sind die Bilder von Schülern mit Fehlern einfach unleserlicher (verwischte Tinte, schiefes Gekritzel)."
  Die Lösung: Die Forscher haben die Bilder neu gezeichnet, sodass alles sauber und digital aussah.
  Das Ergebnis: Auch bei den perfekten, sauberen Bildern versagte die KI immer noch bei den fehlerhaften Lösungen. Das Problem liegt also nicht am Papier, sondern im Gehirn der KI.

• Grund 2: Der Roboter träumt von Perfektion.
  Die KIs wurden mit Millionen von richtigen Matheaufgaben trainiert. Sie haben gelernt, wie eine ideale Lösung aussieht.
  Die Analogie: Stellen Sie sich vor, Sie haben nur Fotos von perfekten Kuchen gesehen. Wenn Sie dann ein Foto eines verbrannten Kuchens bekommen, denken Sie vielleicht: „Das ist ein Kuchen, nur die Farbe ist komisch", statt zu erkennen: „Oh, das ist ein verbrannter Kuchen."
  Die KI versucht oft, die Antwort des Schülers so zu interpretieren, dass sie richtig erscheint, auch wenn sie falsch ist. Sie ignoriert den Fehler, weil er nicht in ihr Trainingsbuch passt.

• Grund 3: Die Fragen sind zu schwer.
  Die KI kann einfache Fragen beantworten („Wie viele Punkte hat der Schüler gemalt?"). Aber wenn die Frage lautet: „Was genau ist falsch an dieser Rechnung?", stolpert sie.
  Selbst wenn man der KI einen Text gibt, der erklärt, was auf dem Bild zu sehen ist, schafft sie es oft nicht, den pädagogischen Wert zu erkennen. Sie bleibt stecken.

4. Die Gefahr für den Unterricht

Warum ist das wichtig?
Wenn Schulen diese KIs einsetzen, um Schülern zu helfen, passiert Folgendes:

• Starke Schüler bekommen tolle Unterstützung.
• Schwache Schüler (die Fehler machen) bekommen entweder gar keine Hilfe oder falsche Rückmeldungen.

Die Metapher: Es ist wie ein Lehrer, der nur den Schülern hilft, die die Antworten schon fast wissen. Die Schüler, die wirklich lernen müssen, werden ignoriert oder bekommen das Gefühl, sie hätten alles richtig gemacht, obwohl sie es nicht haben. Das könnte die Kluft zwischen guten und schlechten Schülern noch größer machen.

5. Was ist die Lösung?

Die Studie sagt uns nicht, dass KI in der Schule verboten werden muss. Aber sie warnt: Wir müssen die KI anders trainieren.

Statt sie nur darauf zu trainieren, Mathe zu lösen, müssen wir sie darauf trainieren, Fehler zu verstehen. Wir brauchen KIs, die lernen können: „Aha, dieser Schüler hat hier den Bruch falsch addiert. Das ist ein typischer Fehler, und ich sollte ihm genau erklären, warum."

Fazit:
Aktuelle KI-Modelle sind wie perfekte Prüfer, aber schlechte Lehrer. Um sie wirklich im Unterricht nutzen zu können, müssen wir ihnen beibringen, dass Fehler nicht nur „schlecht" sind, sondern der wichtigste Teil des Lernprozesses. Ohne diese Änderung könnten wir unbeabsichtigt die Schüler zurücklassen, die am meisten Hilfe brauchen.

Technische Zusammenfassung

1. Problemstellung

Der Einsatz von Vision-Language-Modellen (VLMs) im Bildungsbereich, insbesondere als Tutoren oder zur Analyse von Schülerarbeiten, gewinnt zunehmend an Bedeutung. Ein zentrales Problem besteht jedoch darin, dass die meisten aktuellen Benchmarks und Modelle darauf optimiert sind, mathematische Probleme korrekt zu lösen, anstatt fehlerhafte Schülerantworten zu analysieren.

Die Autoren identifizieren eine kritische Lücke: VLMs müssen nicht nur Mathematik lösen, sondern auch pädagogische Fehler erkennen und darauf reagieren, um Schüler mit Lernschwierigkeiten zu unterstützen. Bisherige Evaluierungen fehlen oft an Transparenz und Realismus, da sie häufig saubere, synthetische Daten verwenden, anstatt echte, handschriftliche Schülerantworten mit natürlichen Rauschquellen (z. B. unleserliche Handschrift, Fehler in der Darstellung).

2. Methodik

Die Studie basiert auf dem DrawEduMath-Benchmark, einem Datensatz mit 2.030 Bildern von handschriftlichen Antworten von K-12-Schülern auf Mathematikaufgaben, die von Lehrkräften annotiert wurden.

• Datenquelle: Die Bilder stammen von der Online-Lernplattform ASSISTments und enthalten sowohl korrekte als auch fehlerhafte Schülerantworten.
• Bewertete Modelle: Es wurden 11 verschiedene VLMs aus dem Jahr 2025 evaluiert (u. a. GPT-4.5/5, Claude Sonnet 3.7–4.5, Gemini 2.0/2.5, Llama 4 Scout).
• Aufgabenstellung: Die Modelle mussten Fragen zu den Schülerantworten beantworten. Diese Fragen wurden in drei Kategorien unterteilt:
  1. Inhaltsbeschreibung (z. B. „Was hat der Schüler geschrieben?").
  2. Richtigkeit & Fehleranalyse (z. B. „Hat der Schüler einen Fehler gemacht?").
  3. Bilderstellung & Medium.
• Auswertungsmetrik: Die Antworten der Modelle wurden mit einem „LLM-Judge" (Ensemble aus Claude Sonnet 4.5, Gemini 2.5 Pro und GPT-4o) verglichen, der die Ähnlichkeit zur Gold-Standard-Antwort (Lehrerantwort) auf einer Skala von 1 bis 4 bewertete.
• Analyseansatz: Die Autoren führten fünf spezifische Analysen durch, um Faktoren zu isolieren, die die Leistung beeinflussen:
  1. Kontrolle für die Schwierigkeit der mathematischen Aufgabe (Regression mit Fixed Effects).
  2. Reduzierung von Bildrauschen durch digitales Nachzeichnen der Schülerantworten.
  3. Untersuchung von „Default-Annahmen" (ob Modelle fehlerfreie Lösungen voraussetzen).
  4. Einfluss von textueller Unterstützung (Gold-Standard-Beschreibungen).
  5. Vergleich von offenen Fragen vs. binären Ja/Nein-Fragen.

3. Wichtige Beiträge

Das Paper liefert einen umfassenden, einjährigen Überblick über die Leistungsfähigkeit moderner VLMs im pädagogischen Kontext und hebt zwei Hauptbefunde hervor:

• F1 (Leistungslücke bei Fehlern): VLMs performen signifikant schlechter bei der Beschreibung von Schülerarbeiten, die mathematische Fehler enthalten, im Vergleich zu fehlerfreien Arbeiten.
• F2 (Schwierigkeit bei Fehlererkennung): Fragen zur Bewertung der Richtigkeit von Schülerantworten sind für alle getesteten Modelle die schwierigste Kategorie, unabhängig vom Modellhersteller.

Zusätzlich bietet das Paper eine tiefgehende Fehleranalyse, die zeigt, dass diese Defizite nicht nur auf Bildrauschen oder Aufgabenschwierigkeit zurückzuführen sind, sondern auf inhärente Schwächen im Verständnis fehlerhafter Inhalte.

4. Ergebnisse

Die Analyse ergab folgende technische Erkenntnisse:

• Persistente Leistungslücke: Selbst wenn die Schwierigkeit der mathematischen Aufgabe kontrolliert wird (Regression), bleibt die Leistungslücke zwischen korrekten und fehlerhaften Antworten signifikant (p < 10⁻¹²).
• Einfluss von Bildrauschen: Das Nachzeichnen der Schülerantworten auf digitalen Canvas (zur Eliminierung von Rauschen) verbesserte die allgemeine Leistung der Modelle, behebt aber nicht die Lücke zwischen korrekten und fehlerhaften Antworten. Dies deutet darauf hin, dass das Problem im semantischen Verständnis des Fehlers liegt, nicht nur in der Bilderkennung.
• Annahme fehlerfreier Lösungen: Modelle neigen dazu, bei fehlerhaften Schülerantworten Antworten zu generieren, die den Gold-Standard-Lösungen für fehlerfreie Antworten entsprechen. Etwa 29–35 % der falschen Modellantworten bei fehlerhaften Eingaben entsprachen den korrekten Lösungen für andere Schüler. Dies legt nahe, dass Modelle während des Trainings stark auf „korrekte" Mathematik optimiert wurden und Schwierigkeiten haben, Abweichungen zu erkennen.
• Textuelle Unterstützung: Die Bereitstellung von Gold-Standard-Beschreibungen (Text) der Schülerarbeit verbesserte die Leistung bei der Fehlererkennung, aber die Ergebnisse blieben hinter der Leistung bei anderen Fragetypen zurück. Auch die Generierung eigener Beschreibungen durch das Modell half nur begrenzt.
• Binäre vs. Offene Fragen: Während binäre Fragen („Ist der Schritt korrekt?") theoretisch einfacher zu beantworten sind, zeigten einige Modelle hier kaum eine bessere Leistung als Zufall (0,5). Andere Modelle neigten dazu, Fehler zu über- oder untermelden, ohne konsistente Muster innerhalb derselben Modellfamilie zu zeigen.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Konsequenzen für den Einsatz von KI in der Bildung:

• Risiko für benachteiligte Schüler: Da VLMs bei fehlerhaften Arbeiten (die oft von Schülern stammen, die mehr pädagogische Unterstützung benötigen) schlechter abschneiden, könnten diese Systeme bestehende Bildungsungleichheiten verschärfen. Sie sind weniger geeignet, um Lernschwierigkeiten zu diagnostizieren.
• Notwendigkeit neuer Trainingsziele: Die aktuellen Trainingspipelines, die auf das Lösen von Mathematikaufgaben (korrekte Outputs) optimiert sind, sind für pädagogische Anwendungen unzureichend. Es bedarf alternativer Anreize und Trainingsdaten, die explizit das Verstehen und Analysieren von Fehlern fördern (ähnlich wie bei der Erkennung toxischer Inhalte ohne deren Generierung).
• Evaluation: Die Autoren fordern, dass zukünftige Evaluierungen von KI in der Bildung nicht nur die Gesamtleistung messen, sondern disaggregiert nach Schülerkompetenz und Fehlerart. Eine Integration in Klassenzimmer ohne diese differenzierte Prüfung könnte zu Fehldiagnosen und falschem Feedback führen.

Zusammenfassend zeigt das Paper, dass VLMs zwar als Mathematik-Experten für korrekte Lösungen gelten mögen, aber derzeit noch nicht zuverlässig als pädagogische Assistenten für Schüler mit Lernschwierigkeiten eingesetzt werden können.