GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

Das Paper stellt GeoDial vor, einen multimodalen Datensatz aus über 1.300 Lehrer-Schüler-Geometrie-Dialogen mit Diagramm-Hervorhebungen, und zeigt auf, dass das Fine-Tuning von Vision-Language-Modellen zwar die Generierung von Tutorien-Dialogen verbessert, derzeit jedoch daran scheitert, die notwendigen visuellen Diagramm-Hervorhebungen präzise zu erzeugen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen zu lernen, wie man ein kniffliges Geometrie-Rätsel löst. Sie haben ein Blatt Papier mit Zeichnungen von Dreiecken und Kreisen vor sich und stecken fest. Ein menschlicher Lehrer würde Ihnen nicht einfach die Antwort verraten; er würde vor einer Tafel stehen, mit Kreide auf bestimmte Linien zeigen, einen Kreis um einen verwirrenden Winkel ziehen und sagen: „Schau mal genau hierher, siehst du, wie diese beiden Linien gleich lang sind?“

Lange Zeit waren Computer-Tutoren wie Lehrer, die zwar sprechen, aber nicht zeigen konnten. Sie konnten mit Ihnen reden, aber sie konnten nicht mit ihren Händen auf die Zeichnung deuten, um zu verdeutlichen, was sie meinten. Dieses Paper stellt GeoDial vor, ein neues „Lehrbuch“, um Computern beizubringen, bessere Geometrie-Lehrer zu werden, indem man ihnen sowohl eine Stimme als auch einen Zeigestock gibt.

Hier ist eine Aufschlüsselung dessen, was die Forscher getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „blinde“ Tutor

Betrachten Sie bestehende KI-Tutoren als Radiomoderatoren. Sie sind großartig im Reden, aber sie können das Bild, das Sie gerade betrachten, nicht sehen. In der Geometrie ist das Bild alles. Wenn ein Schüler einen Fehler macht, zeigt ein menschlicher Lehrer auf die exakte Stelle in der Zeichnung, an der der Fehler passiert ist. Aktuelle KI-Tutoren sind jedoch oft gegenüber visuellen Hinweisen „blind“, was dazu führt, dass sie wirken, als würden sie im Dunkeln stochern.

2. Die Lösung: GeoDial (Das „Lehrer-Handbuch“)

Die Forscher haben einen riesigen neuen Datensatz namens GeoDial erstellt. Stellen Sie sich dies als eine Sammlung von über 1.300 aufgezeichneten Gesprächen zwischen echten Mathematiklehrern und Schülern vor. Aber es gibt einen Clou:

• Der Schüler: Der „Schüler“ in diesen Aufnahmen ist eigentlich ein intelligentes Computerprogramm (ein Vision-Language-Modell), das typische Fehler simuliert.
• Der Lehrer: Echte menschliche Lehrer reagierten auf diese Computer-Schüler.
• Die Magie: Jedes Mal, wenn der Lehrer sprach, benutzte er auch einen digitalen Stift, um bestimmte Teile des Diagramms zu hervorzuheben (wie das Einkreisen eines Winkels oder das Unterstreichen einer Linie), um den Schüler anzuleiten.

Der Datensatz erfasst nicht nur, was der Lehrer sagte, sondern auch, wohin er zeigte. Es ist, als würde man die Stimme eines Lehrers und seine Handbewegungen gleichzeitig aufnehmen.

3. Wie sie es aufgebaut haben (Der „Drehbuch-Prozess“)

Um dies zu erstellen, richteten die Forscher ein digitales Klassenzimmer ein:

1. Das Setup: Sie nahmen Geometrieaufgaben aus bestehenden Datenbanken.
2. Die Simulation: Sie nutzten KI, um „falsche Antworten“ zu generieren, die so aussehen könnten, als kämen sie von einem verwirrten Schüler.
3. Die menschliche Note: Echte Lehrer wurden engagiert, um als Tutoren zu fungieren. Sie sahen das Problem, das Diagramm und die „falsche Antwort“ des Schülers.
4. Die Interaktion: Der Lehrer musste eine Strategie wählen (wie „eine Frage stellen“ oder „einen Hinweis geben“), eine Feedback-Art auswählen (wie „gut gemacht“ oder „noch nicht ganz“) und dann auf dem Diagramm zeichnen, um dem Schüler zu zeigen, worauf er achten soll. Schließlich tippte oder wählte er aus, was er sagen würde.
5. Das Ergebnis: Eine reiche Bibliothek von Lektionen, in denen Sprache und visuelles Zeigen perfekt synchronisiert sind.

4. Das Experiment: Die KI zum Zeigen lehren

Die Forscher nahmen diesen neuen „Drehplan“ (GeoDial) und versuchten, verschiedene KI-Modelle beizubringen, ihn zu nutzen. Sie fragten die KI: „Hier ist ein Problem und die falsche Antwort eines Schülers. Was solltest du als Nächstes sagen und wohin solltest du zeigen?“

Die gute Nachricht:
Die KI wurde viel besser im Reden. Nachdem sie aus GeoDial gelernt hatte, begannen die KI-Modelle, eher wie echte Lehrer zu klingen. Sie hörten auf, einfach nur Fakten auszuspucken, und fingen an, bessere Fragen zu stellen, ermutigendes Feedback zu geben und den Schüler Schritt für Schritt anzuleiten.

Die schlechte Nachricht (Das „Finger-Problem“):
Während die KI besser im Reden wurde, hatte sie Schwierigkeiten, korrekt zu zeigen.

• Stellen Sie sich einen Lehrer vor, der sagt: „Schau dir die grüne Linie an“, aber auf die blaue Linie zeigt.
• Die KI-Modelle lernten, sehr vorsichtig zu sein. Sie entschieden sich oft dafür, gar nichts anzuzeigen, anstatt zu riskieren, auf den falschen Punkt zu zeigen.
• Selbst wenn sie versuchten zu zeigen, verfehlten sie häufig die spezifischen Linien oder Winkel, die die menschlichen Lehrer hervorgehoben hatten.

5. Das Fazit: Eine neue Herausforderung

Das Paper kommt zu dem Schluss, dass die KI zwar gut darin wird, den „verbalen“ Teil des Tutoriums zu meistern, der „visuelle“ Teil jedoch nach wie vor eine große Hürde darstellt.

Denken Sie daran, wie man einem Roboter Basketball spielen beibringt. Der Roboter hat die Regeln und die Strategie gelernt (das Reden), aber er kann den Ball immer noch nicht konsequent in den Korb werfen (das Zeigen). Die Forscher sagen, dass wir, um wirklich effektive KI-Tutoren für Fächer wie Geometrie zu erschaffen, herausfinden müssen, wie wir die KI dazu bringen können, ihre Worte wesentlich besser mit ihren „Händen“ (den visuellen Hervorhebungen) zu koordinieren.

Kurz gesagt: GeoDial ist ein neues Trainingsfeld, das uns zeigt, dass die KI zwar lernen kann, wie ein Lehrer zu sprechen, aber sie braucht noch viel mehr Übung, um wie ein Lehrer zu zeigen.**

Technische Zusammenfassung

Technisches Resümee: GeoDial

Problemstellung

Während visuelle Informationen für das Lernen in Bereichen wie der Mathematik, insbesondere der Geometrie, entscheidend sind, sind bestehende Datensätze für pädagogische Tutoren überwiegend rein textbasiert. Diese Einschränkung behindert die Entwicklung von KI-Tutoren, die in der Lage sind, menschliche Lehrkräfte zu emulieren, welche sich auf Diagramme und visuelle Hinweise verlassen. Frühere computergestützte Tutoren (z. B. AutoTutor, Cognitive Tutor) nutzten zwar Diagramme, standen jedoch vor Skalierungsproblemen bei der Erstellung von Skripten. Obwohl Large Language Models (LLMs) die Skalierbarkeit in der textbasierten Tutorierung gelöst haben, mangelte es ihren ersten Iterationen an visuellen Fähigkeiten. Mit dem Aufkommen von Vision-Language Models (VLMs) ergibt sich die Chance, die visuelle Modalität wieder in die Tutorierung zu integrieren. Es fehlt jedoch an Datensätzen, die erfassen, wie Lehrkräfte Sprache mit visueller Anleitung (wie etwa dem Hervorheben von Diagrammen) koordinieren, um auf Fehler von Schülern zu reagieren.

Methodik

Datenerhebung und Annotationsprotokoll

Die Autoren führen GeoDial ein, einen multimodalen Tutorierungs-Datensatz, der über 1.300 Lehrer-Schüler-Dialoge zur Lösung geometrischer Probleme umfasst. Der Prozess der Datenerhebung erfolgt in einem kontrollierten Setup, bei dem menschliche Mathematiklehrer mit VLMs interagieren, die die Rolle von Schülern einnehmen.

• Setup: Lehrkräfte werden mit einem geometrischen Problem, dessen Diagramm, der korrekten Lösung und einer falschen Lösung eines Schülers (generiert durch ein VLM) konfrontiert. Das Gespräch verläuft schrittweise, bis die Lehrkraft entscheidet, es zu beenden.
• Annotations-Interface: Für jeden Lehrer-Turn müssen die Annotatoren:
  1. Dialogakte auswählen: Aus einer Hierarchie von 5 Akten (Generic, Focus, Probing, Telling, SeeFigure) und 16 Subakten (z. B. AskLength, GetRelation, SeeHighlight) wählen, um die pädagogische Strategie zu definieren.
  2. Diagramme hervorheben: Ein digitales Stiftwerkzeug verwenden, um im Diagramm zu zeichnen. Die Hervorhebungen sind farbcodiert (grün für allgemein, braun für sekundäre Relationen) und müssen dem ausgewählten Akt entsprechen (z. B. erfordert SeeFigure eine Hervorhebung).
  3. Feedback auswählen: Positives, negatives oder neutrales Feedback wählen, um den Äußerungs-Text zu präfixieren.
  4. Äußerung generieren: Lehrkräfte wählen aus oder bearbeiten Kandidaten-Äußerungen, die von drei VLMs (Gemini-Flash-2.5, GPT-4o, Claude-Sonnet-4) basierend auf der gewählten Strategie und den Hervorhebungen vorgeschlagen wurden.
• Post-Processing: Um Rauschen zu reduzieren und die Evaluierung zu standardisieren, werden freiformartige menschliche Hervorhebungen in strukturierte textuelle Annotationen umgewandelt, die Linien, Winkel, Bögen und mit benannten Punkten definierte Beschriftungen repräsentieren. Dies ermöglicht die Evaluierung durch Modelle, die keine Bilder direkt generieren können.

Experimentelles Setup

Die Autoren haben mehrere VLMs und textbasierte Modelle auf GeoDial feinjustiert, um deren Fähigkeit zu evaluieren, den nächsten Lehrer-Turn zu generieren, einschließlich des Dialogakts, des Subakts, des Feedback-Typs, der Diagramm-Hervorhebungen und der textuellen Äußerung.

• Modelle: Evaluierte Modelle umfassen geschlossene Quellen-VLMs (Gemini, GPT-4o, Claude), textbasierte Open-Source-Modelle (Qwen3, Llama 3.1) sowie Open-Source-VLMs (Qwen3-VL, InternVL, Llama 3.2-Vision).
• Metriken:
  • Kategorial: Macro-F1 für Akte, Subakte und Feedback.
  • Äußerung: BLEU und BERTScore.
  • Hervorhebungen: Aufgrund der hohen Häufigkeit leerer Mengen (keine Hervorhebung erforderlich) schlagen die Autoren zwei Metriken vor: Prediction Accuracy (Vorhersage, ob eine Hervorhebung benötigt wird) und Decision F1 (F1-Score, der nur auf Instanzen berechnet wird, bei denen eine Hervorhebung erforderlich ist). Ein Combined Score wird definiert, um dies zu aggregieren.

Kernbeiträge

1. GeoDial Datensatz: Der erste Datensatz für geometrische Tutorierungs-Dialoge, der konversationelle Lehrstrategien eng mit feingranularen, diagrammbasierten visuellen Hervorhebungen integriert. Er enthält 1.341 Dialoge mit 5.168 annotierten Hervorhebungs-Instanzen.
2. Annotationsprotokoll: Ein skalierbares Protokoll, das die Koordination von Sprache und visuellen Aktionen erfasst, einschließlich einer spezifischen Taxonomie für pädagogische Akte und eines Mechanismus zur Standardisierung visueller Hervorhebungen in textuelle Repräsentationen.
3. Empirische Analyse von VLMs: Eine umfassende Evaluierung, die zeigt, dass während Supervised Fine-Tuning (SFT) die Qualität der generierten Tutor-Äußerungen und des pädagogischen Scaffolding erheblich verbessert, aktuelle VLMs Schwierigkeiten haben, präzise Diagramm-Hervorhebungen zu erzeugen.

Ergebnisse

• Textgenerierung: Feinjustierte Modelle übertreffen Basismodelle und Zufalls-Baselines deutlich bei der Generierung pädagogisch angemessener Äußerungen, Akte und Subakte. Visionsfähige Modelle schneiden generell besser ab als rein textbasierte Modelle, wobei größere Modelle (z. B. Qwen3-VL-32B) die besten Gesamtergebnisse erzielen.
• Hervorhebungsgenerierung: Trotz Verbesserungen in der Vorhersagegenauigkeit (Identifizierung, wann hervorgehoben werden muss), haben Modelle Schwierigkeiten mit der Decision F1 (Identifizierung, was hervorgehoben werden muss).
  • Das Fine-Tuning führt oft dazu, dass Modelle häufiger darauf verzichten, Hervorhebungen vorzunehmen, um False Positives zu vermeiden, was den Decision F1-Score aufgrund der hohen Unbalanciertheit der leeren Mengen in den Daten senkt.
  • Fokussierte Experimente, die die Vorhersage der Hervorhebung von der Generierung der Äußerung trennten und gewichtetes Training (Oversampling positiver Beispiele) nutzten, verbesserten die Leistung, konnten das Problem aber nicht vollständig lösen.
  • Modelle, die auf Ground-Truth-Äußerungen trainiert wurden, waren besser beim Hervorheben als solche, die auf modellgenerierten Äußerungen basieren, was auf eine enge Kopplung zwischen Text und visueller Aktion hindeutet, die schwierig simultan zu lernen ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass GeoDial eine distinkte Herausforderung für die multimodale pädagogische Modellierung aufzeigt: die effektive Integration von visuellem Denken mit instruktionaler Interaktion. Während aktuelle Methoden lernen können, hochwertige Tutorierungs-Dialoge zu generieren, scheitern sie daran, die präzise visuelle Fundierung (Diagramm-Hervorhebung) zu replizieren, die menschliche Lehrkräfte nutzen.

Die Autoren positionieren GeoDial als Ressource, um die zukünftige Forschung hin zu Modellen zu lenken, die die instruktionale Sprache besser mit visueller Anleitung koordinieren können. Sie räumen Einschränkungen ein, darunter die Verwendung von simulierten Schülern (die das Verhalten menschlicher Schüler eventuell nicht perfekt abbilden) und die Beschränkung auf die Geometrie (eine Teilmenge der Mathematik). Die Arbeit betont, dass die Überbrückung der Lücke zwischen textbasierter Tutorierung und visuell fundierter Tutorierung weiterhin eine bedeutende Hürde für KI in der Bildung darstellt.