GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

Het artikel introduceert GeoDial, een multimodale dataset van meer dan 1.300 leraar-leerling geometrie-dialogen met diagram-highlights, en demonstreert dat hoewel het finetunen van vision-language modellen de tutoring-dialooggeneratie verbetert, het momenteel faalt in het accuraat produceren van de noodzakelijke visuele diagram-highlights.

De kern

Stel je voor dat je probeert te leren hoe je een lastige geometrie-puzzel oplost. Je hebt een vel papier met een tekening van driehoeken en cirkels, en je zit vast. Een menselijke docent zou je niet simpelweg het antwoord vertellen; die zou bij een krijtbord staan, naar specifieke lijnen wijzen met krijt, een cirkel rond een verwarrende hoek tekenen en zeggen: "Kijk eens hier, zie je hoe deze twee lijnen even lang zijn?"

Lange tijd waren computer-tutors als docenten die alleen konden praten, maar niet konden aanwijzen. Ze konden tegen je praten, maar ze konden niet met hun handen laten zien wat ze bedoelden op de diagram. Dit artikel introduceert GeoDial, een nieuwe "leerboek"-methode om computers te leren betere geometrie-docenten te worden door ze zowel een stem als een aanwijzer te geven.

Hier is een overzicht van wat de onderzoekers hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Blinde" Tutor

Beschouw bestaande AI-tutors als radiopresentatoren. Ze zijn geweldig in praten, maar ze kunnen het plaatje waar jij naar kijkt niet zien. In de meetkunde is het plaatje alles. Als een student een fout maakt, wijst een menselijke docent naar de exacte plek op de tekening waar de fout is opgetreden. Huidige AI-tutors zijn echter vaak "blind" voor visuele aanwijzingen, waardoor ze aanvoelen alsof ze in het donker tasten.

2. De Oplossing: GeoDial (Het "Docentenhandboek")

De onderzoekers hebben een enorme nieuwe dataset gemaakt genaamd GeoDial. Stel je dit voor als een collectie van meer dan 1.300 opgenomen gesprekken tussen echte wiskundedocenten en studenten. Maar er is een twist:

• De Student: De "student" in deze opnames is eigenlijk een slim computerprogramma (een Vision-Language Model) dat veelvoorkomende fouten simuleert.
• De Docent: Echte menselijke docenten reageerden op deze computer-studenten.
• De Magie: Elke keer dat de docent sprak, gebruikte hij of zij ook een digitale pen om specifieke delen van het diagram te accentueren (zoals het omcirkelen van een hoek of het onderstrepen van een lijn) om de student te begeleiden.

De dataset legt niet alleen vast wat de docent zei, maar ook waar hij of zij naar wees. Het is alsoals het tegelijkertijd opnemen van de stem van een docent en de bewegingen van diens hand.

3. Hoe ze het hebben gebouwd (Het "Scriptschrijvingsproces")

Om dit te creëren, richtten de onderzoekers een digitale klaslokaal in:

1. De Opstelling: Ze namen meetkundeproblemen uit bestaande databases.
2. De Simulatie: Ze gebruikten AI om "foute antwoorden" te genereren die lijken op wat een verwarde student zou maken.
3. De Menselijke Aanraking: Er werden echte docenten ingehuurd om als tutors op te treden. Zij zagen het probleem, het diagram en het foute antwoord van de "student".
4. De Interactie: De docent moest een strategie kiezen (zoals "een vraag stellen" of "een hint geven"), een type feedback selecteren (zoals "goed gedaan" of "niet helemaal") en vervolgens op de diagram tekenen om de student te laten zien waar hij of zij naar moest kijken. Ten slotte typte of selecteerde de docent wat hij of zij zou zeggen.
5. Het Resultaat: Een rijke bibliotheek van lessen waarbij taal en visueel aanwijzen perfect gesynchroniseerd zijn.

4. Het Experiment: De AI leren te wijzen

De onderzoekers namen deze nieuwe "handleiding" (GeoDial) en probeerden diverse AI-modellen hiermee te trainen. Ze vroegen de AI: "Hier is een probleem en een fout antwoord van een student. Wat zeg je nu, en waar wijs je naar?"

Het Goede Nieuws:
De AI werd veel beter in praten. Na het leren van GeoDial begonnen de AI-modellen meer als echte docenten te klinken. Ze stopten met het simpelweg dumpen van feiten en begonnen betere vragen te stellen, aanmoedigende feedback te geven en de student stap voor stap te begeleiden.

Het Slechte Nieuws (Het "Vingerprobleem"):
Hoewel de AI beter werd in praten, had hij moeite met het correct wijzen.

• Stel je een docent voor die zegt: "Kijk naar de groene lijn," maar naar de blauwe lijn wijst.
• De AI-modellen leerden heel voorzichtig te zijn. Ze besloten vaak om helemaal niets aan te wijzen, liever dan het risico te lopen op de verkeerde plek te wijzen.
• Zelfs wanneer ze wel probeerden te wijzen, misten ze vaak de specifieke lijnen of hoeken die de menselijke docenten hadden geaccentueerd.

5. De Conclusie: Een Nieuwe Uitdaging

De paper concludeert dat hoewel AI erg goed wordt in het "verbale" deel van tutoren, het "visuele" deel nog steeds een grote hindernis is.

Denk eraan als het leren van een robot om basketbal te spelen. De robot heeft de regels en de strategie geleerd (het praten), maar hij kan de bal nog steeds niet consistent in de basket werpen (het wijzen). De onderzoekers zeggen dat we, om echt effectieve AI-tutors te maken voor vakken zoals meetkunde, moeten uitzoeken hoe we de AI veel effectiever zijn woorden kunnen laten coördineren met zijn "handen" (de visuele accentueringen).

Kortom: GeoDial is een nieuwe trainingsgrond die ons laat zien dat AI kan leren om te praten als een docent, maar dat het nog veel meer oefening nodig heeft om te leren wijzen als een docent.

Technische samenvatting

Technische Samenvatting: GeoDial

Probleemstelling

Hoewel visuele informatie cruciaal is voor het leerproces in domeinen zoals wiskunde, in het bijzonder de meetkunde, zijn bestaande datasets voor educatieve tutoring voornamelijk tekstgebaseerd. Deze beperking belemmert de ontwikkeling van AI-tutors die in staat zijn menselijke instructoren te imiteren, die sterk vertrouwen op diagrammen en visuele aanwijzingen. Eerdere computergestuurde tutors (bijv. AutoTutor, Cognitive Tutor) maakten gebruik van diagrammen, maar liepen tegen schaalbaarheidsproblemen aan bij het schrijven van scripts. Hoewel Large Language Models (LLM's) het schalen in tekstgebaseerde tutoring hebben opgelost, ontbrak het de eerste iteraties aan visuele capaciteiten. Met de komst van Vision-Language Models (VLM's) is er een kans om de visuele modaliteit opnieuw te integreren in tutoring. Er is echter een gebrek aan datasets die vastleggen hoe docenten taal coördineren met visuele begeleiding, zoals het markeren van diagrammen, om fouten van studenten aan te pakken.

Methodologie

Dataverzameling en Annotatieprotocol

De auteurs introduceren GeoDial, een multimodale tutoring-dataset bestaande uit meer dan 1.300 docent-student-dialogen gericht op het oplossen van meetkundige problemen. Het proces van dataverzameling vindt plaats in een gecontroleerde setting waarbij menselijke wiskundeleraren interageren met VLM's die de rol van student vervullen.

• Opzet: Docenten krijgen een meetkundig probleem gepresenteerd, inclusief het bijbehorende diagram, de juiste oplossing en een foutieve oplossing van een student (gegenereerd door een VLM). Het gesprek verloopt beurtelings totdat de docent besluit het te beëindigen.
• Annotatie-interface: Voor elke beurt van de docent moeten annotatoren:
  1. Dialog Acts Selecteren: Kiezen uit een hiërarchie van 5 acts (Generic, Focus, Probing, Telling, SeeFigure) en 16 subacts (bijv. AskLength, GetRelation, SeeHighlight) om de pedagogische strategie te definiëren.
  2. Diagrammen Markeren: Een digitale pen gebruiken om op het diagram te tekenen. Markeringen zijn kleurgecodeerd (groen voor algemeen, bruin voor secundaire relaties) en moeten overeenstemmen met de gekozen act (bijv. SeeFigure vereist een markering).
  3. Feedback Selecteren: Positieve, negatieve of neutrale feedback kiezen om de uiting te vooraf te gaan.
  4. Uiting Genereren: Docenten kiezen uit of bewerken van kandidaat-uitingen die door drie VLM's (Gemini-Flash-2.5, GPT-4o, Claude-Sonnet-4) worden gesuggereerd op basis van de gekozen strategie en markeringen.
• Nabehandeling: Om ruis te verminderen en evaluatie te standaardiseren, worden vrije menselijke markeringen omgezet in gestructureerde tekstuele annotaties die lijnen, hoeken, bogen en labels definiëren via benoemde punten. Dit maakt evaluatie mogelijk door modellen die geen afbeeldingen direct kunnen genereren.

Experimentele Opzet

De auteurs hebben verschillende VLM's en tekstgebaseerde modellen gefinetuned op GeoDial om hun vermogen te evalueren om de volgende beurt van de docent te genereren, inclusief de dialog act, subact, feedbacktype, diagrammarkeringen en de tekstuele uiting.

• Modellen: De geëvalueerde modellen omvatten closed-source VLM's (Gemini, GPT-4o, Claude), open-source tekstgebaseerde modellen (Qwen3, Llama 3.1) en open-source VLM's (Qwen3-VL, InternVL, Llama 3.2-Vision).
• Metrieken:
  • Categorisch: Macro-F1 voor Acts, Subacts en Feedback.
  • Uiting: BLEU en BERTScore.
  • Markeringen: Vanwege de hoge frequentie van lege sets (geen markering nodig), stellen de auteurs twee metrieken voor: Prediction Accuracy (voorspellen of een markering nodig is) en Decision F1 (F1-score berekend alleen op instanties waar een markering vereist is). Een Combined Score wordt gedefinieerd om deze te aggregeren.

Belangrijkste Bijdragen

1. GeoDial Dataset: De eerste dataset van meetkundige tutoring-dialogen die conversatiegestuurde onderwijsstrategieën nauw integreert met fijnmazige, op diagrammen gebaseerde visuele markeringen. Het bevat 1.341 dialogen met 5.168 geannoteerde markeringinstanties.
2. Annotatieprotocol: Een schaalbaar protocol dat de coördinatie van taal en visuele acties vastlegt, inclusief een specifieke taxonomie voor pedagogische acts en een mechanisme om visuele markeringen te standaardiseren naar tekstuele representaties.
3. Empirische Analyse van VLM's: Een uitgebreide evaluatie die aantoont dat hoewel supervised fine-tuning (SFT) de kwaliteit van gegenereerde tutor-uitingen en pedagogische scaffolding aanzienlijk verbetert, huidige VLM's moeite hebben met het produceren van nauwkeurige diagrammarkeringen.

Resultaten

• Tekstgeneratie: Gefinetuned modellen presteren aanzienlijk beter dan basismodellen en willekeurige baselines in het genereren van pedagogisch passende uitingen, acts en subacts. Visueel ondersteunde modellen presteren over het algemeen beter dan tekstgebaseerde modellen, waarbij grotere modellen (bijv. Qwen3-VL-32B) de beste algehele resultaten behalen.
• Genereren van Markeringen: Ondanks verbeteringen in voorspellingsnauwkeurigheid (identificeren wanneer te markeren), worstelen modellen met de Decision F1 (identificeren wat te markeren).
  • Fine-tuning leidt er vaak toe dat modellen vaker "onthouden" van het markeren om fout-positieven te vermijden, wat de Decision F1-score verlaagt vanwege de hoge onbalans van instanties met een lege set in de data.
  • Gerichte experimenten die de voorspelling van markeringen scheiden van de generatie van uitingen en het gebruik van gewogen training (oversampling van positieve voorbeelden) verbeterden de prestaties, maar losten de moeilijkheid niet volledig op.
  • Modellen getraind op grondwaarheid-uitingen presteerden beter bij het markeren dan modellen die model-gegenereerde uitingen gebruikten, wat wijst op een nauwe koppeling tussen de tekst en de visuele actie die moeilijk gelijktijdig te leren is.

Betekenis en Claims

Het artikel stelt dat GeoDial een specifiek probleem blootlegt voor multimodale pedagogische modellering: de effectieve integratie van visueel redeneren met instructieve interactie. Hoewel huidige methoden kunnen leren om hoogwaardige tutoring-dialogen te genereren, slagen ze er niet in om de precieze visuele gronding (diagrammarkering) te repliceren die menselijke instructoren gebruiken.

De auteurs positioneren GeoDial als een bron om toekomstig onderzoek te stimuleren naar modellen die beter in staat zijn om instructieve taal te coördineren met visuele begeleiding. Zij erkennen beperkingen, waaronder het gebruik van gesimuleerde studenten (die menselijk studentgedrag mogelijk niet perfect nabootsen) en de beperking tot de meetkunde (een subset van de wiskunde). Het werk benadrukt dat het overbruggen van de kloof tussen tekstgebaseerde tutoring en visueel gegronde tutoring een aanzienlijke hindernis blijft voor AI in het onderwijs.