GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

L'article présente GeoDial, un ensemble de données multimodal de plus de 1 300 dialogues géométriques enseignant-élève avec des mises en évidence de diagrammes, et démontre que si l'ajustement fin des modèles de vision-langage améliore la génération de dialogues de tutorat, il échoue actuellement à produire avec précision les mises en évidence visuelles nécessaires des diagrammes.

L'essentiel

Imaginez que vous essayez d'apprendre à résoudre un casse-tête de géométrie complexe. Vous avez une feuille de papier avec un dessin de triangles et de cercles, et vous êtes bloqué. Un enseignant humain ne se contenterait pas de vous donner la réponse ; il se tiendrait devant un tableau noir, pointerait des lignes spécifiques avec de la craie, entourerait un angle déroutant avec un cercle et dirait : « Regardez juste ici, voyez comment ces deux lignes ont la même longueur ? »

Pendant longtemps, les tuteurs informatiques étaient comme des enseignants qui pouvaient parler, mais ne pouvaient pas pointer du doigt. Ils pouvaient vous parler, mais ils ne pouvaient pas utiliser leurs mains pour vous montrer ce qu'ils voulaient dire sur le diagramme. Ce document présente GeoDial, un nouveau « manuel » pour apprendre aux ordinateurs à devenir de meilleurs professeurs de géométrie en leur donnant à la fois une voix et un pointeur.

Voici une décomposition de ce que les chercheurs ont fait, en utilisant des analogies simples :

1. Le Problème : Le tuteur « aveugle »

Considérez les tuteurs IA actuels comme des animateurs de radio. Ils sont excellents pour parler, mais ils ne peuvent pas voir l'image que vous regardez. En géométrie, l'image est tout. Si un élève commet une erreur, un enseignant humain pointe l'endroit exact sur le dessin où l'erreur s'est produite. Les tuteurs IA actuels sont cependant souvent « aveugles » aux indices visuels, ce qui donne l'impression qu'ils tâtonnent dans le noir.

2. La Solution : GeoDial (Le « Manuel de l'Enseignant »)

Les chercheurs ont créé un nouvel ensemble de données massif appelé GeoDial. Imaginez que c'est une collection de plus de 1 300 conversations enregistrées entre de vrais professeurs de mathématiques et des élèves. Mais il y a un tour de l'astuce :

• L'Élève : L'« élève » dans ces enregistrements est en réalité un programme informatique intelligent (un modèle de langage-vision) jouant le rôle de commettre des erreurs courantes.
• L'Enseignant : De vrais professeurs humains ont répondu à ces élèves informatiques.
• La Magie : Chaque fois que l'enseignant parlait, il utilisait également un stylo numérique pour mettre en évidence des parties spécifiques du diagramme (comme entourer un angle ou souligner une ligne) pour guider l'élève.

Cet ensemble de données capture non seulement ce que l'enseignant a dit, mais aussi où il a pointé. C'est comme enregistrer la voix d'un enseignant et ses mouvements de main simultanément.

3. Comment ils l'ont construit (Le processus de « Scénarisation »)

Pour créer cela, les chercheurs ont mis en place une classe numérique :

1. La Configuration : Ils ont pris des problèmes de géométrie à partir de bases de données existantes.
2. La Simulation : Ils ont utilisé l'IA pour générer des « mauvaises réponses » qui ressemblaient à ce qu'un élève confus pourrait faire.
3. La Touche Humaine : De vrais professeurs ont été embauchés pour jouer le rôle de tuteurs. Ils voyaient le problème, le diagramme et la « mauvaise réponse » de l'élève.
4. L'Interaction : L'enseignant devait choisir une stratégie (comme « poser une question » ou « donner un indice »), choisir un type de feedback (comme « bon travail » ou « pas tout à fait ») et ensuite dessiner sur le diagramme pour montrer à l'élève ce qu'il devait regarder. Enfin, il tapait ou sélectionnait ce qu'il allait dire.
5. Le Résultat : Une riche bibliothèque de leçons où le langage et le pointage visuel sont parfaitement synchronisés.

4. L'Expérience : Apprendre à l'IA à pointer

Les chercheurs ont pris ce nouveau « manuel » (GeoDial) et ont essayé d'enseigner à divers modèles d'IA comment l'utiliser. Ils ont demandé à l'IA : « Voici un problème et la mauvaise réponse d'un élève. Que devriez-vous dire ensuite, et où devriez-vous pointer ? »

La Bonne Nouvelle :
L'IA est devenue bien meilleure pour parler. Après avoir appris de GeoDial, les modèles d'IA ont commencé à ressembler davantage à de vrais professeurs. Ils ont cessé de simplement déverser des faits et ont commencé à poser de meilleures questions, à donner des commentaires encourageants et à guider l'élève étape par étape.

La Mauvaise Nouvelle (Le problème du « Doigt ») :
Bien que l'IA soit devenue meilleure pour parler, elle a eu du mal à pointer correctement.

• Imaginez un professeur disant : « Regardez la ligne verte », mais pointant la ligne bleue.
• Les modèles d'IA sont devenus très prudents. Ils ont souvent décidé de ne rien pointer du tout, plutôt que de risquer de pointer le mauvais endroit.
• Même lorsqu'ils essayaient de pointer, ils manquaient fréquemment les lignes ou les angles spécifiques que les professeurs humains avaient mis en évidence.

5. La Conclusion : Un nouveau défi

L'article conclut que si l'IA devient excellente pour la partie « verbale » du tutorat, la partie « visuelle » reste un obstacle majeur.

Pensez à l'enseignement de la basket à un robot. Le robot a appris les règles et la stratégie (la parole), mais il ne peut toujours pas viser de manière cohérente le panier (le pointage). Les chercheurs affirment que pour créer des tuteurs IA véritablement efficaces pour des sujets comme la géométrie, nous devons découvrir comment faire en sorte que l'IA coordonne ses mots avec ses « mains » (les mises en évidence visuelles) de manière beaucoup plus efficace.

En bref : GeoDial est un nouveau terrain d'entraînement qui nous montre que l'IA peut apprendre à parler comme un professeur, mais qu'elle doit encore beaucoup s'entraîner pour apprendre à pointer comme un professeur.

Résumé technique

Résumé Technique : GeoDial

Énoncé du Problème

Bien que l'information visuelle soit cruciale pour l'apprentissage dans des domaines comme les mathématiques, particulièrement la géométrie, les ensembles de données de tutorat éducatif existants sont principalement textuels. Cette limitation entrave le développement de tuteurs IA capables d'émuler les instructeurs humains qui s'appuient sur des diagrammes et des indices visuels. Les précédents tuteurs informatisés (ex. AutoTutor, Cognitive Tutor) utilisaient des diagrammes mais faisaient face à des problèmes d'échelle lors de la rédaction des scripts. Bien que les modèles de langage étendus (LLM) aient résolu les problèmes d'échelle pour le tutorat textuel, leurs premières itérations manquaient de capacités visuelles. Avec l'avènement des modèles de langage-vision (VLM), il existe une opportunité de réintégrer la modalité visuelle dans le tutorat. Cependant, il manque des ensembles de données qui capturent la manière dont les enseignants coordonnent le langage avec le guidage visuel, tel que le surlignage de diagrammes, pour remédier aux erreurs des élèves.

Méthodologie

Protocole de Collecte et d'Annotation des Données

Les auteurs introduisent GeoDial, un ensemble de données de tutorat multimodal comprenant plus de 1 300 dialogues enseignant-élève axés sur la résolution de problèmes de géométrie. Le processus de collecte de données implique une configuration contrôlée où des enseignants de mathématiques interagissent avec des VLM agissant comme des étudiants.

• Configuration : Les enseignants sont présentés avec un problème de géométrie, son diagramme, la solution correcte, et une solution incorrecte de l'élève (générée par un VLM). La conversation se poursuit tour par tour jusqu'à ce que l'enseignant décide de la terminer.
• Interface d'Annotation : Pour chaque tour de l'enseignant, les annotateurs doivent :
  1. Sélectionner les Actes de Dialogue : Choisir parmi une hiérarchie de 5 actes (Générique, Focus, Sondage, Enseignement, VoirFigure) et 16 sous-actes (ex. DemanderLongueur, ObtenirRelation, VoirSurlignage) pour définir la stratégie pédagogique.
  2. Surligner les Diagrammes : Utiliser un outil de stylo numérique pour dessiner sur le diagramme. Les surlignages sont codés par couleur (vert pour le général, brun pour les relations secondaires) et doivent correspondir à l'acte sélectionné (ex. VoirFigure nécessite un surlignage).
  3. Sélectionner le Feedback : Choisir un feedback positif, négatif ou neutre pour préfixer l'énoncé.
  4. Générer l'Énoncé : Les enseignants sélectionnent ou éditent des énoncés candidats suggérés par trois VLM (Gemini-Flash-2.5, GPT-4o, Claude-Sonnet-4) basés sur la stratégie et les surlignages sélectionnés.
• Post-traitement : Pour réduire le bruit et standardiser l'évaluation, les surlignages libres des humains sont convertis en annotations textuelles structurées représentant des lignes, des angles, des arcs et des étiquettes définies par des points nommés. Cela permet l'évaluation par des modèles qui ne peuvent pas générer directement d'images.

Configuration Expérimentale

Les auteurs ont affiné plusieurs VLM et modèles uniquement textuels sur GeoDial pour évaluer leur capacité à générer le prochain tour de l'enseignant, incluant l'acte de dialogue, le sous-acte, le type de feedback, les surlignages du diagramme et l'énoncé textuel.

• Modèles : Les modèles évalués incluent des VLM à code source fermé (Gemini, GPT-4o, Claude), des modèles textuels à code ouvert (Qwen3, Llama 3.1), et des VLM à code ouvert (Qwen3-VL, InternVL, Llama 3.2-Vision).
• Métriques :
  • Catégorielle : Macro-F1 pour les Actes, Sous-actes et le Feedback.
  • Énoncé : BLEU et BERTScore.
  • Surlignages : En raison de la haute fréquence des ensembles vides (pas de surlignage nécessaire), les auteurs proposent deux métriques : la Précision de Prédiction (prédire si un surlignage est nécessaire) et le F1 de Décision (score F1 calculé uniquement sur les instances où un surlignage est requis). Un Score Combiné est également défini pour agréger ces éléments.

Contributions Clés

1. Jeu de données GeoDial : Le premier ensemble de données de dialogues de tutorat en géométrie qui intègre étroitement les stratégies d'enseignement conversationnel avec des surlignages visuels fins ancrés dans le diagramme. Il contient 1 341 dialogues avec 5 168 instances de surlignage annotées.
2. Protocole d'Annotation : Un protocole évolutif qui capture la coordination du langage et des actions visuelles, incluant une taxonomie spécifique pour les actes pédagogiques et un mécanisme pour standardiser les surlignages visuels en représentations textuelles.
3. Analyse Empirique des VLM : Une évaluation complète montrant que, bien que l'apprentissage supervisé (SFT) améliore considérablement la qualité des énoncés de tutorat générés et de l'étayage pédagogique, les VLM actuels peinent à produire des surlignages de diagrammes précis.

Résultats

• Génération de Texte : Les modèles affinés surpassent substantiellement les modèles de base et les lignes de base aléatoires dans la génération d'énoncés et d'actes pédagogiquement appropriés, ainsi que de sous-actes. Les modèles dotés de vision sont généralement plus performants que les modèles uniquement textuels, les modèles plus larges (ex. Qwen3-VL-32B) obtenant les meilleurs résultats globaux.
• Génération de Surlignage : Malgré des améliorations de la précision de prédiction (identifier quand surligner), les modèles éprouvent des difficultés avec le F1 de Décision (identifier quoi surligner).
  • L'affinage amène souvent les modèles à "s'abstenir" de surligner plus fréquemment pour éviter les faux positifs, ce qui abaisse le score F1 de Décision en raison du fort déséquilibre des exemples d'ensembles vides dans les données.
  • Des expériences ciblées séparant la prédiction de surlignage de la génération d'énoncés et l'utilisation d'un entraînement pondéré (suréchantillonnage des exemples positifs) ont amélioré les performances mais n'ont pas pleinement résolu la difficulté.
  • Les modèles entraînés sur des énoncés de vérité terrain ont mieux performé au surlignage que ceux utilisant des énoncés générés par modèle, suggérant un couplage étroit entre le texte et l'action visuelle qui est difficile à apprendre simultanément.

Signification et Revendications

L'article affirme que GeoDial expose un défi distinct pour la modélisation pédagogique multimodale : l'intégration efficace du raisonnement visuel avec l'interaction instructive. Bien que les méthodes actuelles puissent apprendre à générer un dialogue de tutorat de haute qualité, elles échouent à reproduire l'ancrage visuel précis (surlignage de diagramme) utilisé par les instructeurs humains.

Les auteurs positionnent GeoDial comme une ressource pour stimuler la recherche future vers des modèles capables de mieux coordonner le langage instructionnel avec le guidage visuel. Ils reconnaissent des limites, notamment l'utilisation d'étudiants simulés (qui peuvent ne pas capturer parfaitement tous les comportements humains) et la restriction à la géométrie (un sous-ensemble des mathématiques). Le travail souligne que combler le fossé entre le tutorat textuel et le tutorat visuellement ancré reste un obstacle majeur pour l'IA en éducation.