GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

El artículo presenta GeoDial, un conjunto de datos multimodal de más de 1.300 diálogos de geometría entre profesor y alumno con resaltados de diagramas, y demuestra que, si bien el ajuste fino de los modelos de lenguaje visual mejora la generación de diálogos de tutoría, actualmente no logra producir con precisión los resaltados de diagramas visuales necesarios.

Lo esencial

Imagina que estás intentando aprender a resolver un rompecabezas de geometría complicado. Tienes una hoja de papel con un dibujo de triángulos y círculos, y estás estancado. Un profesor humano no se limitaría a darte la respuesta; se pararía frente a una pizarra, señalaría líneas específicas con tiza, rodearía un ángulo confuso con un círculo y diría: "Mira justo aquí, ¿ves cómo estas dos líneas tienen la misma longitud?".

Durante mucho tiempo, los tutores informáticos fueron como profesores que solo podían hablar pero no podían señalar. Podían hablar contigo, pero no podían usar sus manos para mostrarte lo que querían decir en el diagrama. Este artículo presenta GeoDial, un nuevo "libro de texto" para enseñar a las computadoras a ser mejores profesores de geometría, dándoles tanto una voz como un puntero.

Aquí hay un desglose de lo que hicieron los investigadores, utilizando analogías sencillas:

1. El Problema: El tutor "ciego"

Piensa en los tutores de IA existentes como locutores de radio. Son excelentes hablando, pero no pueden ver la imagen que estás mirando. En geometría, la imagen lo es todo. Si un estudiante comete un error, un profesor humano señala el lugar exacto en el dibujo donde ocurrió el error. Los tutores de IA actuales, sin embargo, suelen ser "ciegos" a las pistas visuales, lo que los hace sentir como si estuvieran adivinando en la oscuridad.

2. La Solución: GeoDial (El "Libro de Estrategias del Profesor")

Los investigadores crearon un nuevo conjunto de datos masivo llamado GeoDial. Imagina que esto es una colección de más de 1,300 conversaciones grabadas entre profesores de matemáticas reales y estudiantes. Pero hay un giro:

• El Estudiante: El "estudiante" en estas grabaciones es en realidad un programa informático inteligente (un Modelo de Lenguaje-Visión) que interpreta errores comunes.
• El Profesor: Profesores humanos reales respondieron a estos estudiantes informáticos.
• La Magia: Cada vez que el profesor hablaba, también usaba un lápiz digital para resaltar partes específicas del diagrama (como rodear un ángulo o subrayar una línea) para guar a el estudiante.

El conjunto de datos captura no solo qué dijo el profesor, sino también dónde señaló. Es como grabar la voz de un profesor y sus movimientos de mano simultáneamente.

3. Cómo lo construyeron (El proceso de "Escritura de Guiones")

Para crear esto, los investigadores establecieron un aula digital:

1. La Configuración: Tomaron problemas de geometría de bases de datos existentes.
2. La Simulación: Usaron IA para generar "respuestas incorrectas" que parecieran las que haría un estudiante confundido.
3. El Toque Humano: Se contrataron profesores reales para actuar como tutores. Ellos veían el problema, el diagrama y la respuesta incorrecta del "estudiante".
4. La Interacción: El profesor tenía que elegir una estrategia (como "hacer una pregunta" o "dar una pista"), elegir un tipo de retroalimentación (como "buen trabajo" o "no exactamente") y luego dibujar en el diagrama para mostrarle al estudiante qué mirar. Finalmente, escribía o seleccionaba lo que diría.
5. El Resultado: Una rica biblioteca de lecciones donde el lenguaje y el señalamiento visual están perfectamente sincronizados.

4. El Experimento: Enseñando a la IA a señalar

Los investigadores tomaron este nuevo "libro de estrategias" (GeoDial) e intentaron enseñar a varios modelos de IA cómo usarlo. Le preguntaron a la IA: "Aquí hay un problema y una respuesta incorrecta de un estudiante. ¿Qué deberías decir a continuación y hacia dónde deberías señalar?".

Las Buenas Noticias:
La IA mejoró mucho en su capacidad de hablar. Después de aprender de GeoDial, los modelos de IA empezaron a sonar más como profesores reales. Dejaron de simplemente soltar datos y empezaron a hacer mejores preguntas, dar retroalimentación alentadora y guiar al estudiante paso a paso.

Las Malas Noticias (El problema del "Dedo"):
Aunque la IA mejoró al hablar, tuvo dificultades para señalar correctamente.

• Imagina a un profesor diciendo: "Mira la línea verde", pero señalando la línea azul.
• Los modelos de IA aprendieron a ser muy cautelosos. A menudo decidían no señalar nada en absoluto, en lugar de arriesgarse a señalar el lugar equivento.
• Incluso cuando intentaban señalar, frecuentemente fallaban al intentar identificar las líneas o ángulos específicos que los profesores humanos habían resaltado.

5. La Conclusión: Un Nuevo Desafío

El artículo concluye que, si bien la IA está volviéndose excelente en la parte "verbal" de la tutoría, la parte "visual" sigue siendo un obstosulo importante.

Piensa en esto como enseñarle a un robot a jugar al baloncesto. El robot ha aprendido las reglas y la estrategia (el hablar), pero todavía no puede lanzar el balón de forma consistente hacia la canasta (el señalar). Los investigadores dicen que, para crear tutores de IA verdaderamente efectivos para materias como la geometría, necesitamos descubrir cómo lograr que la IA coordine sus palabras con sus "manos" (los resaltados visuales) de manera mucho más efectiva.

En resumen: GeoDial es un nuevo campo de entrenamiento que nos muestra que la IA puede aprender a hablar como un profesor, pero todavía necesita mucha más práctica para aprender a señalar como uno.

Resumen técnico

Resumen Técnico: GeoDial

Planteamiento del Problema

Si bien la información visual es crítica para el aprendizaje en dominios como las matemáticas, particularmente en la geometría, los conjuntos de datos de tutoría educativa existentes son predominantemente de solo texto. Esta limitación impide el desarrollo de tutores de IA capaces de emular a instructores humanos que dependen de diagramas y señales visuales. Los tutores basados en computadoras anteriores (p. ej., AutoTutor, Cognitive Tutor) utilizaban diagramas pero enfrentaban problemas de escalabilidad en la autoría de guiones. Aunque los Modelos de Lenguaje Extensos (LLM) han abordado la escalabilidad en la tutoría basada en texto, sus iteraciones iniciales carecían de capacidades visuales. Con la llegada de los Modelos de Lenguaje y Visión (VLM), existe la oportunidad de reintegrar la modalidad visual en la tutoría. Sin embargo, existe una falta de conjuntos de datos que capturen cómo los profesores coordinan el lenguaje con la guía visual, como el resaltado de diagramas, para abordar los errores de los estudiantes.

Metodología

Protocolo de Recolección y Anotación de Datos

Los autores presentan GeoDial, un conjunto de datos de tutoría multimodal que comprende más de 1,300 diálogos de profesor-estudiante centrados en la resolución de problemas de geometría. El proceso de recolección de datos involucra una configuración controlada donde profesores de matemáticas interactúan con VLMs que actúan como estudiantes.

• Configuración: Los profesores se les presenta un problema de geometría, su diagrama, la solución correcta y una solución incorrecta del estudiante (generada por un VLM). La conversación procede turno a turno hasta que el profesor decide terminarla.
• Interfaz de Anotación: Para cada turno del profesor, los anotadores deben:
  1. Seleccionar Actos de Diálogo: Elegir de una jerarquía de 5 actos (Genérico, Enfoque, Sondeo, Instrucción, VerFigura) y 16 subactos (p. ej., PedirLongitud, ObtenerRelación, VerResaltado) para definir la estrategia pedagógica.
  2. Resaltar Diagramas: Usar una herramienta de lápiz digital para dibujar sobre el diagrama. Los resaltados están codificados por colores (verde para general, marrón para relaciones secundarias) y deben corresponder al acto seleccionado (p. ej., VerFigura requiere un resaltado).
  3. Seleccionar Retroalimentación: Elegir retroalimentación positiva, negativa o neutral para prefijar la ocurrencia.
  4. Generar Ocurrencia: Los profesores seleccionan de o editan ocurrencias candidatas sugeridas por tres VLMs (Gemini-Flash-2.5, GPT-4o, Claude-Sonnet-4) basadas en la estrategia seleccionada y los resaltados.
• Post-procesamiento: Para reducir el ruido y estandarizar la evaluación, los resaltados humanos de forma libre se convierten en anotaciones textuales estructuradas que representan líneas, ángulos, arcos y etiquetas definidas por puntos con nombre. Esto permite la evaluación por parte de modelos que no pueden generar imágenes directamente.

Configuración Experimental

Los autores ajustaron finamente varios VLMs y modelos de solo texto en GeoDial para evaluar su capacidad de generar el siguiente turno del profesor, incluyendo el acto de diálogo, el subacto, el tipo de retroalimentación, los resaltados del diagrama y la ocurrencia textual.

• Modelos: Los modelos evaluados incluyen VLMs de código cerrado (Gemini, GPT-4o, Claude), modelos de solo texto de código abierto (Qwen3, Llama 3.1) y VLMs de código abierto (Qwen3-VL, InternVL, Llama 3.2-Vision).
• Métricas:
  • Categórica: Macro-F1 para Actos, Subactos y Retroalimentación.
  • Ocurrencia: BLEU y BERTScore.
  • Resaltados: Debido a la alta frecuencia de conjuntos vacíos (no se necesita resaltado), los autores proponen dos métricas: Precisión de Predicción (predecir si se necesita un resaltado) y F1 de Decisión (puntuación F1 calculada solo en instancias donde se requiere un resaltado). También se define una Puntuación Combinada para agregar estas.

Contribuciones Clave

1. Conjunto de Datos GeoDial: El primer conjunto de datos de diálogos de tutoría de geometría que integra estrechamente las estrategias de enseñanza conversacional con resaltados visuales de grano fino fundamentados en el diagrama. Contiene 1,341 diálogos con 5,168 instancias de resaltado anotadas.
2. Protocolo de Anotación: Un protocolo escalable que captura la coordinación del lenguaje y las acciones visuales, incluyendo una taxonomía específica para actos pedagógicos y un mecanismo para estandarizar los resaltados visuales en representaciones textuales.
3. Análisis Empírico de VLMs: Una evaluación exhaustiva que muestra que, si bien el ajuste fino supervisado (SFT) mejora significativamente la calidad de las ocurrencias de tutoría generadas y el andamiaje pedagógico, los VLMs actuales luchan por producir resaltados de diagramas precisos.

Resultados

• Generación de Texto: Los modelos ajustados finamente superan sustancialmente a los modelos base y a los baselines aleatorios en la generación de ocurrencias, actos y subactos pedagógicamente apropiados. Los modelos habilitados para visión generalmente funcionan mejor que los modelos de solo texto, siendo los modelos más grandes (p. ej., Qwen3-VL-32B) los que logran los mejores resultados generales.
• Generación de Resaltados: A pesar de las mejoras en la precisión de la predicción (identificar cuándo resaltar), los modelos tienen dificultades con la F1 de Decisión (identificar qué resaltar).
  • El ajuste fino a menudo lleva a los modelos a "abstenerse" de resaltar con más frecuencia para evitar falsos positivos, lo que reduce la puntuación F1 de Decisión debido a la alta disparidad de ejemplos de conjuntos vacíos en los datos.
  • Experimentos enfocados que separan la predicción de resaltado de la generación de ocurrencias y el uso de entrenamiento ponderado (sobremuestreo de ejemplos positivos) mejoraron el desempeño, pero no resolvieron completamente la dificultad.
  • Los modelos entrenados con ocurrencias de verdad fundamental (ground-truth) funcionaron mejor en el resaltado que aquellos que usaron ocurrencias generadas por modelos, lo que sugiere un acoplamiento estrecho entre el texto y la acción visual que es difícil de aprender simultáneamente.

Significado y Reivindicaciones

El artículo afirma que GeoDial expone un desafío distinto para el modelado pedagógico multimodal: la integración efectiva del razonamiento visual con la interacción instructiva. Mientras que los métodos actuales pueden aprender a generar diálogos de tutoría de alta calidad, fallan en replicar el posicionamiento visual preciso (resaltado de diagramas) utilizado por los instructores humanos.

Los autores posicionan a GeoDial como un recurso para impulsar la investigación futura hacia modelos que puedan coordinar mejor el lenguaje instructivo con la guía visual. Reconocen limitaciones, incluyendo el uso de estudiantes simulados (que pueden no capturar perfectamente todos los comportamientos humanos) y la restricción a la geometría (un subconjunto de las matemáticas). El trabajo enfatiza que cerrar la brecha entre la tutoría basada en texto y la tutoría visualmente fundamentada sigue siendo un obstáculo significativo para la IA en la educación.