Resumen Técnico: ¿Pueden los Modelos de Lenguaje Visual ser Adaptativos en la Educación Matemática? Un Estudio de Rúbrica Basado en Modelos de Aprendizaje

1. Declaración del Problema

Aunque los Modelos de Lenguaje Visual (VLM) se adoptan cada vez más como agentes de tutoría personalizada en la educación matemática, existe una falta crítica de evaluación sistemática sobre su capacidad para adaptarse a diversos perfiles de aprendizaje. Los VLM actuales funcionan principalmente como "resolutores" que priorizan la corrección de la respuesta, en lugar de actuar como "agentes educativos" que proporcionan orientación pedagógicamente transparente alineada con la Zona de Desarrollo Próximo del estudiante.

Los paradigmas de evaluación existentes reflejan en gran medida entornos de solo texto, centrándose en la precisión de la respuesta a preguntas visuales mientras descuidan la calidad del razonamiento instruccional y la capacidad de adaptar la orientación según el contexto del estudiante (por ejemplo, conocimientos previos, actitud de aprendizaje, autoeficacia). Además, cuando los estudiantes no comparten explícitamente datos detallados de rendimiento, sigue sin estar claro si los VLM pueden inferir perfiles de aprendizaje o generar respuestas instruccionales verdaderamente apropiadas y diferenciadas. Este artículo aborda la brecha en la evaluación de si los VLM pueden demostrar capacidades instruccionales adaptativas en tareas de tutoría matemática fundamentadas visualmente.

2. Metodología

2.1 Rúbrica Basada en Modelo de Aprendizaje

Los autores proponen una rúbrica novedosa fundamentada en el marco de aprendizaje adaptativo (Shute y Towle, 2018) y las características de los estudiantes identificadas por Bernacki et al. (2021). La rúbrica formaliza la evaluación de la adaptatividad en tres dimensiones principales:

1. Adaptatividad: El foco evaluativo central, subdividido en:
   • Aspectos Cognitivos: Conocimiento actual, alcance del contenido (alineado con los Estándares Estatales Básicos Comunes) y nivel de dificultad.
   • Aspectos Motivacionales: Actitud hacia el aprendizaje y autoeficacia.
   • Complejidad: Explicación del significado de la pregunta, provisión de ejemplos, práctica adicional y pistas paso a paso.
2. Corrección: Evalúa la validez matemática de la respuesta final y el razonamiento de la solución (P10–P12).
3. Calidad: Evalúa la calidad de la generación, incluyendo alucinaciones, coherencia lógica, fidelidad a las instrucciones y formato (P13–P19).

2.2 Diseño Experimental

• Conjunto de Datos: Un conjunto de datos estratificado de 10 preguntas matemáticas representativas (5 de 4.º grado, 5 de 8.º grado) extraídas del Estudio de Tendencias Internacionales en Matemáticas y Ciencias (TIMSS) de 2019 y 2023. El 90 % de los ítems están fundamentados visualmente (requieren interpretación de diagramas).
• Perfiles de Aprendizaje: Seis perfiles sintéticos construidos a partir de estadísticas del TIMSS, que varían según el grado (4/8), nivel de rendimiento (Alto, Intermedio, Bajo), actitud de aprendizaje y confianza autoinformada.
• Condiciones de Contexto: Cuatro grupos de prueba ($C_1$ a $C_4$) con información específica del estudiante que aumenta monótonamente:
  • $C_1$: Solo pregunta de matemáticas.
  • $C_2$: Pregunta + Prompt del usuario (actitud/confianza).
  • $C_3$: Pregunta + Prompt del sistema (objetivos de grado) + Prompt del usuario.
  • $C_4$: Pregunta + Prompt del sistema + Prompt del usuario + Perfil completo del estudiante (incluyendo puntuaciones del TIMSS).
• Modelos Evaluados: Cinco VLMs de última generación (GPT-5, GPT-o1, Gemini-2.5-Flash, Llama3.2-11B-VL, Qwen3-30B-VL).
• Anotación: Cuatro expertos del dominio anotaron 600 respuestas del modelo utilizando la rúbrica. El acuerdo entre evaluadores fue fuerte ($\kappa = 0.87$).

3. Resultados Clave

3.1 Rendimiento en Adaptatividad

• Variación entre Modelos: Existen diferencias significativas en la adaptatividad entre los modelos ($F(4, 705) = 41.81, p < .001$). Gemini-2.5-Flash y Qwen3-30B-VL lograron puntuaciones de adaptatividad significativamente más altas que GPT-5, GPT-o1 y Llama3.2-11B-VL.
• Insensibilidad al Perfil del Estudiante: Las puntuaciones de adaptatividad mostraron ninguna asociación significativa con los niveles de rendimiento del estudiante ($p = .18$). Los modelos tendieron a recurrir por defecto a un estilo pedagógico "talla única", fallando en diferenciar estrategias instruccionales según necesidades específicas del estudiante (por ejemplo, estudiantes de alto rendimiento frente a estudiantes de bajo rendimiento).
• Sensibilidad al Contexto: La adaptatividad mejoró significativamente con la disponibilidad de más información contextual ($F(3, 708) = 92.73, p < .001$). El Grupo 1 (solo pregunta) obtuvo puntuaciones significativamente más bajas que los Grupos 2–4. Sin embargo, incluso con contexto completo, los modelos lucharon por producir consistentemente respuestas basadas en el modelo de aprendizaje.

3.2 Corrección y Calidad

• Corrección: Impulsada principalmente por diferencias entre modelos ($p < .001$). Gemini-2.5-Flash y los modelos basados en GPT superaron a Llama3.2-11B-VL. La corrección fue robusta a través de los perfiles de aprendizaje, lo que sugiere que los modelos o bien alcanzaron un techo de rendimiento con prompts básicos o ignoraron los prompts del sistema suplementarios.
• Calidad: Existió una variación significativa entre los modelos ($p < .001$). Llama3.2-11B-VL produjo significativamente más errores. Qwen3-30B-VL logró la mayor adaptatividad promedio, pero sufrió en corrección y calidad debido a generaciones excesivamente largas que a menudo fueron truncadas o incompletas.

3.3 Observaciones Específicas

• Negligencia Motivacional: Los modelos mostraron una adaptación mínima a las actitudes de los estudiantes y la autoeficacia. Por ejemplo, GPT-o1 abordó preocupaciones sobre la autoeficacia en solo el 8 % de los casos aplicables.
• Desalineación del Conocimiento: Proporcionar antecedentes del estudiante no garantizó una retroalimentación apropiada. En algunos casos, los modelos proporcionaron explicaciones más detalladas a estudiantes de alto rendimiento que a estudiantes intermedios que requerían más andamiaje.
• Fallos Multimodales: Los ítems de geometría plantearon desafíos significativos. Los modelos frecuentemente confundieron las etiquetas de las opciones con valores numéricos (por ejemplo, responder "6 kg" en lugar de "D") o alucinaron información de los diagramas, lo que llevó a puntuaciones de corrección bajas a pesar de un razonamiento plausible.

4. Contribuciones Clave

1. Rúbrica Basada en Modelo de Aprendizaje: La propuesta de un marco de evaluación sistemático que desentraña la intención pedagógica (adaptatividad) de la precisión técnica (corrección/calidad), fundamentado en dimensiones cognitivas, motivacionales y de complejidad.
2. Conjunto de Datos de Evaluación Sintético: Construcción de un conjunto de datos anotado por humanos basado en ítems del TIMSS, incorporando diversos perfiles de aprendizaje y condiciones contextuales controladas para simular escenarios de tutoría realistas.
3. Análisis Empírico: Análisis directo de cinco VLMs de última generación, revelando que, aunque los modelos muestran cierta sensibilidad al contexto, su comportamiento adaptativo sigue siendo limitado e inconsistente, particularmente en lo que respecta a factores motivacionales y andamiaje diferenciado.

5. Significado y Afirmaciones

El artículo afirma que, aunque los VLM muestran promesa como herramientas educativas, actualmente carecen del andamiaje matizado requerido para un aprendizaje adaptativo genuino. El estudio destaca una brecha entre las respuestas de tutoría genéricas y la instrucción verdaderamente adaptativa que se alinea con el trasfondo académico específico y el estado psicológico del estudiante.

Los autores posicionan este trabajo como una evaluación de línea base. Afirman explícitamente que una respuesta clasificada como "adaptativa" en este estudio no representa necesariamente una respuesta adaptativa de alto nivel y alta calidad. El significado radica en proporcionar una herramienta principista para comparar sistemáticamente las capacidades adaptativas e identificar que los modelos actuales a menudo recurren a guiones genéricos cuando se introduce o elimina un contexto crítico. El trabajo subraya la necesidad de metodologías de evaluación que prioricen la alineación pedagógica con los estudiantes para guiar el desarrollo de modelos multimodales más fundamentados en la educación.

6. Limitaciones

Los autores reconocen varias limitaciones:

• Las preguntas de la rúbrica para la adaptatividad no son exhaustivas (por ejemplo, faltan variables afectivas y socioculturales).
• El número limitado de ítems matemáticos puede resultar en una cobertura insuficiente de la adaptatividad pedagógica.
• El estudio utilizó perfiles de aprendizaje simulados en lugar de estudiantes reales, lo que podría pasar por alto comportamientos de aprendizaje complejos inherentes a la interacción humano-IA.
• La rúbrica sirve como línea base; no evalúa la profundidad o sofisticación de las estrategias adaptativas más allá de los criterios definidos.