Towards Generalizable Representations of Mathematical Strategies

1. Planteamiento del Problema

El dominio de las matemáticas, especialmente el álgebra, es fundamental para el éxito en STEM. Sin embargo, muchos estudiantes luchan con conceptos básicos y la flexibilidad estratégica. Aunque la comunidad de Minería de Datos Educativos (EDM) reconoce la importancia de analizar el proceso de resolución de problemas (no solo el resultado final), existen limitaciones significativas en la representación de estas estrategias:

• Falta de generalización: Los métodos anteriores dependen de etiquetas manuales (laboriosas y no escalables) o de acciones específicas de una plataforma (limitando la transferibilidad entre sistemas).
• Enfoque en estados individuales: Los modelos existentes suelen codificar estados algebraicos individuales o pasos aislados, pero no capturan la estrategia global de una secuencia completa de solución.
• Necesidad de métricas escalables: No existen métodos escalables para medir constructos cognitivos como la creatividad matemática, la flexibilidad estratégica y el pensamiento divergente basados en los datos de las trayectorias de solución.

El objetivo del trabajo es desarrollar un enfoque para aprender representaciones invariantes al problema de trayectorias completas de solución algebraica, que sean agnósticas a la plataforma y capaces de capturar la esencia de la estrategia del estudiante.

2. Metodología

Los autores proponen un pipeline de aprendizaje de representaciones que consta de tres etapas principales:

A. Construcción de Embeddings de Transición

En lugar de representar directamente los estados algebraicos (expresiones completas), el modelo se centra en las transiciones entre estados.

• Se utilizan modelos preentrenados de alta capacidad (como MathBERT, MathBERT-mamut) como codificadores fijos para obtener vectores de estados ($h_t$).
• Se calculan los embeddings de transición ($\delta_t$) como la diferencia vectorial entre estados consecutivos: $\delta_t = h_t - h_{t-1}$.
• Justificación: Este enfoque enfatiza las transformaciones algebraicas (operaciones) en lugar de las características específicas del problema (la forma superficial de la expresión), lo que mejora la generalización entre diferentes problemas.

B. Aprendizaje de Representaciones a Nivel de Secuencia (SimCSE)

Para generar una representación fija de toda la secuencia de solución, se emplea un marco de aprendizaje contrastivo basado en SimCSE (Simple Contrastive Learning of Sentence Embeddings).

• Arquitectura: Un modelo basado en Transformer toma la secuencia de embeddings de transición como entrada.
• Objetivo de Entrenamiento: Se utilizan máscaras de dropout independientes en la misma secuencia para crear pares positivos (equivalentes semánticamente) y se empujan los pares negativos (otras secuencias del batch) para separarlas en el espacio latente.
• Hiperparámetros: Se optimiza el número de capas del Transformer ($L$) y la dimensión del embedding de secuencia ($k$).

C. Evaluación y Métricas Derivadas

Para validar la capacidad representativa y medir la creatividad, se utilizan tres tareas de "probing" (sondeo) y tres métricas derivadas:

1. Tareas de Evaluación:
   • Clasificación de Tipos de Acción: Predecir qué tipos de acciones (ej. sumar, multiplicar) están presentes en la secuencia (clasificación multietiqueta).
   • Predicción de Eficiencia: Clasificar si una ruta es óptima, subóptima o incompleta.
   • Reconstrucción de Secuencia: Reconstruir el orden de las acciones originales a partir del embedding (usando un LSTM).
2. Métricas de Creatividad (Derivadas de la distancia semántica):
   • Unicidad de Estrategia: Distancia de Mahalanobis de la solución del estudiante respecto a la distribución global (medida de originalidad).
   • Diversidad de Estrategia: Disimilitud promedio entre las múltiples intentos de un mismo estudiante (medida de fluidez/exploración).
   • Conformidad de Estrategia: Similitud coseno con la solución óptima más frecuente (medida de convergencia hacia métodos eficientes).

Datos: Se utilizó un conjunto de datos de un Ensayo Controlado Aleatorio (RCT) masivo con 4,092 estudiantes de séptimo grado utilizando la plataforma gamificada "From Here To There!" (FH2T).

3. Contribuciones Clave

• Representación Invariante al Problema: Demostración de que los embeddings basados en transiciones (diferencias de estados) capturan mejor la semántica de la estrategia algebraica que los embeddings basados en estados individuales, los cuales están dominados por el contenido específico del problema.
• Aprendizaje No Supervisado de Estrategias: Un método que no requiere etiquetas manuales de acciones para entrenar la representación de la secuencia, logrando generalización entre problemas y plataformas.
• Proxies Escalables para Creatividad Matemática: Definición y validación de métricas cuantitativas (Unicidad, Diversidad, Conformidad) basadas en distancias en el espacio de embeddings que sirven como sustitutos escalables para el pensamiento divergente y la flexibilidad cognitiva.

4. Resultados Principales

• Análisis Geométrico (RQ1): Los embeddings de transición mostraron una invarianza clara al contenido del problema, agrupándose por tipo de operación algebraica en lugar de por ID del problema, a diferencia de los embeddings de estado.
• Capacidad Representativa (RQ2):
  • El modelo SimCSE con codificador MathBERT-mamut (1 capa Transformer, dimensión 768) superó a los métodos de pooling promedio (baselines) en la predicción de contenido de acciones y reconstrucción de secuencias.
  • Esto confirma que los embeddings aprenden el orden y la composición de las transiciones matemáticas.
  • Curiosamente, la predicción de eficiencia no mejoró significativamente con SimCSE, sugiriendo que el objetivo contrastivo prioriza la estructura de la secuencia sobre la longitud/eficiencia.
• Relación con Resultados de Aprendizaje (RQ3):
  • Las métricas derivadas de los embeddings (Unicidad, Diversidad y Conformidad) fueron predictores positivos y estadísticamente significativos ($p < .001$) tanto para resultados a corto plazo (conocimiento conceptual, procedimental y flexibilidad) como para resultados a largo plazo (puntuaciones en exámenes estatales de 7º grado).
  • La Conformidad (alineación con estrategias óptimas comunes) mostró el efecto más fuerte, seguida de la Unicidad y la Diversidad.
  • Esto sugiere que el aprendizaje efectivo implica un equilibrio entre el pensamiento convergente (encontrar la solución óptima) y el divergente (explorar múltiples estrategias).

5. Significado e Impacto

Este trabajo avanza significativamente en la Minería de Datos Educativos al proporcionar una metodología agnóstica a la plataforma para analizar el comportamiento de resolución de problemas.

• Escalabilidad: Elimina la necesidad de codificación manual, permitiendo el análisis de grandes volúmenes de datos educativos.
• Nuevas Métricas Educativas: Ofrece herramientas para cuantificar la creatividad matemática y la flexibilidad estratégica de manera objetiva, complementando las métricas tradicionales de precisión y tiempo de respuesta.
• Aplicaciones Futuras: Los resultados abren la puerta a sistemas de tutoría inteligente que puedan sugerir estrategias alternativas para fomentar el pensamiento divergente, o diseñar intervenciones pedagógicas basadas en la diversidad estratégica de los estudiantes.

En resumen, el artículo demuestra que las representaciones de secuencias basadas en transiciones, aprendidas mediante contraste, son herramientas poderosas para descomponer, analizar y predecir el éxito en el aprendizaje matemático más allá de la simple corrección de respuestas.