AI Meets Mathematics Education: A Case Study on Supporting an Instructor in a Large Mathematics Class with Context-Aware AI

Resumen Técnico: IA y Educación Matemática

1. Planteamiento del Problema

Los cursos universitarios de gran matrícula (con más de 400 estudiantes) enfrentan desafíos persistentes para proporcionar apoyo instruccional oportuno y escalable. Durante periodos críticos, como la preparación para exámenes, el volumen de preguntas en los foros de discusión puede saturar al personal docente.

• Limitaciones actuales: Aunque la IA generativa ofrece promesas, su aplicación directa conlleva riesgos de feedback inexacto, sesgos y desalineación pedagógica.
• Objetivo: Desarrollar un sistema de IA que no solo automatice respuestas, sino que emule el estilo instruccional del personal del curso, proporcionando respuestas precisas, contextualmente relevantes y pedagógicamente alineadas, manteniendo la supervisión humana.

2. Metodología

El estudio se llevó a cabo en un curso de Cálculo I en la École polytechnique fédérale de Lausanne (EPFL), siguiendo un enfoque centrado en el ser humano y colaborativo con el instructor del curso.

A. Recopilación y Curación de Datos:

• Fuente: Se utilizaron más de 3,000 preguntas de estudiantes en un portal de curso que integra notas de clase interactivas con un foro de preguntas y respuestas.
• Conjunto de Datos: Se filtraron y tradujeron (de francés a inglés usando GPT-4o) 2,738 pares de pregunta-respuesta (Q&A).
• Contexto: Cada pregunta se vinculó a un segmento de contexto (aprox. un párrafo de notas de clase o ejercicios).
• Aumento de Datos (Data Augmentation): Para evitar que el modelo aprendiera respuestas demasiado breves, se utilizaron modelos de razonamiento (DeepSeek-R1-Distill-Qwen-32B) para generar pasos intermedios de pensamiento, expandiendo el conjunto de datos a 5,176 pares Q&A para el ajuste fino (fine-tuning).

B. Selección y Entrenamiento del Modelo:

• Enfoque: Se priorizaron modelos ligeros (7-14 mil millones de parámetros) para garantizar la privacidad, la viabilidad de costos y la capacidad de despliegue local.
• Modelos Evaluados: Se compararon varios modelos de código abierto (Llama 3.1, Qwen 2.5, Gemma 3, DeepSeek R1, etc.).
• Selección Final: DeepSeek R1 (versión distilada de 14B) fue seleccionado como el mejor modelo base tras una evaluación inicial por el instructor.
• Ajuste Fino: Se aplicó un fine-tuning supervisado utilizando los datos del curso. El modelo final se entrenó durante 3 épocas en 16 GPUs H100.

C. Evaluación y Despliegue:

• Fase de Desarrollo: Un panel de 5 instructores expertos evaluó 150 preguntas representativas basándose en criterios de corrección, relevancia, completitud y alineación con la intención del estudiante.
• Evaluación Automatizada: Se utilizó GPT-o4-mini para comparar su capacidad de evaluación contra la de los humanos.
• Despliegue Real: El sistema se implementó en el foro del curso durante el otoño de 2025.
• Flujo de Trabajo Híbrido: Las respuestas del modelo se generaban inmediatamente. El instructor revisaba cada respuesta en un plazo de 24 horas, pudiendo: (1) aprobarla, (2) aprobarla con ediciones, (3) añadir comentarios complementarios, o (4) eliminarla si era incorrecta o pedagógicamente inadecuada.
• Encuestas: Se realizaron encuestas a estudiantes (N=105) para medir satisfacción, confianza y percepción de utilidad.

3. Contribuciones Clave

1. Marco de Evaluación Pedagógica: Más allá de la precisión matemática, se definieron métricas para evaluar la alineación con la intención del estudiante (ej. ¿pidió una pista o una solución completa?) y el estilo instruccional.
2. Estrategia de Datos Híbrida: Demostración de cómo el aumento de datos con pasos de razonamiento intermedios mejora la calidad pedagógica de las respuestas de modelos pequeños.
3. Validación de Modelos Ligeros: Evidencia empírica de que modelos de ~14B parámetros, ajustados específicamente para un curso, pueden alcanzar un rendimiento pedagógico útil, siendo significativamente más económicos que los modelos masivos propietarios.
4. Flujo de Trabajo Humano-IA: Propuesta de un sistema donde la IA maneja la carga rutinaria y el humano supervisa los casos complejos o pedagógicamente delicados, mitigando riesgos de alucinaciones.

4. Resultados

Rendimiento del Modelo (Evaluación Humana):

• Precisión: El modelo obtuvo una 75.3% de respuestas totalmente correctas y un 12% mayormente correctas.
• Comparación con el Instructor: En el 36% de los casos, las respuestas del modelo fueron calificadas como iguales o mejores que las del instructor humano.
• Alineación con la Intención: El modelo alineó perfectamente su respuesta con la intención del estudiante en el 44.7% de los casos. Funcionó mejor en preguntas de tipo "explicación" (49% de las consultas) y tuvo dificultades con solicitudes de "pistas" o "verificación".
• Dificultad: El modelo tuvo su mejor rendimiento en preguntas de dificultad media (el tipo más común). En preguntas fáciles, tendió a sobre-explicar; en preguntas difíciles, a veces carecía de profundidad suficiente.

Evaluación Automatizada vs. Humana:

• La evaluación automatizada (GPT-o4-mini) coincidió con los humanos en un 55.3% de los casos.
• Fue más confiable para evaluar la corrección objetiva (acuerdo del 92% en corrección), pero menos fiable para dimensiones subjetivas como la relevancia y la completitud, donde la interpretación pedagógica humana es crucial.

Despliegue y Percepción Estudiantil:

• Uso: Se procesaron 569 preguntas con 154 usuarios activos. El instructor aprobó el 26.3% de las respuestas sin cambios y añadió comentarios en el 27.6%. Se eliminaron el 44.7% (generalmente por desalineación pedagógica, no por errores factuales).
• Confianza: Los estudiantes valoraron la inmediatez (69.5% dijo que ahorró tiempo) y la alineación con el material del curso. Sin embargo, la confianza total fue mixta; muchos estudiantes aún verificaban las respuestas con el instructor, lo que indica una dependencia saludable de la supervisión humana.
• Feedback Cualitativo: Los estudiantes apreciaron que el modelo usaba la notación y ejemplos del curso, a diferencia de herramientas genéricas. Hubo preferencias divididas entre respuestas detalladas y pistas concisas.

5. Significado e Implicaciones

• IA como Amplificador, no Reemplazo: El estudio confirma que la IA no debe reemplazar al instructor, sino expandir su capacidad. La supervisión humana es esencial para garantizar la calidad pedagógica y corregir errores sutiles que los estudiantes podrían no detectar.
• Costo-Eficiencia: El sistema desarrollado es aproximadamente 56 veces más económico que usar GPT-5 o Gemini 2.5 Pro, y 3.5 veces más barato que DeepSeek, haciendo viable su adopción en instituciones con recursos limitados.
• Personalización Pedagógica: Se identifica la necesidad futura de adaptar el nivel de detalle de las respuestas (pistas vs. explicaciones completas) según las necesidades individuales del estudiante y el tipo de pregunta.
• Riesgos y Ética: La implementación exitosa requiere transparencia sobre las limitaciones del modelo y un flujo de trabajo donde el error de la IA sea una oportunidad de aprendizaje (mediado por el instructor) en lugar de un riesgo de desinformación.

En conclusión, este caso de estudio demuestra que un modelo de lenguaje ligero, ajustado específicamente para un contexto educativo y operado bajo un esquema de supervisión humana, puede proporcionar un apoyo instruccional escalable, seguro y pedagógicamente alineado en cursos de gran envergadura.