Knowing When to Defer: Selective Prediction for Responsible Knowledge Tracing

1. Declaración del Problema

Los modelos de Rastreo de Conocimientos (KT) están diseñados para predecir el rendimiento futuro de un estudiante en preguntas educativas basándose en su historial de interacciones. Aunque las arquitecturas recientes de aprendizaje profundo (por ejemplo, DKT, SAKT, AKT) han mejorado la precisión predictiva, adolecen de una limitación crítica en su despliegue en el mundo real: carecen de la capacidad de cuantificar su propia incertidumbre.

• La Brecha: Los modelos KT tradicionales producen estimaciones puntuales (por ejemplo, "80% de probabilidad de acierto") sin indicar confianza. Esto conduce a una baja especificidad, donde los modelos realizan predicciones incorrectas con confianza que pasan desapercibidas.
• El Objetivo: El artículo propone tratar el despliegue responsable de KT como un problema de Predicción Selectiva. En lugar de forzar una predicción en cada instancia, el modelo debe identificar casos de alta incertidumbre y delegarlos a un docente humano, mejorando así la fiabilidad y seguridad general del sistema.

2. Metodología

Los autores introducen una capa de predicción selectiva intrínseca que se integra directamente con los modelos KT existentes sin requerir reentrenamiento.

A. Cuantificación de la Incertidumbre mediante MC-Dropout

El mecanismo central para estimar la incertidumbre es el Dropout de Monte Carlo (MC-Dropout).

• Proceso: Durante la inferencia, las capas de dropout permanecen activas. El modelo realiza $M$ pasadas forward estocásticas para una sola entrada.
• Métricas:
  • Predicción Media ($\bar{p}$): La probabilidad promedio a través de las $M$ pasadas.
  • Señal de Incertidumbre: La varianza (o entropía) de las predicciones a través de las $M$ pasadas. Una alta varianza indica alta incertidumbre epistémica (el modelo no está seguro de su representación aprendida del estado del estudiante).
• Estrategia de Selección: Las predicciones se ordenan por la varianza de MC-Dropout. El sistema se abstiene (delega) en el $X\%$ superior de las predicciones más inciertas (por ejemplo, el 20% superior) y solo emite predicciones para los casos restantes en los que tiene confianza.

B. Configuración Experimental

• Conjuntos de Datos: El estudio utiliza el conjunto de datos matemáticos Eedi, un conjunto de datos a gran escala del mundo real que contiene registros de preguntas y respuestas.
• Arquitecturas: El método se evalúa en tres familias KT dominantes:
  1. DKT (Rastreo de Conocimientos Profundo): Basado en LSTM.
  2. SAKT (Rastreo de Conocimientos Auto-atento): Basado en auto-atención.
  3. AKT (Rastreo de Conocimientos Atento): Atención consciente del contexto con mecanismos de olvido.
• Líneas Base:
  • 2PL IRT Calibrado: Un modelo estándar de Teoría de Respuesta al Ítem (Logística de Dos Parámetros) utilizado como línea base psicométrica para la incertidumbre.
  • Pila Psicométrica Clásica: Un análisis de regresión que prueba si la incertidumbre puede explicarse mediante características estándar: dificultad de la pregunta, habilidad del estudiante, ambigüedad del resultado IRT y cobertura del currículo.

3. Contribuciones Clave

1. Mejora Agnóstica a la Arquitectura: Se demostró que la predicción selectiva mejora la precisión, el AUC y las puntuaciones F1 en DKT, SAKT y AKT sin reentrenamiento.
2. Superioridad sobre Líneas Base Psicométricas: Se probó que la varianza de MC-Dropout es una señal significativamente más fuerte para la delegación que un modelo 2PL IRT calibrado.
3. Descomposición de la Varianza (Contenido Epistémico): Se mostró que las características psicométricas clásicas (dificultad, habilidad, etc.) explican menos del 4% (lineal) al 23% (no lineal) de la incertidumbre del modelo. El 77–90% restante es contenido epistémico específico de la arquitectura (incertidumbre sobre la trayectoria secuencial única del estudiante) que modelos más simples no pueden capturar.
4. Equidad y Enfoque: Se verificó que la estrategia de delegación está altamente enfocada (delegando errores reales) y es equitativa (no delega desproporcionadamente a estudiantes de baja habilidad).

4. Resultados Clave

A. Ganancias de Rendimiento (al 80% de Cobertura)

Al delegar el 20% de las predicciones más inciertas, los modelos lograron aumentos significativos en las métricas sin reentrenamiento:

• Precisión: +2.3 a +3.0 puntos porcentuales (pp).
• AUC: +1.9 a +2.4 pp.
• Puntuación F1: +1.4 a +4.3 pp.
• Significancia Estadística: Todas las mejoras fueron estadísticamente significativas con intervalos de confianza ajustados.

B. Enfoque y Equidad

• Tasa de Error: El conjunto de predicciones delegadas tuvo una tasa de error 1.45 a 1.60 veces mayor que el conjunto mantenido. En las preguntas más difíciles, esta relación alcanzó 2.3–2.5x.
• Equidad: La tasa de abstención fue consistente entre los cuartiles de habilidad del estudiante (oscilando entre 16–23%, cerca de la línea base del 20%). Crucialmente, el modelo no recurrió por defecto a delegar a estudiantes de baja habilidad; los estudiantes más débiles fueron delegados menos que otros, evitando un modo de fallo común en la IA educativa.

C. Comparación con la Línea Base IRT

• Al 80% de cobertura, MC-Dropout proporcionó un aumento de AUC de 2.0–2.4 pp.
• La línea base 2PL IRT calibrada proporcionó solo un aumento de 0.41–0.46 pp.
• Conclusión: MC-Dropout ofrece aproximadamente 5 veces el aumento de la línea base IRT, demostrando que captura incertidumbre epistémica genuina más allá de la simple dificultad del ítem y la habilidad del estudiante.

D. Descomposición de la Varianza (El "Por qué")

Los autores regresaron la incertidumbre epistémica del modelo (usando la descomposición BALD) contra una pila de características clásicas:

• Modelo Lineal: La varianza explicada fue < 4%.
• Modelo No Lineal (Random Forest): La varianza explicada aumentó a ~23% (máximo para DKT), dejando un 77–90% sin explicar.
• Implicación: La señal de incertidumbre es en gran medida específica de la arquitectura. Surge de la representación interna no lineal del modelo sobre la trayectoria de aprendizaje única de un estudiante, la cual no puede reconstruirse mediante heurísticas externas o proxies psicométricos más simples.

5. Significado y Conclusión

Este artículo establece que el Rastreo de Conocimientos responsable requiere más que solo alta precisión; requiere conciencia de la incertidumbre.

• Necesidad de Incertidumbre Nativa: El estudio demuestra que confiar en proxies externos (como IRT o cobertura del currículo) es insuficiente para un despliegue seguro. La propia señal de incertidumbre interna del modelo (mediante MC-Dropout) es necesaria para detectar predicciones de alto riesgo.
• Estrategia de Despliegue: La capa propuesta de "Predicción Selectiva" actúa como un guardián. Las predicciones de baja varianza se alimentan directamente en el motor de recomendación, mientras que las predicciones de alta variedad activan una solución de respaldo (por ejemplo, revisión docente, preguntas de diagnóstico o cuestionarios de dominio).
• Complementariedad: Este enfoque no es un sustituto de auditorías de equidad o evaluaciones en el aula, sino un componente complementario esencial para construir sistemas de IA educativa seguros y conscientes de la confianza.

En resumen, el artículo argumenta que, para que los modelos KT se desplieguen responsablemente en aulas reales, deben estar equipados con un mecanismo para "saber cuándo no saben", y MC-Dropout proporciona una solución robusta y nativa de la arquitectura para lograrlo.