Resumen Técnico: IA Explicable Calibrada para la Predicción de Riesgo Estudiantil con Intervención con Restricción de Recursos y Desaprendizaje de Máquina

Planteamiento del Problema

Los métodos actuales para predecir estudiantes en riesgo en la educación superior, particularmente en los Cursos Masivos Abiertos en Línea (MOOC) y Entornos Virtuales de Aprendizaje (VLE), sufren limitaciones significativas. Aunque los modelos existentes suelen alcanzar una alta precisión predictiva, frecuentemente carecen de eficiencia en la toma de decisiones, ignoran las restricciones de recursos y no abordan la privacidad de los datos. Específicamente, la literatura revela varias brechas:

• Accionabilidad: La mayoría de los modelos se centran únicamente en la predicción sin integrar estrategias de toma de decisiones o intervención.
• Calibración: Las salidas de probabilidad bruta suelen estar mal calibradas, lo que las hace poco fiables para la puntuación de riesgo y la asignación de recursos.
• Arranque en Frío (Cold Start): Muchos modelos requieren datos históricos completos, lo que los hace ineficaces para estudiantes recién admitidos con un historial de interacción limitado.
• Privacidad: Pocos estudios abordan el "derecho al olvido" o la capacidad de eliminar puntos de datos específicos de un modelo entrenado sin un reentrenamiento completo (desaprendizaje de máquina).
• Explicabilidad: Existe una falta de transparencia en cómo se realizan las predicciones, lo que dificulta la confianza y la adopción por parte de los educadores.

Metodología

El marco propuesto integra modelado predictivo, calibración de probabilidad, IA explicable (XAI), inteligencia de decisión y mecanismos de preservación de la privacidad utilizando el Conjunto de Datos de Analítica de Aprendizaje de la Open University (OULAD).

1. Preprocesamiento de Datos e Ingeniería de Características

El estudio utiliza cuatro tablas principales de OULAD: studentInfo, studentVle, assessments y studentAssessment. El conjunto de datos (32,593 estudiantes) se divide en conjuntos de entrenamiento (26,074) y de prueba (6,519) mediante muestreo estratificado.

• Imputación: Valores medianos para atributos numéricos y valores de moda para atributos categóricos.
• Construcción de Características: Se han diseñado tres categorías distintas de características:
  • Compromiso (Engagement): Clics totales, días activos, lapso de actividad, clics por día.
  • Evaluación: Puntuación media, varianza de la puntuación, patrones de entrega, ratio de entregas tardías.
  • Tendencias de Comportamiento: Tendencias de compromiso, ratios de días de inactividad e indicadores de compromiso temprano.

2. Modelado Predictivo

El estudio evalúa la Regresión Logística (LR), el Bosque Aleatorio (RF) y XGBoost.

• Selección: Se selecciona XGBoost como el algoritmo principal debido a su capacidad superior para capturar interacciones no lineales y su fuerte capacidad de clasificación (ranking).
• Hiperparámetros: El modelo utiliza 300 estimadores, una profundidad máxima de 5, una tasa de aprendizaje de 0.05 y un submuestreo de 0.9 para equilibrar la complejidad y la generalización.

3. Calibración de Probabilidad y Puntuación de Riesgo

Para asegurar que las probabilidades predichas reflejen fielmente los niveles reales de riesgo, se aplica Regresión Isotónica a la salida de XGBoost.

• Puntuación de Riesgo: Definida como la probabilidad calibrada $P(at\_risk = 1 | X_i)$.
• Beneficio: Esto permite un umbral flexible y la priorización en lugar de una clasificación binaria rígida.

4. Capa de Decisión Agéntica

Una capa basada en reglas convierte las puntuaciones de riesgo calibradas en intervenciones sensibles al contexto.

• Lógica: Las intervenciones se asignan basadas en umbrales de riesgo (por ejemplo, un Riesgo $\ge$ 0.80 activa asistencia inmediata de un mentor; 0.60–0.80 activa acciones de apoyo).
• Integración: Esta capa combina las salidas predictivas con indicadores de comportamiento (por ejemplo, ratios de inactividad) para determinar la acción más efectiva.

5. Política de Intervención Consciente del Presupuesto

Reconociendo que las instituciones tienen recursos limitados, el marco implementa un enfoque con restricción presupuestaria.

• Puntuación: Se calcula una puntuación de intervención final: $FinalScore = 0.7 \times RiskScore + 0.3 \times PriorityWeight$.
• Selección: Los estudiantes son clasificados por esta puntuación, y los $K$ mejores estudiantes son seleccionados para la intervención basándose en el presupuesto disponible, asegurando una alta precisión en la asignación de recursos.

6. Arranque en Frío y Desaprendizaje de Máquina

• Modelo de Arranque en Frío (Cold-Start): Se entrena un modelo separado utilizando solo características de etapa temprana (demografía e interacción inicial) para predecir el riesgo de nuevos estudiantes con datos limitados.
• Desaprendizaje de Máquina: Para garantizar el cumplimiento de la privacidad, el marco evalúa la eliminación de un subconjunto de datos de entrenamiento (simulando el "derecho al olvido"). El modelo se reentrena con los datos restantes para evaluar la estabilidad del rendimiento.

7. Explicabilidad

Se utiliza SHAP (SHapley Additive exPlanations) para proporcionar interpretabilidad global y local, identificando qué características (por ejemplo, compromiso, recencia de actividad) impulsan las predicciones específicas.

Resultados Clave

Rendimiento Predictivo

• Rendimiento de XGBoost: El XGBoost no calibrado alcanzó una Exactitud de 0.920, un F1-score de 0.922 y un ROC-AUC de 0.976.
• XGBoost Calibrado: Tras aplicar la regresión isotónica, el modelo alcanzó una Exactitud de 0.941, un F1-score de 0.943 y un ROC-AUC de 0.985.
• Comparación: Los métodos de ensamble superaron significativamente a la Regresión Logística, demostrando el XGBoost calibrado el mayor poder discriminativo.

Calibración y Explicabilidad

• Curva de Calibración: El modelo calibrado siguió de cerca la línea diagonal, confirmando que las probabilidades predichas son fiables para la toma de decisiones.
• Análisis SHAP: Identificó las características de compromiso (clics, lapso de actividad) y las métricas de evaluación como los predictores más fuertes del riesgo estudiantil.

Intervención Consciente del Presupuesto

• Compromiso entre Precisión y Recall: Bajo restricciones de presupuesto pequeñas (5%–20% de la población estudiantil), el sistema mantuvo una precisión casi perfecta, asegurando que los casos más críticos sean atendidos primero. A medida que el presupuesto aumentaba, el recall mejoraba, capturando más estudiantes en riesgo.

Arranque en Frío y Desaprendizaje

• Arranque en Frío: El modelo de etapa temprana logró un ROC-AUC de aproximadamente 0.79, demostrando un rendimiento aceptable para la intervención proactiva a pesar de la escasez de datos.
• Desaprendizaje de Máquina: Eliminar el 5% de los datos de entrenamiento resultó en una degradación insignificante del rendimiento:
  • Caída de ROC-AUC: 0.0002 (caída relativa de 0.0204%).
  • Caída de F1-Score: 0.0005 (caída relativa de 0.0527%).
    Esto confirma la robustez del modelo y su independencia de puntos de datos individuales específicos.

Significación y Contribuciones

El artículo afirma cerrar la brecha entre el modelado predictivo y la implementación práctica en entornos educativos. Sus principales contribuciones incluyen:

1. Marco Integrado: A diferencia de trabajos previos que se centran únicamente en la predicción, este estudio presenta un sistema de extremo a extremo que combina predicción, calibración, explicabilidad y toma de decisiones.
2. Optimización de Recursos: La política consciente del presupuesto aborda la realidad de los recursos institucionales limitados, priorizando a los estudiantes de alto riesgo para maximizar el impacto de la intervención.
3. Cumplimiento de Privacidad: La demostración del desaprendizaje de máquina con una pérdida de rendimiento mínima proporciona una vía para la gestión de datos estudiantiles conforme al RGPD.
4. Intervención Temprana: La capacidad de arranque en frío permite la identificación de riesgos al comienzo mismo del viaje académico del estudiante, una capacidad que suele faltar en los modelos de aprendizaje profundo que requieren grandes volúmenes de datos.
5. Información Accionable: Mediante el uso de SHAP y una capa de agente basada en reglas, el sistema traduce las salidas complejas del modelo en estrategias de intervención claras y conscientes del contexto para los educadores.

El estudio concluye que, si bien los métodos tradicionales priorizan la exactitud, una ruta viable para una analítica de aprendizaje efectiva requiere un enfoque holístico que equilibre la exactitud de la predicción con la inteligencia de decisión, las restricciones de recursos y la preservación de la privacidad.