When Offline Selectors Cannot Beat the Best Single Model: A Diagnostic Study on edX Dropout Prediction

Resumen Técnico: Cuando los selectores offline no pueden superar al mejor modelo único

Formulación del Problema
El artículo aborda el problema del meta-aprendizaje offline para la selección dinámica de modelos, específicamente dentro del contexto de datos educativos. La tarea se enmarca como un bandit contextual donde un agente debe seleccionar el modelo base con mejor desempeño de un conjunto de clasificadores pre-entrenados ($M = \{m_1, \dots, m_K\}$) para cada instancia individual (par estudiante-curso) basándose en un vector de estado $s$. El objetivo es superar al modelo estático único más fuerte aprovechando el hecho de que diferentes modelos sobresalen en distintas regiones del espacio de características.

Los autores investigan por qué los selectores offline, entrenados en datos registrados, fallan sistemáticamente en recuperar el "margen del oráculo" (oracle headroom): la ganancia teórica de precisión disponible si se pudiera seleccionar perfectamente el mejor modelo para cada instancia. Hipotetizan tres causas potenciales para este fallo, que a menudo se confunden en la práctica:

1. Fallo Algorítmico: El algoritmo de aprendizaje por refuerzo (RL) offline o de clonación de comportamiento (BC) es insuficiente (por ejemplo, debido al conservadurismo o a una especificación errónea de la recompensa).
2. Fallo de Representación: La representación del estado carece de la información necesaria para predecir qué modelo ganará.
3. Fallo Distribucional: Existe un cambio entre la distribución de las etiquetas del oráculo en el búfer offline y la distribución en el momento de la evaluación.

Metodología: Un Protocolo de Diagnóstico de Tres Etapas
Para desentrañar estas causas sin necesidad de ajustes adicionales, los autores proponen un protocolo de diagnóstico de tres etapas aplicado a un búfer offline compartido:

• Etapa 1: Consistencia de Etiquetas Locales (k-NN).
  Los autores miden la consistencia local de las acciones del oráculo mediante un enfoque de $k$-vecinos más cercanos (k-NN). Para cada estado en el búfer, comprueban si sus vecinos comparten la misma acción del oráculo (el modelo base que predice correctamente la etiqueta real). Una puntuación de consistencia baja indica ambigüedad representacional local, lo que sugiere que ningún selector local puede distinguir de forma fiable el mejor modelo basándose en las características actuales del estado. También se entrena un selector de 10-NN mantenido fuera (held-out) para calibrar cómo esta ambigüedad local se traduce en el rendimiento en el tiempo de prueba.

• Etapa 2: Algoritmo vs. Representación (Ablación Pareada).
  Para distinguir entre fallos algorítmicos y de representación, los autores entrenan dos políticas distintas sobre el mismo búfer:

  1. Clonación de Comportamiento (BC): Un clasificador multiclase supervisado entrenado con entropía cruzada de etiquetas duras (hard-label cross-entropy).
  2. RL Offline (DQN y CQL): Una red Q-Deep (DQN) y una variante de Aprendizaje Q Conservador (CQL) entrenadas con un objetivo de bandit de un solo paso y recompensas de coincidencia con el oráculo.
     Si ambos enfoques, tanto el supervisado como el de RL, fallan por márgenes similares, el cuello de botella es probablemente compartido (representación o distribución) en lugar de algorítmico. Si divergen, la elección del algoritmo es la culpable. Se utiliza CQL específicamente para probar si el conservadurismo es el factor limitante.

• Etapa 3: Valor Marginal de las Características (Ablación de Estado).
  Los autores prueban si las características conductuales diseñadas proporcionan señal más allá de lo que ya está codificado en los vectores de probabilidad de los modelos base. Comparan un selector de "estado completo" (38 dimensiones: 28 características conductuales + 5 probabilidades + metadatos) frente a un selector de "solo probabilidades" (5 dimensiones). También prueban "transformaciones derivadas del desacuerdo" (por ejemplo, desviación estándar, diferencias de pares) para ver si representaciones más ricas del vector de probabilidad mejoran el rendimiento.

Configuración Experimental
El protocolo se aplica a datos de clickstream de edX que involucran 223,505 pares estudiante-curso y 84.5 millones de eventos.

• Modelos Base: Cinco clasificadores pre-entrenados (Regresión Logística, Random Forest, Gradient Boosting, Calibrated RF y un Ensamble de Stacking) entrenados para predecir el abandio del curso (dropout).
• Tarea: Seleccionar el mejor modelo para una ventana de predicción de 14 días basada en una ventana de observación de 14 días.
• Oráculo: Definido como el modelo base que asigna la mayor probabilidad a la clase real.

Resultos Clave

1. El Margen del Oráculo Existe: En 16 configuraciones de ventanas de observación/predicción, el oráculo por instancia supera al mejor modelo base único en un promedio de 9.7 puntos de precisión (rango 4.5–15.5). En la configuración principal, la brecha es de 6.3 puntos (Oráculo: 0.825 vs. Mejor Estático: 0.762).
2. Los Selectores no logran Recuperar el Margen: A pesar de la significativa brecha del oráculo, todos los selectores aprendidos (BC, DQN, CQL) se agrupan estrechamente alrededor de 0.748 de precisión de prueba, fallando en superar la referencia estática (0.762). Este resultado es robusto a través de diversos tamaños de búfer (hasta 8,000 ejemplos de entrenamiento) y conjuntos de prueba mantenidos fuera (hasta 2,000 ejemplos).
3. Diagnóstico del Fallo:
   • No es Algorítmico: CQL (conservador) tiene un desempeño similar a BC (supervisado), y DQN no supera significativamente a ellos. El fallo no se debe al conservadurismo o a la ingeniería de recompensas.
   • No es un Cambio Distribucional: Aunque existe un cambio marginal de búfer a prueba ($d_{TV}$) (aprox. 0.07), este no es el motor principal del fallo.
   • Ambigüedad Representacional: La consistencia de k-NN local es baja (0.388), lo que indica que estados cercanos a menudo mapean a diferentes acciones del oráculo. Esta "ambigüedad representacional local" es el cuello de botella principal.
   • Redundancia de Características: Añadir características conductuales diseñadas o transformaciones derivadas del desacuerdo al estado no mejora la precisión de prueba sobre el uso exclusivo del vector de probabilidad del modelo base. Las 28 características conductuales, aunque útiles para los modelos base, no proporcionan señal marginal para la tarea de selección.

Contribuciones y Significancia
El artículo realiza dos contribuciones primarias:

1. C1. Un Procedimiento de Diagnóstico Combinado: Los autores ensamblan verificaciones establecidas (consistencia de k-NN, ablación pareada de BC/RL, ablación de estado y estimación de cambio de distribución) en un protocolo unificado. Esto permite a los profesionales diagnosticar por qué el meta-aprendizaje offline falla antes de invertir en más ajustes o recolección de datos. Desplaza el enfoque de "ajustar el aprendiz" a "diagnosticar los datos/representación".
2. C2. Un Estudio de Caso Empírico: El estudio demuestra que en un entorno educativo de alto riesgo con abundantes datos, los selectores offline no pueden superar al mejor modelo único debido a la ambigüedad de etiqueta local, no al conservadurismo algorítmico o al cambio de distribución. Los resultados sugieren que simplemente recolectar más datos o ajustar los hiperparámetros de RL offline no resolverá el problema; en su lugar, la representación del estado debe ser rediseñada o se deben recolectar nuevas fuentes de datos.

Conclusión
El artículo conclula que el fallo de los selectores offline en este dominio no es una limitación de los algoritmos actuales de RL offline (como CQL), sino una limitación fundamental de la representación de estado disponible. El "margen del oráculo" existe teóricamente, pero la ambigüedad local en los datos impide que cualquier selector pueda acceder a él de forma fiable. Los autores argumentan que las iteraciones futuras deberían centrarse en cambiar la representación del estado o recolectar nuevos datos en lugar de realizar un mayor ajuste del aprendiz offline.