CAAL: Contextual Bandits based Online Hand-Craft Active Learning Strategy Selection

Resumen Técnico: CAAL – Selección de Estrategias de Aprendizaje Activo en Línea Basada en Bandidos Contextuales

Declaración del Problema
El aprendizaje activo (AL, por sus siglas en inglés) tiene como objetivo minimizar el esfuerzo de etiquetado manteniendo un sólido rendimiento del modelo. Los enfoques tradicionales dependen de estrategias diseñadas manualmente (por ejemplo, muestreo de incertidumbre, muestreo de diversidad) que asumen propiedades estadísticas específicas de los datos no etiquetados. Sin embargo, la estrategia óptima suele ser desconocida de antemano y varía entre diferentes conjuntos de datos. Los marcos adaptativos existentes intentan combinar múltiples estrategias utilizando métodos de bandidos adversarios (por ejemplo, ALBL). Aunque estos métodos proporcionan robustez, suelen ser excesivamente conservadores, manteniendo tasas de exploración constantes que pueden resultar en un rendimiento similar a la selección aleatoria. Además, muchos enfoques recientes de aprendizaje activo profundo no son adecuados para datos tabulares, que dominan las aplicaciones industriales, ya que los modelos profundos suelen rendir peor que los modelos basados en árboles o lineales en este tipo de datos. Adicionalmente, la mayoría de los métodos adaptativos se centran en la selección de una sola muestra, mientras que las necesidades industriales del mundo real a menudo requieren la selección por lotes (batch selection) con robustez ante la variación en los tamaños de lote.

Metodología: Aprendizaje Activo Adaptativo Contextual (CAAL)
Los autores proponen CAAL, un marco basado en un meta-aprendiz que trata a las estrategias de aprendizaje activo diseñadas manualmente como "brazos" en un entorno de bandido contextual. A diferencia de los bandidos adversarios que tratan las recompensas como impredecibles, CAAL aprovecha el contexto externo para predecir la recompensa de cada estrategia, lo que permite una selección más codiciosa (greedy) y menos conservadora.

• Integración del Marco: En cada iteración $k$, el agente observa un vector de contexto $c_k$ que representa el estado actual del proceso de aprendizaje activo. En lugar de seleccionar una estrategia única a ciegas, el agente mapea el contexto a una acción (una estrategia específica diseñada manualmente) a través de una política $\Pi$.
• Diseño de Contexto y Recompensa:
  • Contexto: El tamaño del conjunto de datos se utiliza como la característica de contexto principal, ya que se sabe que el rendimiento del clasificador mejora con más datos etiquetados.
  • Recompensa: La recompensa se define como la diferencia de rendimiento relativo entre el clasificador $M_k$ y el clasificador actualizado $M_{k+1}$. Crucialmente, esta evaluación se realiza en un grupo de control (datos IID) en lugar de en el conjunto de entrenamiento, proporcionando una señal independiente del sesgo de selección.
• Algoritmo: El sistema emplea un algoritmo de Límite de Confianza Superior Lineal (LinUCB) no estacionario, específicamente un LinUCB de Ventana Deslizante (SW-linUCB). Esta elección aborda la naturaleza no estacionaria de las recompensas del aprendizaje activo, asumiendo que son localmente lineales con respecto al contexto. El algoritmo mantiene una ventana deslizante de interacciones recientes para actualizar los parámetros de predicción de recompensa ($\theta_a$) para cada brazo $a$.
• Proceso:
  1. Observar el contexto $c_k$.
  2. Seleccionar el brazo $a_k$ que maximiza la recompensa predicha más un bono de exploración.
  3. Seleccionar un lote de $b$ muestras no etiquetadas utilizando la estrategia $a_k$.
  4. Obtener etiquetas y actualizar el conjunto de entrenamiento.
  5. Entrenar el nuevo clasificador y calcular la recompensa basada en el rendimiento del grupo de control.
  6. Actualizar el modelo de predicción de recompensa utilizando la ventana deslizante.

Contribuciones Clave

1. Enfoque de Meta-Aprendiz: El artículo adopta una estrategia de meta-aprendiz que selecciona entre heurísticas diseñadas manualmente. Esto se posiciona como más "amigable para la industria" que las tendencias de aprendizaje activo profundo, particularmente para datos tabulares donde los modelos profundos suelen rendir peor.
2. Enfoque en la Selección por Lotes: A diferencia de muchos trabajos previos centrados en la selección de una sola muestra, CAAL apunta a la selección por lotes y demuestra explícitamente su robustez ante diferentes tamaños de lote.
3. Adaptabilidad a Conjuntos de Datos Desconocidos: El marco permite la selección automática de la mejor estrategia diseñada manualmente para conjuntos de datos con distribuciones desconocidas sin requerir conocimiento previo de qué estrategia funcionará mejor.
4. Predicción de Recompensa Contextual: Los autores demuestran que la incorporación de contexto ambiental para la predicción de recompensas mejora la adaptabilidad sobre los métodos de bandidos adversarios de vanguardia, reduciendo el conservadurismo que suele afectar a tales enfoques.

Resultados Experimentales
Los experimentos se realizaron en cuatro conjuntos de datos de clasificación binaria del mundo real (ILPD, IvsJ, Australian Credit, German Credit) del repositorio UCI. El clasificador base utilizado fue la regresión logística para asegurar la equidad entre las estrategias.

• Rendimiento: CAAL se comparó contra K-Center, Información de Diversidad e incluso el método de referencia adaptativo de vanguardia, ALBL.
• Robustez del Tamaño de Lote: Los resultados indican que, si bien CAAL tiene un rendimiento comparable al de ALBL en tamaños de lote pequeños (por ejemplo, 5), supera consistentemente a ALBL y otros métodos de referencia en tamaños de lote más grandes (10–25). Esto se atribuye a la capacidad del bandido contextual para explotar la predictibilidad en lugar de mantener una exploración constante.
• Métrica: El rendimiento se midió utilizando el Área Bajo la Curva (AUC) de la relación de la curva ROC-AUC (normalizada frente al rendimiento del conjunto de datos completo). CAAL logró puntuaciones de AUC más altas en la mayoría de los conjuntos de datos y tamaños de lote.
• Análisis del Mecanismo:
  • Predicción de Recompensa: Se encontró que las predicciones de regresión lineal de las recompensas basadas en el contexto se alinean estrechamente con las recompensas reales, validando el uso de contexto para la selección de estrategias.
  • Selección de Estrategia: A diferencia de ALBL, que selecciona los brazos de manera uniforme (aproximadamente 50% de exploración), CAAL converge rápidamente a la estrategia óptima y se estabiliza después de aproximadamente el 60% de las consultas, lo que conduce a un rendimiento general superior.

Significancia y Reivindicaciones
El artículo afirma que CAAL ofrece una solución práctica para escenarios de aprendizaje activo industrial donde las distribuciones de los datos son desconocidas y se requiere el procesamiento por lotes. Al alejarse de las suposiciones conservadoras de los bandidos adversarios y aprovechar la información contextual para predecir las recompensas de las estrategias, CAAL logra una mejor adaptabilidad y rendimiento. Los autores enfatizan que su enfoque es consistente independientemente del tamaño del lote y proporciona un marco que puede personalizarse con conocimiento de dominio para diseñar recompensas y candidatos de contexto más efectivos. El trabajo se presenta como un paso hacia estrategias de aprendizaje activo más robustas y basadas en datos que no dependen de los altos costos computacionales o las limitaciones de rendimiento de los modelos de aprendizaje profundo en datos tabulares.