Online Learning-to-Defer with Varying Experts

Formulación del Problema
Learning-to-Defer (L2D) es un marco diseñado para integrar modelos predictivos con expertos externos (humanos o automatizados) para mejorar la fiabilidad del sistema mediante el enrutamiento de entradas inciertas o de alto riesgo hacia agentes más competentes. Aunque la investigación existente en L2D opera principalmente en entornos por lotes con pools de expertos fijos y supervisión completa (observando todas las predicciones de los expertos durante el entrenamiento), las implementaciones en el mundo real enfrentan desafíos significativos: los datos llegan de forma secuencial, la disponibilidad de los expertos fluctúa (por ejemplo, debido a turnos o limitaciones de recursos) y la fiabilidad de los expertos puede variar con el tiempo. Además, los sistemas prácticos a menudo operan bajo retroalimentación de tipo banda (bandit feedback), donde el aprendiz solo observa el resultado de la acción elegida (predicción o consulta específica a un experto) en lugar de la verdad fundamental o el rendimiento de todos los expertos disponibles. Este artículo aborda la brecha entre las suposiciones clásicas de L2D y estas realidades dinámicas y en línea mediante la introducción del primer marco de L2D en línea para clasificación multiclase con retroalimentación de tipo banda y un pool de expertos que varía dinámicamente.

Metodología
Los autores proponen un marco general donde, en cada ronda $t$, se revela una entrada aumentada $(x_t, A_t)$, compuesta por un vector de características $x_t$ y un conjunto de expertos disponibles $A_t$. El aprendiz debe decidir si predecir una etiqueta de clase o deferir a uno de los expertos disponibles en $A_t$. La interacción sigue un escenario semi-adversarial: las entradas pueden ser elegidas de forma adversaria, pero las etiquetas se extraen de una distribución fija (aunque desconocida) condicional a la entrada.

Las contribuciones metodológicas centrales incluyen:

1. Pérdida de Deflexión Verdadera y Sustituta: Los autores definen una pérdida de deflexión verdadera $\ell_{def}$ que tiene en cuenta los costos de clasificación errónea y los costos de consulta a expertos. Dado que esta pérdida no es diferenciable, introducen una pérdida sustituta convexa $\Phi_{def}$ que extiende las pérdidas sustitutas basadas en puntuaciones estándar (como la pérdida de margen acotada) al entorno en línea con expertos variables. Esta sustituta está diseñada para no verse afectada por las puntuaciones de los expertos no disponibles.
2. Límites de Consistencia-H para Aprendizaje en Línea: Un paso teórico significativo es la extensión de los límites de consistencia-H desde el aprendizaje por lotes al entorno en línea. Los autores demuestran que minimizar el arrepentimiento de deflexión sustituta en el marco en línea garantiza un arrepentimiento de deflexión verdadera acotado, siempre que la sustituta subyacente admita un límite de consistencia-H con respecto a la pérdida cero-uno.
3. Diseño del Algoritmo: El algoritmo propuesto (Algoritmo 1) utiliza Descenso de Gradiente en Línea (OGD) con gradientes proyectados. Para manejar la restricción de que la suma de las puntuaciones para las etiquetas disponibles debe ser cero (requerida para la pérdida de margen acotada), el algoritmo proyecta la matriz de pesos sobre un subespacio factible $K_{A_t}$ específico del conjunto actual de expertos disponibles. Esta proyección preserva las predicciones de la hipótesis sobre el conjunto de etiquetas disponibles. El algoritmo incorpora una tasa de exploración $\gamma_t$ para manejar la retroalimentación de tipo banda, estimando la función de pérdida basándose en el resultado observado de la acción muestreada.

Contribuciones Clave
El artículo afirma cuatro contribuciones principales:

1. Primer Marco de L2D en Línea: Introduce el primer marco para Learning-to-Defer en línea bajo retroalimentación de tipo banda donde tanto la distribución de datos como el pool de expertos pueden variar con el tiempo.
2. Extensión Teórica: Extiende la noción de límites de consistencia-H al entorno en línea, una propiedad previamente limitada a los análisis de aprendizaje por lotes.
3. Garantías de Arrepentimiento: El algoritmo propuesto logra un límite de arrepentimiento de $O((n + n_e)T^{2/3})$ en el caso general, donde $n$ es el número de clases y $n_e$ es el número de expertos distintos observados. Bajo una suposición de bajo ruido (casi realizable), esto mejora a $O((n + n_e)\sqrt{T})$.
4. Validación Empírica: El enfoque se valida tanto en conjuntos de datos sintéticos como del mundo real (Reuters4 y CIFAR10H), demostrando su capacidad para adaptarse a la disponibilidad variable de expertos y a la variación de la experiencia.

Resultados
Se realizaron experimentos bajo tres regímenes de complejidad creciente: (1) disponibilidad y experiencia fijas, (2) disponibilidad variable con experiencia fija y (3) entornos totalmente dinámicos con tanto disponibilidad variable como experiencia variable.

• Datos Sintéticos: El algoritmo aprendió con éxito el límite óptimo entre predecir y deferir, enrutando consistentemente las entradas a los expertos disponibles más competentes. Mantuvo una baja pérdida de deflexión y una alta precisión incluso cuando las regiones de competencia de los expertos cambiaron con el tiempo.
• Datos del Mundo Real (Reuters4): En el escenario más desafiante (disponibilidad y experiencia variables), el método rastreó eficazmente las regiones de competencia móvil de los expertos. Defirió con alta frecuencia a los expertos actualmente competentes, preservando una calibración estable y logrando una precisión de tarea comparable a las líneas base de experiencia fija.
• CIFAR10H: Utilizando un predictor WideResNet y expertos anotados por humanos, el método superó a una línea base basada en confianza que defería de manera uniforme al azar. La política aprendida logró una menor pérdida de deflexión y una mayor precisión, lo que indica que aprendió a enrutar ejemplos a los expertos más adecuados en lugar de deferir indiscriminadamente.

Significado
El artículo se posiciona como un paso fundamental hacia la viabilidad de los sistemas Learning-to-Defer para entornos no estacionarios del mundo real. Al ir más allá de la suposición de pools de expertos fijos y supervisión completa, los autores demuestran que los métodos basados en sustitutas consistentes pueden hacerse robustos frente a entornos adversarios y a la variabilidad en la fiabilidad de los expertos. El establecimiento teórico de la consistencia-H en el entorno en línea proporciona una garantía rigurosa de que minimizar la pérdida sustituta conduce a minimizar el arrepentimiento de deflexión verdadera, cerrando una brecha crítica entre las garantías teóricas de L2D y los requisitos prácticos de los datos en flujo y los sistemas de expertos dinámicos.