Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

Resumen Técnico: Aprendizaje para Diferir en Series Temporales No Estacionarias mediante Modelos de Espacio de Estados de Conmutación

Formulación del Problema
El artículo aborda el desafío del Aprendizaje para Diferir (L2D) en entornos de series temporales en flujo y no estacionarios. A diferencia de los entornos L2D fuera de línea que asumen supervisión completa (acceso a todas las predicciones de expertos) y un predictor interno fijo, el escenario propuesto implica:

1. Retroalimentación Parcial Asimétrica: En cada ronda $t$, el sistema observa el contexto $x_t$ y un conjunto de expertos externos disponibles $E_t$. Debe elegir entre predecir internamente (acción 0) o diferir a un experto externo $k \in E_t$ (incurriendo en un costo de consulta $\beta_k$). Crucialmente, el resultado verdadero $y_t$ se revela después de la decisión, lo que hace que el residuo interno ($e_{t,0} = \hat{y}_{t,0} - y_t$) sea siempre observable. Sin embargo, los residuos externos solo se observan si se consulta al experto correspondiente; de lo contrario, permanecen censurados.
2. Aprendizaje Acoplado a la Acción: El predictor interno $f_{\theta_t}$ se entrena en línea. Las decisiones de enrutamiento influyen directamente en el estado futuro del aprendiz, ya que consultar a un experto proporciona una señal adicional de "maestro" ($\hat{y}_{t,k}$) que puede actualizar el modelo interno.
3. No Estacionariedad y Experticia Dinámica: El entorno es no estacionario, con la calidad de los expertos cambiando a través de regímenes latentes. Además, el grupo de expertos es dinámico; los expertos pueden entrar, salir o regresar con el tiempo.

El objetivo es minimizar el costo de enrutamiento acumulado esperado, equilibrando el error de predicción inmediato con los costos de consulta, mientras se mejora simultáneamente el aprendiz interno y se adapta a los cambios de régimen.

Metodología: L2D-SLDS
Los autores proponen L2D-SLDS, un marco en línea de una sola etapa que modela conjuntamente los residuos del predictor interno y todos los expertos externos potenciales utilizando un Modelo de Espacio de Estados Lineal-Gaussiano de Conmutación Factorizado (SLDS).

• Modelo Generativo: El modelo descompone la fiabilidad latente de cada experto $k$ en tres componentes:

  1. Un factor global compartido $g_t$ que captura las correlaciones entre expertos y transfiere información a través del grupo de expertos.
  2. Estados idiosincrásicos por experto $u_{t,k}$ que capturan la fiabilidad específica de cada experto.
  3. Una variable de régimen discreta $z_t$ que selecciona entre $M$ dinámicas lineales-gaussianas, permitiendo que el sistema se adapte a cambios estructurales en el rendimiento de los expertos.
     El residuo para el experto $k$ se modela como una emisión lineal-gaussiana del vector de fiabilidad $\alpha_{t,k} = B_k g_t + u_{t,k}$.

• Inferencia en Línea: El sistema emplea un filtro de dos fases estilo IMM (Múltiples Modelos Interactuantes):

  1. Fase Interna: Siempre ejecutada. Incorpora el residuo interno siempre observado $e_{t,0}$ para actualizar el factor compartido $g_t$ y los pesos del régimen. Esto asegura que, incluso cuando no se consulta a ningún experto externo, el sistema actualice sus creencias sobre todos los expertos no consultados a través del factor compartido.
  2. Fase Externa: Ejecutada solo si se consulta a un experto externo. Incorpora el residuo externo observado para refinar aún más el estado específico del experto y el factor global.
  3. Gestión del Registro: Un registro dinámico maneja el nacimiento y la muerte de expertos. Los expertos obsoletos (no disponibles durante una duración $\Delta_{max}$) se eliminan mediante marginalización exacta, asegurando eficiencia computacional y de memoria sin afectar las distribuciones predictivas de los expertos retenidos.

• Puntuación de Enrutamiento Consciente del Aprendiz: La decisión de enrutamiento se impulsa por una puntuación $S_t(k)$ que equilibra tres objetivos:

  1. Explotación: El costo excedente inmediato de consultar al experto $k$ frente al predictor interno.
  2. Exploración (Ganancia de Información): La información mutua condicional $I((z_t, g_t); e_{t,k} | e_{t,0})$, que mide cuánto reduce la consulta la incertidumbre sobre el estado latente más allá de lo que ya proporciona el residuo interno. Esto se aproxima mediante un término de forma cerrada para el factor compartido y un término de Monte Carlo para la identificación del régimen.
  3. Mejora del Aprendiz: Una estimación de la mejora esperada de un paso para el aprendiz interno, basada en la probabilidad de que el experto supere al predictor interno y la magnitud de dicha mejora.

• Actualización Acoplada a la Acción: Cuando se consulta a un experto, el aprendiz interno se actualiza utilizando un objetivo regularizado por maestro. El peso de la señal del maestro es adaptativo, filtrando las actualizaciones en función de la fiabilidad predicha del experto, la utilidad realizada y el desacuerdo con el aprendiz.

Contribuciones Clave

1. Formalización: El artículo formaliza el L2D en línea de una sola etapa para series temporales no estacionarias, manejando explícitamente la retroalimentación parcial asimétrica, el aprendizaje interno acoplado a la acción, la disponibilidad dinámica de expertos y los costos de consulta.
2. Algoritmo: Introduce L2D-SLDS, un modelo lineal-gaussiano de conmutación factorizado que permite una inferencia escalable y la transferencia de información entre expertos bajo censura. Incluye un mecanismo de poda de registros que preserva las distribuciones marginales de los expertos retenidos.
3. Estrategia de Enrutamiento: Se propone una nueva puntuación de consulta consciente del aprendiz, que combina la ganancia de información del estado latente con la mejora esperada del aprendiz, yendo más allá de la simple minimización de costos o la exploración pura.
4. Garantías Teóricas: Los autores demuestran una descomposición del arrepentimiento de oráculo frente a un comparador de aprender-y-diferir variable en el tiempo. El arrepentimiento se descompone en un presupuesto de bonificación por consulta, un término de error de costo predictivo del SLDS ($E_{SLDS}$) y el arrepentimiento dinámico por intervalo del aprendiz interno. Bajo condiciones específicas ($E_{SLDS}$ sublineal y aprendices internos certificados), establecen una tasa de arrepentimiento realizado sublineal.
5. Rendimiento Empírico: Extensos experimentos en datos sintéticos y benchmarks del mundo real (Melbourne, Jena, Delhi) demuestran que L2D-SLDS supera a las líneas base de banditos contextuales y no estacionarios, mientras difiere en menos del 2% de las rondas en escenarios de datos reales.

Resultados

• Datos Sintéticos: L2D-SLDS logró el costo de enrutamiento más bajo (0.336) en comparación con la mejor línea base de bandito (0.427). Los estudios de ablación confirmaron que el factor compartido $g_t$ es crítico para la transferencia de información, ya que su eliminación degradó el rendimiento.
• Benchmarks del Mundo Real:
  • Melbourne: L2D-SLDS logró un costo de 5.914 con una tasa de diferimiento del 0.8%, superando a todas las líneas base de bandito (que oscilaron entre 6.047 y 6.302 y tuvieron tasas de diferimiento más altas).
  • Jena: L2D-SLDS logró 3.293 con una tasa de diferimiento del 0.22%. Cabe destacar que fue el único método adaptativo que mejoró al predictor interno que no difiere (3.297), mientras que todas las líneas base de bandito tuvieron un rendimiento inferior al de la línea base que no difiere.
  • Delhi (24 Expertos): L2D-SLDS logró 2.528 con una tasa de diferimiento del 1.70%. La línea base de bandito más fuerte (SharedLinUCB+0) logró 2.542 pero requirió una tasa de diferimiento del 34.8%, destacando la eficiencia de L2D-SLDS en la selección de diferimientos de alto valor.
• Ablaciones: Eliminar el factor compartido o reemplazar la puntuación dirigida a la información con muestreo de Thompson degradó significativamente el rendimiento o aumentó las tasas de consulta, validando las decisiones de diseño específicas del modelo y el mecanismo de puntuación.

Significado y Afirmaciones
El artículo afirma ser el primer trabajo que entrena conjuntamente un aprendiz interno y enruta a expertos externos en línea bajo retroalimentación asimétrica, cambios de régimen latente y registros de expertos dinámicos. El significado radica en demostrar que un modelo probabilístico de residuos puede manejar eficazmente la naturaleza "censurada" de la retroalimentación de expertos en entornos no estacionarios, permitiendo que el sistema aprenda sobre expertos no consultados a través de una estructura latente compartida. Los autores enfatizan que su enfoque logra un rendimiento competitivo o superior con tasas de consulta drásticamente más bajas en comparación con los enfoques estándar de banditos, lo que lo hace adecuado para aplicaciones de alto riesgo o sensibles a los costos donde el diferimiento es costoso. La descomposición teórica del arrepentimiento proporciona un marco modular para comprender las compensaciones entre exploración, error de predicción y adaptación del aprendiz.