Resumen Técnico: Aprendizaje de Decisiones Secuenciales desde Múltiples Fuentes mediante Procesos de Decisión de Markov con Robustez de Grupo

Formulación del Problema

Este artículo aborda el desafío de aprender políticas de toma de decisiones secuenciales robustas a partir de conjuntos de datos offline recolectados en múltiples sitios (por ejemplo, hospitales) que comparten un contexto de aplicación común pero exhiben heterogeneidad. En el aprendizaje por refuerzo (RL) offline estándar, las políticas se aprenden de datos pre-recolectados sin mayor interacción con el entorno. Sin embargo, los datos multi-sitio del mundo real suelen sufrir dos problemas críticos:

1. Desplazamiento Distribucional (Distributional Shift): Las trayectorias offline son generadas por políticas de comportamiento que pueden no cubrir la distribución estado-acción de la política óptima.
2. Heterogeneidad entre Sitios: Las variaciones en los protocolos de adquisición de datos, la composición de la población y las condiciones ambientales significan que las trayectorias no son generadas desde un único MDP fijo. En su lugar, cada sitio $k$ tiene su propio núcleo de transición $P_k$ y función de recompensa $r_k$.

Los autores modelan este escenario como un MDP Distribucionalmente Robusto Lineal de Grupo (DRMDP). El supuesto subyacente es que todos los sitios comparten un mapa de características común y conocido $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$, pero los núcleos de transición y las funciones de recompensa son lineales en estas características con parámetros específicos de cada sitio $(\theta^k_h, \mu^k_h)$. El objetivo es aprender una política que funcione bien bajo el peor caso de cambio ambiental dentro de un conjunto de incertidumbre plausible definido por el envolvente convexo de las distribuciones específicas de cada sitio.

Metodología

1. Conjuntos de Incertidumbre por Características (d-rectangulares)

Para manejar la incertidumbre derivada de múltiples sitios manteniendo la tractabilidad computacional, los autores proponen un conjunto de incertidumbre por características (d-rectangular).

• Estructura: A diferencia de un envolvente convexo estándar entre sitios que acopla la incertidumbre en todas las características (lo que genera conjuntos no rectangulares y planificación NP-dura), este enfoque permite al adversario seleccionar pesos de mezcla de forma independiente para cada dimensión de característica $i \in [d]$.
• Definición: Para cada paso $h$ y característica $i$, el adversario elige un vector de mezcla $\alpha_{h,i} \in \Delta^{K-1}$ para formar una mezcla de peor caso de los parámetros específicos del sitio. El conjunto de incertidumbre $\mathcal{U}_h$ se define de tal manera que la recompensa y la transición para cualquier $(s, a)$ son combinaciones lineales de los parámetros del sitio ponderadas por estas mezclas específicas de cada característica.
• Beneficio: Esta relajación preserva la heterogeneidad clave entre sitios mientras restaura las recursiones de Bellman robustas, haciendo que el problema sea tratable.

2. Algoritmo de Iteración de Valor Pesimista

Los autores desarrollan un algoritmo offline (Algoritmo 1) basado en la iteración de valor pesimista, que incluye tres componentes principales:

1. Regresión de Ridge por Sitio: Para cada sitio $k$, el algoritmo estima los coeficientes del objetivo de Bellman $\hat{\nu}^k_h$ utilizando regresión de ridge sobre el conjunto de datos local $D_k$. Esto produce estimaciones de los parámetros lineales específicas de cada sitio.
2. Agregación de Peor Caso por Característica: En lugar de promediar, el algoritmo realiza un mínimo por fila a través de los coeficientes estimados de todos los sitios. Específicamente, para cada dimensión de característica $i$, el coeficiente robusto se establece como $\min_{k \in [K]} (\hat{\nu}^k_h)_i$. Esto captura el escenario de peor caso a través de los sitios para cada característica.
3. Penalización de Pesimismo Dependiente de los Datos: Para dar cuenta de la incertidumbre de estimación y el desplazamiento de la distribución, se resta un término de penalización del valor Q. Esta penalización se calcula utilizando las diagonales de las matrices de diseño inversas (matrices de covarianza) de la regresión de ridge. La penalización escala con el vector de características $\phi(s, a)$ y la incertidumbre máxima observada en todos los sitios para cada dimensión de característica.

3. Extensión a Nivel de Clúster

Para mejorar la eficiencia de muestreo cuando los sitios exhiben similitud, los autores proponen una extensión a nivel de clúster. Los sitios se particionan en clústeres basados en el conocimiento previo de similitud. Dentro de cada clúster, los conjuntos de datos se agrupan para formar un "super-sitio", y el operador de Bellman robusto se aplica a los representantes a nivel de clúster. Este enfoque aprovecha los mayores tamaños de muestra agrupados mientras acota el error introducido por la heterogeneidad dentro del clúster.

Resultados Teóricos

El artículo proporciona límites de suboptimalidad de muestra finita para el algoritmo propuesto bajo un supuesto de cobertura parcial robusta.

• Descomposición de la Suboptimalidad: La suboptimalidad se descompone en correlación espuria, incertidumbre intrínseca y error de optimización.
• Tasa de Convergencia: Bajo el supuesto de que las matrices de covarianza empíricas específicas de cada sitio dominan los segundos momentos de la distribución de visitas de la política óptima robusta, la suboptimalidad de la política aprendida $\hat{\pi}$ está acotada por:
  $$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$$
  donde $N_{\min}$ es el tamaño de muestra mínimo entre los sitios, $d$ es la dimensión de la característica, $H$ es el horizonte y $K$ es el número de sitios.
• Límite a Nivel de Clúster: Para el algoritmo a nivel de clúster, el límite incluye un término de sesgo adicional proporcional a la discrepancia de parámetros dentro del clúster ($\Delta_h$), demostrando que la agrupación es beneficiosa siempre que la heterogeneidad dentro de los clústeres esté controlada.

Resultados Experimentales

Los autores validan su enfoque mediante simulaciones en MDPs lineales episódicos con $K=3$ a $4$ sitios.

• Comparación: El algoritmo propuesto "Sitewise" se compara contra:
  • Agrupación Ingenua (Naive Pooling): Agregando todos los datos y aplicando el PEVI (Pessimistic Value Iteration) estándar.
  • PEVI por Sitio (Average-Q): Promediando las funciones Q de ejecuciones independientes de PEVI específicas de cada sitio.
  • PEVI por Sitio (Min-Q): Tomando el mínimo puntual de las funciones Q de los sitios específicos.
• Desempeño: El algoritmo propuesto logra consistentemente una suboptimalidad robusta significativamente menor en comparación con todos los referentes.
  • La Agrupación Ingenua no es robusta frente a los desplazamientos distribucionales específicos de cada sitio, optimizando para el desempeño promedio en lugar del peor caso.
  • Los métodos por sitio sufren de alta varianza debido a los limitados tamaños de muestra locales y la falta de intercambio de información.
• Convergencia: Las leyes de escala empíricas confirman la tasa de convergencia teórica de $O(N_{\min}^{-1/2})$.
• Necesidad de la Pesimicidad: Los experimentos muestran que eliminar la penalización de pesimismo (estableciendo la constante de escala $c=0$) conduce a un fallo en la convergencia eficiente, ya que el estimador codicioso se sobreajusta al ruido de la muestra finita, particularmente en escenarios con cobertura de datos desequilibrada.

Significación y Reivindicaciones

El artículo afirma proporcionar un enfoque principista para la planificación robusta en entornos de RL offline multi-sitio sin depender de supuestos fuertes de rectangularidad estado-acción.

• Tractabilidad vs. Robustez: Al introducir el conjunto de incertidumbre $d$-rectangular, los autores cierran la brecha entre la intratabilidad de los envolventes convexos generales entre sitios y la excesiva conservadurismo de los MDP robustos $(s, a)$-rectangulares estándar.
• Privacidad y Eficiencia: El algoritmo comunica únicamente estadísticas resumidas agregadas a nivel de sitio (coeficientes de regresión de ridge y diagonales de covarianza) en lugar de trayectorias puras, lo que reduce los costos de comunicación de datos y mejora la privacidad.
• Manejo de la Heterogeneidad: El marco modela y aprovecha explícitamente la heterogeneidad entre sitios para asegurar que la política aprendida sea robusta a la configuración de peor caso de los sitios, abordando una limitación fundamental del RL offline estándar cuando se aplica a datos de múltiples fuentes.

Los autores reconocen que su método depende de una estructura lineal dentro de los sitios y que la aproximación $d$-rectangular puede conducir a estimaciones conservadoras. Sugieren que trabajos futuros podrían explorar aproximaciones más ajustadas e la integración del aprendizaje de representaciones para manejar mapeos de características no lineales.