Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

Resumen Técnico: Cuantificación de la Posible Ausencia de Observaciones en la Aprendizaje por Refuerzo Inverso

Enunciado del Problema
El Aprendizaje por Refuerzo Inverso (IRL) infiere funciones de recompensa a partir de demostraciones de expertos para modelar el comportamiento de toma de decisiones. Si bien se han desarrollado variantes de IRL para manejar creencias subjetivas, planificación imperfecta y objetivos cambiantes, un problema crítico a menudo pasado por alto en conjuntos de datos del mundo real (particularmente en el ámbito de la salud) es la ausencia de observaciones. En muchos escenarios, los datos registrados carecen de observaciones que estaban disponibles para el tomador de decisiones original en el momento de la acción.

Cuando dicha información falta, las acciones de los expertos pueden parecer subóptimas para un algoritmo estándar de IRL, lo que lleva a inferencias de recompensa engañosas. Por ejemplo, si la decisión de un clínico depende de un biomarcador no registrado, el IRL estándar podría concluir que el clínico actúa de manera subóptima o que la función de recompensa es inconsistente, en lugar de reconocer que la decisión fue óptima dado el contexto no observado. El artículo postula que, en lugar de intentar imputar datos faltantes o recuperar los valores exactos faltantes, es más valioso cuantificar la magnitud mínima de la ausencia necesaria para explicar el comportamiento observado como óptimo.

Metodología: IRL de Mínima Perturbación (MP-IRL)
Los autores proponen MP-IRL, un marco de dos fases diseñado para encontrar la perturbación más pequeña en las observaciones registradas necesaria para alinear las acciones de los expertos con una política óptima.

1. Formulación del Problema:

   • El escenario asume un conjunto de datos de comportamiento $D = \{x_{nt}, a_{nt}\}$ donde $x_{nt}$ son estados registrados y $a_{nt}$ son acciones. El estado verdadero incluye componentes no registrados $\tilde{x}_{nt}$.
   • En lugar de modelar la dinámica de los datos faltantes, el método introduce un factor latente estático $z_n$ para cada trayectoria $n$, que representa el contexto faltante.
   • El objetivo es minimizar la magnitud de estos factores latentes $\{z_n\}$ sujeto a la restricción de que las acciones de los expertos sean cercanas a la óptima bajo una función de recompensa $r_\theta(z_n, x_{nt}, a_{nt})$.
   • Para asegurar que la magnitud de $z_n$ sea significativa, los autores parametrizan la recompensa utilizando funciones de kernel. La recompensa es la suma de una recompensa base compartida $\bar{r}_\theta(x_{nt}, a_{nt})$ y un término de perturbación específico de la trayectoria definido por centros de kernel $\mu_k$ y coeficientes $z_n$. El tamaño de la ausencia se mide mediante la norma $\ell_1$ de los coeficientes $\|z_n\|_1$.

2. Algoritmo (Optimización de Dos Fases):

   • Fase 1 (IRL Base): El algoritmo realiza IRL estándar únicamente sobre los datos registrados (estableciendo todos los $z_n = 0$). Esto extrae la mejor recompensa base posible $\bar{r}_\theta$ que explica el comportamiento sin ningún contexto faltante.
   • Fase 2 (MP-IRL): Los parámetros de la recompensa base se congelan. Luego, el algoritmo optimiza la red crítica y los coeficientes latentes específicos de la trayectoria $z_n$ (y opcionalmente los centros de kernel $\mu$).
   • Regularización: La función objetivo en la Fase 2 incluye penalizaciones de dispersión (normas $\ell_1$ y $\ell_2$ sobre $z_n$) para imponer el principio de "mínima perturbación". Esto asegura que las variables latentes solo expliquen la varianza que la recompensa base no puede, evitando que el modelo se sobreajuste o explique el comportamiento mediante cambios arbitrarios en la estructura de recompensa compartida.

Contribuciones Clave

• Conceptual: El artículo introduce una nueva perspectiva sobre la ausencia en IRL: cuantificar el contexto no observado mínimo requerido para hacer que las acciones observadas parezcan óptimas, en lugar de intentar recuperar los datos faltantes en sí mismos.
• Técnica: El desarrollo de MP-IRL, un algoritmo que formula esto como un problema de optimización con restricciones utilizando perturbaciones basadas en kernel y un procedimiento de entrenamiento de dos fases para separar la estructura de recompensa compartida del contexto faltante específico de la trayectoria.
• Empírica: Demostración de que la magnitud de las perturbaciones aprendidas se correlaciona con la cantidad de información faltante y que el método puede localizar dónde el contexto faltante es crítico (por ejemplo, regiones específicas de decisión).

Resultados Experimentales
Los autores evalúan MP-IRL en tres tareas de navegación continuas sintéticas, un simulador de tratamiento contra el cáncer y un conjunto de datos del mundo real sobre el manejo de hipotensión en UCI (MIMIC-IV).

• Tareas de Navegación: En tareas donde variables binarias ocultas determinan las acciones en regiones específicas de "decisión", el IRL estándar no logra igualar las acciones de los expertos dentro de estas regiones (precisión ~60%). MP-IRL restaura la precisión a casi 98-99%. Crucialmente, el tamaño de la perturbación aprendida ($\|z_n\|_1$) escala con la complejidad de la información faltante: las tareas que requieren un bit oculto produjeron perturbaciones más pequeñas que las tareas que requieren dos bits ocultos independientes.
• Simulador de Cáncer: El método se probó con diversos grados de enmascaramiento de características (desde "todas las características" hasta "solo tiempo"). A medida que se ocultaron más características, el rendimiento del IRL estándar se degradó (menor precisión, mayor Negativa Log-Verosimilitud). MP-IRL mantuvo una alta precisión, y el tamaño de la perturbación requerida aumentó monótonamente con la cantidad de información faltante (por ejemplo, de 0.54 a 1.65 a medida que se eliminaron características).
• Tarea de Hipotensión en UCI: En datos clínicos reales, MP-IRL mejoró significativamente la precisión de coincidencia de acciones sobre el IRL estándar (por ejemplo, de ~55% a ~90%). El tamaño de la perturbación permaneció estable cuando se añadieron características de baja predictividad, lo que indica que la métrica refleja la ausencia relevante para la toma de decisiones y no simplemente el volumen de datos observados.

Significado y Afirmaciones
El artículo afirma que MP-IRL proporciona una herramienta de diagnóstico para conjuntos de datos de comportamiento. Al cuantificar la perturbación mínima necesaria para explicar el comportamiento de los expertos, los investigadores pueden evaluar si la aparente suboptimalidad en un conjunto de datos se debe a una mala toma de decisiones o simplemente a un contexto clínico faltante.

• Utilidad Práctica: Si la ausencia potencial es sustancial, sugiere que las tareas posteriores (como la evaluación de políticas o el RL offline) deben abordarse con precaución o que los procesos de recopilación de datos necesitan mejora.
• Interpretabilidad: El método localiza la ausencia en regiones específicas del espacio de estados (por ejemplo, pasos de tiempo específicos en el tratamiento del cáncer o límites de decisión específicos en la navegación), ofreciendo información sobre dónde los datos registrados son insuficientes.
• Limitaciones: Los autores reconocen que la representación basada en kernel podría tener dificultades en espacios de estados de muy alta dimensión debido a los requisitos de datos para optimizar kernels localizados.

El trabajo no afirma recuperar los valores exactos faltantes, sino proporcionar un límite cuantitativo sobre la magnitud de la ausencia requerida para mantener la suposición de optimalidad del experto.