Robust Counterfactual Inference in Markov Decision Processes

Este artículo propone un enfoque no paramétrico que calcula de forma eficiente y escalable límites cerrados para las probabilidades de transición contrafactual en Procesos de Decisión de Markov, permitiendo identificar políticas robustas que optimizan la recompensa en el peor de los casos frente a la incertidumbre de los modelos causales compatibles.

Lo esencial

El Título: "¿Qué hubiera pasado si...?" en el mundo de las decisiones robóticas

Imagina que eres un entrenador de fútbol. Tu equipo ha jugado un partido y ha perdido. Ahora, quieres analizar el juego para ver cómo podrían haber ganado.

• El problema actual: La mayoría de los métodos actuales para hacer este análisis asumen que el mundo funciona de una sola manera específica (como si solo hubiera una única forma de entender las reglas del fútbol). Si esa suposición es incorrecta, tu análisis de "qué hubiera pasado si..." (lo que los expertos llaman inferencia contrafactual) será erróneo. Podrías decirle al jugador: "Si hubieras pasado el balón a la izquierda, habrías marcado gol", cuando en realidad, bajo otras reglas ocultas, ese pase habría llevado a una tarjeta roja.

• La solución de este paper: Los autores proponen una nueva forma de pensar. En lugar de apostar por una sola versión de la realidad, calculan un rango de posibilidades (un "mínimo" y un "máximo") que cubre todas las formas posibles en que el mundo podría funcionar, siempre que sean consistentes con lo que vieron en el partido.

La Analogía: El Mapa del Tesoro y el Terreno Desconocido

Imagina que un explorador (el agente) camina por un bosque (el entorno) siguiendo un mapa.

1. El Camino Observado: El explorador caminó por un sendero, tropezó con una piedra y cayó en un hoyo.
2. La Pregunta: "¿Qué hubiera pasado si, en lugar de tropezar, hubiera saltado?"

El método antiguo (Gumbel-max SCM):
Es como si el explorador dijera: "¡Seguro que si hubiera saltado, habría encontrado el tesoro!". Asume que el bosque tiene una estructura mágica y fija. Es rápido, pero si el bosque es más complejo de lo que parece, su respuesta puede ser una ilusión peligrosa.

El método nuevo de este paper (Robusto):
Es como si el explorador dijera: "No sé exactamente cómo es el bosque bajo la tierra. Podría haber un río oculto, o podría ser una colina. Así que, voy a calcular dos escenarios:

• El peor caso: Si salta, ¿qué es lo peor que podría pasar? (Quizás cae en un hoyo más profundo).
• El mejor caso: Si salta, ¿qué es lo mejor que podría pasar? (Quizás encuentra el tesoro).

Luego, el explorador decide saltar solo si incluso en el peor caso posible, sigue siendo mejor que quedarse quieto. Esto es lo que llaman robustez.

¿Por qué es importante esto?

El paper se centra en MDP (Procesos de Decisión de Markov), que son modelos matemáticos para robots, IA o sistemas de salud que toman decisiones secuenciales.

1. Seguridad en la vida real: En la medicina (como tratar la sepsis) o en el control de aviones, no puedes probar políticas nuevas en pacientes reales o aviones reales si no estás seguro. Necesitas saber qué pasaría antes de actuar.
2. El problema de la "caja negra": A veces no sabemos todas las reglas ocultas del sistema (factores de confusión). Los métodos antiguos fallan aquí porque asumen que saben todo. Este nuevo método dice: "No asumimos nada; calculamos los límites de seguridad".
3. Velocidad: Antes, calcular estos límites requería resolver ecuaciones matemáticas tan complejas que tardaban horas o días (como intentar adivinar cada átomo de un edificio). Los autores han encontrado una fórmula mágica (cerrada) que hace este cálculo en milisegundos, incluso para sistemas gigantes. Es como pasar de calcular a mano la ruta de un viaje a usar un GPS instantáneo.

Los Resultados: ¿Funciona de verdad?

Los autores probaron su método en varios escenarios:

• Laberintos (GridWorld): Un robot intentando salir de un laberinto.
• Hospitales (Sepsis): Decidir tratamientos para pacientes.
• Aviones: Evitar colisiones.

El hallazgo clave:
Cuando el entorno es incierto (lluvia, viento, datos ruidosos), las políticas (decisiones) generadas por su método son mucho más seguras.

• Si usas el método antiguo, podrías obtener una recompensa alta... o un desastre total.
• Con su método, la recompensa puede ser un poco más baja en el "mejor caso", pero nunca caerá a niveles catastróficos. Es como llevar un paracaídas: quizás no llegues tan rápido, pero no te estrellarás.

En resumen

Este paper nos enseña que, cuando tratamos de predecir el futuro o analizar decisiones pasadas en sistemas complejos, no debemos confiar en una sola historia.

En lugar de decir: "Si hubieras hecho X, habría pasado Y", debemos decir: "Si hubieras hecho X, lo peor que podría pasar es Z, y lo mejor es W. Y como incluso Z es mejor que lo que hiciste, ¡hagámoslo!".

Es una herramienta para tomar decisiones más inteligentes, más rápidas y, sobre todo, más seguras, especialmente cuando la vida de las personas o la integridad de máquinas críticas está en juego.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Robust Counterfactual Inference in Markov Decision Processes" (Inferencia Contrafactual Robusta en Procesos de Decisión de Markov), presentado por Jessica Lally, Milad Kazemi y Nicola Paoletti.

1. El Problema

La inferencia contrafactual en Procesos de Decisión de Markov (MDP) busca estimar qué habría ocurrido si se hubieran tomado acciones diferentes a las observadas en una trayectoria histórica. Esto es crucial para la evaluación de políticas offline y la generación de explicaciones en dominios críticos como la salud.

Sin embargo, el artículo identifica una limitación fundamental: la no identificabilidad del modelo causal. Dado un MDP y una observación, existen múltiples modelos causales estructurales (SCM) compatibles con los datos observados y las distribuciones intervencionistas.

• Limitación de los métodos actuales: La mayoría de los enfoques existentes (como el modelo SCM de Gumbel-max) asumen un modelo causal específico para hacer los cálculos identificables. Esto introduce un sesgo, ya que diferentes modelos compatibles pueden producir probabilidades contrafactuales muy distintas, lo que lleva a explicaciones inexactas o políticas no robustas.
• Limitación de la inferencia parcial: Los métodos que intentan calcular límites (bounds) sobre todas las distribuciones posibles (inferencia parcial) suelen formularse como problemas de optimización con un número de restricciones que crece exponencialmente con el tamaño del MDP, haciéndolos computacionalmente prohibitivos para sistemas a gran escala. Además, sin suposiciones adicionales, estos límites suelen ser triviales (ej. $[0, 1]$), lo que los hace inútiles para la toma de decisiones.

2. Metodología Propuesta

Los autores proponen un enfoque no paramétrico que combina la inferencia parcial con suposiciones razonables para obtener límites analíticos cerrados y eficientes.

A. Marco Teórico: SCM Canónico

El método se basa en el enfoque de SCM canónico de Zhang et al. [42], que puede capturar todas las distribuciones contrafactuales posibles. En lugar de resolver un problema de optimización lineal masivo, los autores demuestran que, en el contexto de MDPs (sin confusores no observados), este problema se reduce a soluciones analíticas exactas.

B. Suposiciones para Ajustar los Límites

Para evitar límites triviales y obtener resultados útiles, se incorporan dos suposiciones causales razonables:

1. Estabilidad Contrafactual (Counterfactual Stability): Si un resultado observado es más probable bajo una intervención contrafactual que otro resultado posible, el resultado observado no debería cambiar a menos que la probabilidad relativa del nuevo resultado aumente significativamente.
2. Monotonía Contrafactual (Counterfactual Monotonicity):
   • Si un resultado se observó, su probabilidad contrafactual no puede disminuir.
   • Si un resultado posible no se observó, su probabilidad contrafactual no puede aumentar.
   • Justificación: Esto evita escenarios contrafactuales contra-intuitivos donde un estado no observado se vuelve más probable simplemente porque se cambió la acción, contradiciendo la evidencia de la trayectoria real.

C. Límites Analíticos Cerrados

El núcleo de la contribución teórica es la demostración de que, bajo estas suposiciones, los límites superior e inferior de las probabilidades de transición contrafactuales ($\tilde{P}_{LB}$ y $\tilde{P}_{UB}$) se pueden calcular mediante expresiones cerradas (fórmulas directas) en lugar de optimización numérica.

• Los límites dependen de la relación entre el soporte de la acción observada y la acción contrafactual (disjunto o superpuesto).
• Esto elimina la necesidad de resolver problemas de programación lineal complejos.

D. Construcción de MDPs Contrafactuales por Intervalos (ICFMDP)

Utilizando estos límites, los autores construyen un MDP Contrafactual por Intervalos (ICFMDP). Este es un MDP donde las probabilidades de transición no son valores puntuales, sino intervalos $[P_{LB}, P_{UB}]$.

• Políticas Robustas: Para derivar una política óptima en este entorno incierto, se utiliza la iteración de valor pesimista (pessimistic value iteration). Esta técnica optimiza la recompensa esperada en el peor caso posible dentro de los intervalos definidos, garantizando que la política funcione bien independientemente de cuál sea el modelo causal verdadero subyacente.

3. Contribuciones Clave

1. Reducción de Complejidad: Demostración de que el problema de optimización para la inferencia parcial en MDPs se reduce a fórmulas analíticas cerradas, eliminando la barrera computacional exponencial de los métodos anteriores.
2. Robustez ante Incertidumbre Causal: Propuesta de un marco que no asume un único modelo causal, sino que considera el conjunto de todos los modelos compatibles, produciendo políticas robustas al peor caso.
3. Eficiencia Computacional: El enfoque es significativamente más rápido que los métodos basados en muestreo (como Gumbel-max), logrando aceleraciones de 4 a 251 veces en los experimentos.
4. Validación Empírica: Evaluación exhaustiva en múltiples entornos (GridWorld, Sepsis, Frozen Lake, Aircraft) demostrando superioridad en robustez y precisión.

4. Resultados Experimentales

Los experimentos compararon el método propuesto (ICFMDP) contra el enfoque estándar de SCM de Gumbel-max:

• Evaluación de Políticas (OPE): En la evaluación de políticas offline, los límites promedio obtenidos por el método propuesto contenían correctamente la recompensa real esperada, validando la imparcialidad del método.
• Robustez (Peor Caso):
  • En entornos estocásticos (como Sepsis y GridWorld con alta aleatoriedad), las políticas derivadas del ICFMDP mostraron un rendimiento en el peor caso (worst-case) significativamente superior al de Gumbel-max.
  • Mientras que Gumbel-max podía ofrecer recompensas altas, también era propenso a caídas drásticas en recompensa (alta varianza) si el modelo causal asumido era incorrecto. El método propuesto mantuvo un piso de rendimiento más alto y estable.
• Velocidad: La generación de MDPs contrafactuales fue exponencialmente más rápida con los límites analíticos en comparación con el muestreo de Gumbel-max.
• Impacto de las Suposiciones: Se demostró que las suposiciones de estabilidad y monotonía no restringen excesivamente el espacio de modelos (los límites siguen siendo informativos) pero eliminan escenarios contrafactuales ilógicos, mejorando la utilidad práctica sin sacrificar la robustez teórica.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Seguridad en IA Crítica: Proporciona una herramienta fiable para evaluar políticas de aprendizaje por refuerzo en dominios donde el error es costoso (salud, aviación), ofreciendo garantías de rendimiento incluso cuando el modelo causal real es desconocido.
• Escalabilidad: Al convertir un problema de optimización NP-difícil (en la práctica) en cálculos analíticos, permite aplicar la inferencia contrafactual robusta a MDPs de gran escala, algo que antes era computacionalmente inviable.
• Cambio de Paradigma: Mueve el enfoque de "asumir un modelo causal correcto" a "optimizar para el peor caso dentro de un conjunto de modelos plausibles", alineándose mejor con la realidad de la incertidumbre en sistemas complejos.

En resumen, el artículo presenta un avance teórico y práctico que hace que la inferencia contrafactual en MDPs sea tanto computacionalmente eficiente como robustamente segura, superando las limitaciones de los métodos basados en suposiciones de modelos únicos.