Resumen Técnico: Optimización de Políticas Contrafácticas Robustas mediante Modelos Causales No Deterministas

1. Planteamiento del Problema

La inferencia contrafáctica en la toma de decisiones secuenciales busca determinar qué resultados habrían ocurrido si se hubiera ejecutado una política diferente, dado un conjunto observado de trayectorias de estados, acciones y resultados. Esto es crítico en dominios de seguridad crítica como la atención médica, donde repetir experimentos suele ser poco ético o inviable.

Los enfoques existentes para la inferencia contrafáctica en Procesos de Decisión de Markov (MDP) suelen modelar el entorno como un Modelo Causal Estructural Determinista (SCM). En este marco, toda la aleatoriedad se atribuye a variables latentes no observadas ($U$). Sin embargo, los MDP del mundo real son inherentemente estocásticos; la aleatoriedad surge a menudo de dos fuentes distintas:

1. Confusión Latente: Factores no observados (por ejemplo, la genética o la demografía del paciente) que influyen en las transiciones.
2. Estocasticidad Irreducible: Aleatoriedad fundamental en el sistema (por ejemplo, generadores de números aleatorios o ruido agregado) que no puede reducirse a variables latentes.

El artículo aborda la brecha donde ambas fuentes coexisten. Los SCM estándar no logran distinguir entre ellas, lo que puede llevar a atribuir erróneamente el ruido irreducible a la confusión latente o viceversa. Los autores proponen formalizar la optimización de políticas contrafácticas bajo Modelos Causales Probabilísticos No Deterministas (PNSCM), que permiten la estocasticidad inherente mientras vinculan explícitamente la influencia de los confundidores latentes mediante un análisis de sensibilidad.

2. Metodología

2.1 Modelos Causales Probabilísticos No Deterministas (PNSCMs)

Los autores modelan el entorno como un PNSCM, reemplazando las ecuaciones estructurales deterministas con distribuciones de probabilidad condicional. Una característica clave de los PNSCM es el refinamiento actualizado: dada una configuración observada $(u, v)$, la distribución condicional $P_X$ se refina para devolver determinísticamente el resultado observado $x$ cuando se le dan los padres observados, manteniendo su naturaleza probabilística para otras entradas. Esto captura la semántica de que solo aprendemos el mecanismo causal a partir de la configuración real, no de las posibilidades contrafácticas.

2.2 Marco de Análisis de Sensibilidad

Para manejar los confundidores globales no observados ($U$) que permanecen fijos a lo largo de una trayectoria, los autores emplean un enfoque de análisis de sensibilidad similar al de Kausik et al. [2024].

• Parámetro de Sensibilidad ($\Delta$): La influencia de la variable latente $U$ está acotada por un parámetro $\Delta \ge 1$. Esto restringe la razón de probabilidades (odds ratio) entre la probabilidad de transición condicional $P(s' | s, a, u)$ y la probabilidad de transición marginal $P(s' | s, a)$:
  $$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$$
  • $\Delta = 1$: Sin confusión (PNSCM totalmente especificado).
  • $\Delta \to \infty$: Máxima confusión.

2.3 Calibración de la Sensibilidad ($\Delta$)

Un desafío importante es seleccionar $\Delta$ sin conocimiento del dominio. El artículo propone un método principista para derivar un límite superior para $\Delta(s, a)$ a partir de las variables de estado observadas:

1. Ocultación de Variables: Para cada variable de estado observada $i$, los autores computan la distribución de transición $P(s' | s_{-i}, a)$ marginalizando sobre $i$.
2. Cálculo de la Razón de Probabilidades: Calculan la razón de probabilidades máxima entre la transición completa y la transición marginalizada para cada variable.
3. Selección de Proxy: La sensibilidad $\Delta(s, a)$ se establece como el máximo de estas razones a través de todas las variables. Se puede aplicar un factor de escala $\Gamma$ para ajustar la rigurosidad del límite.

2.4 Procedimiento de Optimización

El objetivo es encontrar una política $\pi$ que maximice el valor contrafáctico de peor caso $V^{CF}$ bajo la incertidumbre de $U$.

• Refinamiento Actualizado en Contrafácticos: Para una transición observada $(s_t, a_t, s_{t+1})$, la probabilidad de transición contrafáctica $P^{CF}_t$ es una mezcla: con probabilidad $P(U=u|\tau)$, la transición es determinista (permaneciendo en $s_{t+1}$); de lo contrario, sigue la probabilidad de transición optimizada $\tilde{P}$.
• Optimización Desacoplada: Para hacer el problema tratable, los autores desacoplan la optimización a través de los pasos de tiempo y los pares estado-acción, tratando cada triple $(t, s, a)$ de forma independiente. Esto produce un límite inferior conservador sobre el verdadero valor pesimista.
• Formulación Adversaria: La optimización involucra a un adversario que selecciona conjuntamente la distribución posterior $P(U|\tau)$ y las probabilidades de transición $\tilde{P}$ para minimizar el valor, sujeto a las restricciones de sensibilidad. Este problema no convexo se resuelve utilizando Gurobi.
• Homogeneidad Temporal: El artículo señala que incorporar la homogeneidad temporal (que requiere transiciones consistentes a través del tiempo) crea un acoplamiento trilíneo resoluble mediante descenso de gradiente, aunque esto solo garantiza mínimos locales.

3. Evaluación Experimental

El enfoque fue validado en un Simulador de Tratamiento de Sepsis (Oberst y Sontag, 2019).

• Configuración: El espacio de estados incluye signos vitales (frecuencia cardíaca, presión arterial, etc.). El espacio de acciones implica alternar tratamientos.
• Confundidor: El estado de diabetes ($U \in \{0, 1\}$) actúa como un confundidor latente global, afectando al 20% de la población. La verdadera matriz de transición $P(S' | S, A, U)$ es conocida para la evaluación pero está oculta durante la derivación de la política.
• Datos: El método utiliza trayectorias generadas por una política suboptimal (óptima con probabilidad 0.5, aleatoria de otro modo) sobre la matriz de transición marginalizada (donde la diabetes está oculta).

Resultados Clave

1. Mejora Robusta: Las políticas contrafácticas derivadas ($\pi^*_\Delta$) superaron consistentemente a la política suboptimal observada cuando se evaluaron en el MDP totalmente observado (donde la diabetes es conocida).
2. Precisión del Proxy:
   • Para las trayectorias diabéticas, el proxy sin escalar ($\Gamma=1$) coincidió estrechamente con el rendimiento "oráculo" (el mejor resultado posible si se conociera la verdadera sensibilidad de la diabetes $\Delta^*$).
   • Para las trayectorias no diabéticas, el proxy fue conservador (sobreestimando la confusión), lo que llevó a estimaciones de valor más bajas que el oráculo. Sin embargo, las políticas resultantes permanecieron cercanas al rendimiento del oráculo, demostrando que el método recupera políticas robustas incluso cuando las estimaciones de valor son conservadoras.
3. Sensibilidad a $\Gamma$: Ajustar el factor de escala $\Gamma$ permitió a los autores tunear el compromiso entre la precisión de la estimación de valor y la robustez de la política.

4. Contribuciones Clave

• Formalización: El artículo formaliza la optimización de políticas contrafácticas para MDP bajo PNSCMs, separando explícitamente la confusión latente de la estocasticidad irreducible.
• Marco de Sensibilidad: Propone un problema de optimización práctico para identificar políticas contrafácticas robustas utilizando un marco de análisis de sensibilidad que acota la influencia de la variable latente.
• Método de Calibración: Introduce un método basado en datos para calibrar el parámetro de sensibilidad $\Delta$ utilizando variables de estado observadas, reduciendo la dependencia del conocimiento experto del dominio.
• Validación Empírica: Demuestra que se pueden derivar y validar políticas contrafácticas robustas en un simulador de salud realista con confundidores globales ocultos.

5. Significación y Reivindicaciones

Los autores afirman que este trabajo proporciona el primer problema de optimización práctico para identificar políticas contrafácticas robustas bajo un marco de análisis de sensibilidad dentro de los PNSCM. La significación radica en abordar la limitación de los enfoques SCM deterministas existentes, que no pueden modelar adecuadamente entornos con estocasticidad inherente.

El artículo concluye que las políticas derivadas son robustas cuando se evalúan en el entorno real y totalmente especificado, incluso cuando el parámetro de sensibilidad se estima a partir de datos observados. Los autores señalan modestamente que, aunque la optimización desacoplada proporciona un límite inferior válido, se necesita trabajo futuro para explorar las restricciones de homogeneidad temporal y diferentes tipos de variables latentes (por ejemplo, confundidores sin memoria) para obtener estimaciones de valor más precisas.