Resumen Técnico: Integración de DAGs Causales en RL Profundo con MOSE

Enunciado del Problema

Los algoritmos de aprendizaje por refuerzo (RL) en línea dependen fundamentalmente de la propiedad de Markov, que asume que el futuro es condicionalmente independiente del pasado dado el estado presente. Sin embargo, en aplicaciones del mundo real que involucran observaciones crudas (por ejemplo, flujos de sensores, cuadros de video), las variables observadas a menudo no forman inherentemente un estado markoviano porque la dinámica del sistema puede depender de una cantidad desconocida de contexto histórico.

Aunque la literatura existente sobre RL causal utiliza Grafos Acíclicos Dirigidos (DAGs) causales para acelerar el aprendizaje o diseñar recompensas robustas, estos métodos suelen asumir que ya está disponible una representación de estado markoviana válida y preespecificada. Persiste una brecha crítica: dado un grafo causal longitudinal sobre variables observadas, no existe un procedimiento establecido para construir una representación de estado que satisfaga demostrablemente la propiedad de Markov. Además, en el contexto del RL profundo, simplemente construir un estado markoviano teóricamente "mínimo" a menudo falla en mejorar el rendimiento empírico, ya que las redes neuronales pueden tener dificultades para generalizar a partir de tales representaciones escasas debido al sobreajuste y a la falta de características redundantes que ayuden a la aproximación de funciones.

Metodología

El artículo propone un enfoque de dos frentes: un procedimiento teórico para construir estados mínimos a partir de grafos causales conocidos, y un método heurístico (MOSE) para RL profundo cuando el grafo es desconocido o para mejorar la estabilidad del aprendizaje.

1. Construcción de Estado Markoviano Mínimo a partir de DAGs Causales

Los autores establecen una conexión formal entre DAGs causales de series temporales y Procesos de Decisión de Markov (MDPs).

• Marco Teórico: Utilizando Modelos Causales Estructurales (SCMs) extendidos a series temporales, el artículo define un "Grafo de Tiempo Completo" donde los nodos representan variables en pasos de tiempo específicos y las aristas representan dependencias causales con retrasos temporales.
• Criterio Gráfico: El Teorema 4.1 proporciona cuatro condiciones necesarias y suficientes para que una secuencia de conjuntos de variables $\{S_t\}$ constituya un espacio de estados válido:
  1. Inclusión de Padres de Recompensa: Todos los padres de la variable de recompensa $R_t$ deben incluirse en $S_t$.
  2. Inclusión Extendida de Padres del Próximo Estado: Todos los padres (en tiempos $\le t$) del "conjunto extendido del próximo estado" (el cierre de $S_{t+1}$ bajo padres del mismo tiempo) deben incluirse en $S_t$.
  3. Sin Reingreso Ancestral: Una vez que una variable se elimina de la construcción del estado, sus ancestros no pueden reingresar al estado en un momento posterior.
  4. Persistencia: Si una variable aparece en el estado en dos momentos diferentes, debe aparecer en todos los estados intermedios.
• Algoritmo F.1: Se propone un algoritmo de construcción hacia atrás para generar una secuencia de estados demostrablemente mínima que satisfaga los criterios anteriores. Comenzando desde el final del horizonte, selecciona iterativamente los padres necesarios de la recompensa y del próximo estado, asegurando que no se incluyan variables redundantes mientras se preserva la propiedad de Markov y el valor óptimo.

2. Exposición de Estado de Múltiples Órdenes (MOSE)

Reconociendo que las representaciones mínimas pueden conducir a una generalización deficiente en RL profundo (debido a mínimos agudos y falta de holgura estadística), los autores proponen MOSE.

• Mecanismo: En lugar de alimentar una única estado mínimo o una ventana fija de historia a la función Q, MOSE alimenta múltiples órdenes de construcciones de estado histórico simultáneamente. Específicamente, para una longitud de ventana $W$, el algoritmo actualiza iterativamente la función de valor utilizando entradas que van desde la observación actual ($l=0$) hasta la ventana completa ($l=W$).
• Racional: Las entradas de orden inferior, no markovianas, actúan como ruido estructurado que remodela el paisaje de pérdida. Esto proporciona un gradiente gradual e informativo desde representaciones subóptimas hasta óptimas, actuando como un regularizador similar a la augmentación de datos o el aprendizaje multi-vista.
• Causal-MOSE: Una extensión donde el estado markoviano mínimo (derivado del DAG causal) se incluye junto con las entradas de múltiples órdenes. Esto combina la garantía teórica del núcleo mínimo con los beneficios empíricos de la redundancia.

Contribuciones Clave

1. Construcción de Estado Markoviano Mínimo: El artículo proporciona un criterio gráfico y un algoritmo constructivo hacia atrás (Algoritmo F.1) para derivar un espacio de estados demostrablemente mínimo a partir de un DAG causal longitudinal conocido. Esto cierra la brecha entre el descubrimiento causal y la definición de estados MDP.
2. Exposición de Estado de Múltiples Órdenes (MOSE): Un método heurístico para la construcción de estados que no requiere conocimiento previo del DAG causal. Demuestra que exponer a los agentes de RL profundo a múltiples ventanas temporales de historia mejora el rendimiento tanto sobre el apilamiento de cuadros ingenuo como sobre representaciones causales mínimas.
3. Causal-MOSE: Un enfoque híbrido que muestra que combinar el estado markoviano mínimo con la exposición de múltiples órdenes produce un rendimiento igual o superior al de MOSE por sí solo, validando la utilidad de la estructura causal cuando está disponible.

Resultados Experimentales

Los autores evaluaron sus métodos en tres Procesos Generadores de Datos (DGPs) sintéticos y el juego de Atari GOPHER.

• DGPs Sintéticos: Utilizando Modelos de Ruido Aditivo Lineal (ANM) y Modelos Post-No Lineales (PNL) con órdenes MDP variables ($W=2, 5, 10$), MOSE superó consistentemente a:
  • Política de Ventana: Apilamiento de cuadros estándar (concatenación de $W$ cuadros fijos).
  • Padres de Recompensa: Usar solo los padres de la recompensa como estado.
  • Estado-DAG: El estado mínimo construido por el Algoritmo F.1.
  • Hallazgo Clave: El estado mínimo (Estado-DAG) por sí solo no mejoró el rendimiento sobre las políticas de ventana y a veces lo degradó, confirmando que la minimalidad teórica no equivale a optimalidad empírica en RL profundo.
• Rendimiento de Causal-MOSE: En entornos ANM lineales, Causal-MOSE (estado mínimo + MOSE) superó consistentemente a MOSE por sí solo, sugiriendo que el estado mínimo proporciona un núcleo confiable sobre el cual la red puede construir.
• Atari (GOPHER): MOSE superó al algoritmo Rainbow estándar (que utiliza apilamiento de 4 cuadros) durante 1 millón de pasos de entrenamiento. Esto indica que en entornos de píxeles de alta dimensión, no todos los cuadros apilados contribuyen por igual al control, y la selección adaptativa de estados mejora la eficiencia de la muestra.
• Ablaciones: Los experimentos confirmaron que las ganancias no se debieron a un aumento en los pasos de gradiente por lote (artefactos de optimización), sino a las representaciones de estado más ricas proporcionadas por MOSE.

Significado y Afirmaciones

El artículo establece un principio fundamental para el RL causal profundo: la suficiencia mínima no es suficiente, y la redundancia controlada es necesaria para desbloquear el beneficio de la información del estado causal.

Los autores argumentan que, aunque los grafos causales proporcionan una manera principista de identificar las variables mínimas requeridas para la propiedad de Markov, las redes neuronales profundas se benefician de la "holgura estadística" proporcionada por entradas redundantes y no markovianas. Estas entradas redundantes ayudan a la red a evitar el sobreajuste a correlaciones espurias y facilitan una mejor generalización.

El trabajo contribuye con una base teórica para construir estados MDP válidos a partir de grafos causales y una heurística práctica (MOSE) que hace que estos conocimientos causales sean utilizables en el RL profundo moderno. Los autores señalan que su enfoque asume el acceso a un grafo causal longitudinal de verdad fundamental; aprender tales grafos a partir de datos de alta dimensión y no estacionarios sigue siendo un desafío abierto para trabajos futuros.