Confounding Robust Continuous Control via Automatic Reward Shaping

1. El Problema: El Desafío de los Confundidores No Observados

En el aprendizaje por refuerzo (RL) convencional, se asume que los datos de entrenamiento (especialmente en aprendizaje offline) provienen de un Proceso de Decisión de Markov (MDP) donde las observaciones de estado, acciones y recompensas son suficientes para entender la dinámica del entorno.

Sin embargo, en escenarios del mundo real, los datos suelen estar contaminados por confundidores no observados (unobserved confounders). Esto ocurre cuando variables externas (no registradas en el dataset) influyen simultáneamente en las acciones del agente que recolectó los datos y en las recompensas o transiciones resultantes. Un ejemplo típico es la diferencia de sensores: un dataset offline puede haber sido recolectado por un robot con sensores de alta precisión, mientras que el agente que debe aprender (online) tiene sensores limitados. Esta discrepancia rompe la capacidad de los algoritmos estándar para identificar correctamente la función de valor, llevando a políticas sesgadas y un rendimiento pobre.

2. Metodología Propuesta

Los autores proponen un marco para aprender funciones de Modelado de Recompensas Basado en Potenciales (PBRS) de manera automática, utilizando datos offline que pueden estar sesgados por confundidores.

A. La Ecuación de Bellman Causal:
La contribución teórica central es la derivación de una Ecuación de Bellman Causal para Procesos de Decisión de Markov Confundidos (CMDP) de horizonte infinito. A diferencia de la ecuación de Bellman estándar, esta versión introduce un término de compensación que representa el "mejor retorno posible de las acciones no tomadas" (el camino no elegido). Esto permite establecer un límite superior optimista (tight upper bound) sobre los valores de estado intervinientes, protegiendo al agente del sesgo de los datos observados.

B. Algoritmo de Aprendizaje Neuronal:
Dado que el espacio de estados y acciones es continuo y de alta dimensión, los autores diseñan un algoritmo para aproximar esta ecuación mediante redes neuronales:

1. Modelado de la política observada y transiciones: Utilizan redes para estimar la probabilidad de las acciones en el dataset y las diferencias de estado ($\Delta s$).
2. Optimización del Potencial: Entrenan una red neuronal para minimizar el error residual de la Ecuación de Bellman Causal, obteniendo así una función de potencial $\phi(s)$ que es robusta a la confusión.

C. Integración con SAC (Soft-Actor-Critic):
El potencial aprendido se utiliza dentro del marco PBRS para transformar la recompensa original $y$ en una recompensa moldeada $y' = y + \gamma\phi(s') - \phi(s)$. Esta transformación garantiza, mediante la propiedad de invarianza de la política óptima, que el agente final aprenderá la misma política óptima que si hubiera usado la recompensa original, pero con una exploración mucho más informada y eficiente.

3. Contribuciones Clave

• Teoría: Derivación de la Ecuación de Bellman Causal y prueba de su convergencia a un punto fijo que actúa como límite superior del valor de estado.
• Algoritmo: Un método de aprendizaje neuronal escalable para aproximar estos límites en espacios continuos de alta dimensión.
• Aplicación: Un marco de reward shaping automático que permite transferir conocimiento de datasets offline contaminados a agentes online.

4. Resultados Experimentales

El método fue evaluado en entornos de control continuo de MuJoCo (Hopper, HalfCheetah, Walker2D, Ant) y Adroit (manipulación robótica), simulando la pérdida de información sensorial (confusión).

• Superioridad sobre Baselines: El método propuesto (Causal PBRS) superó consistentemente a los métodos que no consideran la causalidad, como CQL (Conservative Q-Learning) y T-REX (basado en aprendizaje por imitación), así como a agentes con redes recurrentes (Recurrent SAC).
• Robustez: En entornos como Hopper, donde la pérdida de una dimensión del estado (como el ángulo de la articulación) reduce drásticamente el rendimiento del agente estándar, el Causal PBRS logró recuperar gran parte del rendimiento original.
• Eficiencia: El método no solo mejora el rendimiento final, sino que acelera la convergencia del aprendizaje en tareas donde la recompensa depende de variables que no se pueden observar directamente.

5. Significado e Impacto

Este trabajo representa un paso fundamental hacia un Aprendizaje por Refuerzo Causal. Al abordar el problema de los confundidores no observados, el estudio permite que el aprendizaje offline-to-online sea viable en condiciones reales donde la perfección de los sensores no está garantizada. Proporciona una base matemática sólida para diseñar recompensas que guíen a los agentes de manera segura y eficiente, incluso cuando los datos históricos son imperfectos o están sesgados por agentes con capacidades superiores.