Resumen Técnico: Invertir la Ecuación de Bellman: De los Valores-Q a los Modelos del Mundo

Planteamiento del Problema

El aprendizaje por refuerzo (RL) se divide tradicionalmente en los paradigmas libre de modelo (model-free) y basado en modelos (model-based). Los agentes libres de modelo estiman funciones de valor ($Q$) vinculadas a políticas y funciones de recompensa específicas, omitiendo el aprendizaje explícito de la dinámica del entorno (el núcleo de transición $P$). Un obstáculo teórico fundamental en este dominio es el problema de la equivalencia de valor: distintos modelos del mundo pueden producir funciones de valor y políticas óptimas idénticas, lo que implica que los agentes libres de modelo no codifican de forma única el entorno en el que habitan.

Aunque los agentes son entrenados cada vez más en diversos objetivos mediante el RL Condicionado a Objetivos (GCRL), sigue sin estar claro si la colección de funciones de valor aprendidas a través de estos objetivos codifica implícitamente un modelo del mundo único y preciso. Este artículo aborda la pregunta central: ¿Cuándo codifican los agentes libres de modelo un modelo preciso de su entorno?

Metodología: P-learning

Los autores introducen el P-learning, un análogo inverso al Q-learning diseñado para extraer un modelo del mundo implícito de un agente entrenado.

• Concepto: Mientras que el Q-learning actualiza iterativamente una función de valor $Q$ para satisfacer la ecuación de Bellman $T^\star(Q) = Q$ para un $P$ fijo, el P-learning trata la función de valor $Q$ (y la política $\pi$ y la recompensa $r$ asociadas) como fijas. Luego, actualiza un modelo del mundo candidato $P_\phi$ para minimizar el residuo de Bellman:
  $$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$$
  donde $T^\pi_\phi$ es el operador de Bellman parametrizado por el modelo del mundo $P_\phi$.
• Mecanismo: El P-learning toma muestras de los valores-$Q$, las políticas y las recompensas del agente para decodificar el modelo interno. En el entorno tabular, los autores demuestran que el P-learning converge a una solución que involucra la pseudo-inversa de Moore-Penrose de una matriz $M$ derivada de las recompensas y las funciones de valor. Específicamente, si $M$ tiene rango completo, el modelo extraído es único y viene dado por $P_\infty = M^+ Q$.
• Diferenciabilidad: Para entornos continuos o deterministas, el método utiliza la optimización basada en gradientes (o trucos de reparametrización) para actualizar los parámetros del modelo del mundo, efectivamente "invirtiendo" la ecuación de Bellman.

Contribuciones Teóricas Clave

El artículo establece condiciones suficientes bajo las cuales el núcleo de transición $P$ es identificable de forma única a partir de un conjunto de valores-$Q$ condicionados a objetivos $(Q_g, \pi_g, r_g)_{g \in G}$, rompiendo así la equivalencia de valor.

1. MDPs Finitos:

   • Determinista: Un solo objetivo genérico es suficiente para identificar unicamente $P$ (Teorema 2). La unicidad se mantiene para casi todas las funciones de recompensa, siempre que la matriz $M$ resultante sea de inyectividad por columna.
   • Estocástico: Los objetivos deben abarcar el espacio de estados (es decir, el rango de la matriz de recompensa debe ser igual al número de estados) para asegurar que $P$ sea identificable de forma única (Teorema 3). Esto se cumple para funciones de recompensa o políticas genéricas.
   • Aproximación: Los autores proporcionan límites de error ajustados que muestran que si los valores-$Q$ son $\epsilon$-aproximados, el error del modelo extraído escala linealmente con $\epsilon$.

2. MDPs Continuos:

   • Determinista: Un número finito de objetivos puede ser suficiente bajo condiciones específicas (por ejemplo, recompensas gaussianas con terminación). Para recompensas de indicador, se requiere un conjunto de objetivos que cubra el espacio de estados con un radio específico (Teorema 4).
   • Estocástico: La identificabilidad es impulsada por la cobertura del conjunto de objetivos más que por el conteo. Para recompensas gaussianas, un conjunto de objetivos con un interior no vacío es suficiente; para recompensas de indicador, el conjunto debe cubrir el espacio de estados expandido por el radio de la recompensa (Teoremas 6 y 7).

3. MDPs Locales: El artículo extiende los resultados a MDPs $N$-locales (donde las transiciones están restringidas a una vecindad), mostrando que se necesitan menos objetivos si el soporte del núcleo de transición es conocido.

Resultados Empíricos

Los autores validan su teoría y método en varios entornos, demostrando que el P-learning puede extraer modelos del mundo altamente precisos incluso cuando no se cumplen las garantías teóricas (por ejemplo, objetivos infinitos).

• FourRooms (MDPs Finitos):
  • Determinista: Recuperación exacta de $P$ con $|G|=1$.
  • Windy (Estocástico Local): Recuperación cuasi-perfecta con $|G|=4$.
  • Teleporting (Totalmente Estocástico): Planificación cuasi-óptima con $|G|=20$, significativamente menor que el límite teórico del peor caso de $|S|=68$.
• Reacher (Continuo, Determinista):
  • Entrenado con solo $|G|=4$ objetivos basados en posición, el modelo del mundo extraído logró una alta fidelidad (NMSE $1.2 \times 10^{-4}$) a pesar de tener valores-$Q$ imperfectos.
  • Generalización Zero-Shot: Las políticas entrenadas exclusivamente dentro del modelo del mundo implícito extraído lograron un rendimiento cercano al óptimo en objetivos fuera de la distribución (por ejemplo, alcanzar velocidades angulares específicas o configuraciones de articulación) que nunca fueron vistos durante el entrenamiento. Esto sugiere que el agente codificó la dinámica para variables (velocidad, ángulos) para las cuales nunca fue explícitamente recompensado.
• MountainCar (Continuo, Determinista):
  • Agentes entrenados en objetivos basados en posición y agentes entrenados en objetivos basados en velocidad convergieron a modelos del mundo implícitos casi idénticos.
  • La planificación dentro de estos modelos permitió una transferencia zero-shot exitosa a tareas que involucran la variable no entrenada (por ejemplo, un agente entrenado en posición resolviendo un objetivo basado en velocidad).

Significado y Reivindicaciones

El artículo argumenta que el RL Condicionado a Objetivos actúa como un método híbrido implícito, cerrando la brecha entre el aprendizaje libre de modelo y el basado en modelos.

1. Modelos del Mundo Implícitos: Los agentes libres de modelo entrenados en un conjunto de objetivos suficientemente rico codifican implícitamente un modelo del mundo único y preciso, incluso en entornos estocásticos y continuos.
2. Generalización Oculta: Estos modelos implícitos contienen "capacidades de generalización ocultas", permitiendo a los agentes resolver tareas definidas sobre variables ortogonales a sus recompensas de entrenamiento (por ejemplo, aprender la dinámica de la velocidad a partir de recompensas de posición).
3. Correlación de Rendimiento: Existe una fuerte correlación ($\rho = 0.98$) entre el rendimiento de un agente y la precisión de su modelo del mundo internalizado, lo que sugiere que los agentes de GCRL de alto rendimiento desarrollan naturalmente mejores representaciones del mundo.
4. Utilidad del P-learning: El algoritmo P-learning propuesto proporciona una herramienta práctica para extraer estos modelos internos, permitiendo el reaprovechamiento de agentes libres de modelo para nuevas tareas sin interacción adicional con el entorno.

Los autores concluyen que, si bien el P-learning no es un sustituto del RL basado en modelos explícito, revela una conexión fundamental: el entrenamiento con recompensas diversas y ricas permite que los agentes libres de modelo "aprendan todo" sobre la dinámica del entorno, codificando efectivamente un modelo del mundo dentro de sus funciones de valor.