ResWM: Residual-Action World Model for Visual RL

1. El Problema

El aprendizaje de modelos del mundo a partir de observaciones visuales de alta dimensión es un desafío central en el Aprendizaje por Refuerzo (RL), especialmente en robótica y control continuo. Los enfoques tradicionales de RL basado en modelos (MBRL) suelen condicionar las predicciones futuras directamente sobre acciones absolutas. Esta formulación presenta varias limitaciones críticas:

• Inestabilidad de optimización: Las distribuciones de acciones óptimas dependen de la tarea, son desconocidas a priori y a menudo no estacionarias, lo que dificulta el aprendizaje.
• Comportamiento oscilatorio: La predicción de acciones absolutas tiende a generar trayectorias de control erráticas o con "chattering" (vibración de alta frecuencia), lo que reduce la eficacia de la planificación y puede ser peligroso en sistemas físicos reales.
• Ineficiencia en la búsqueda: El espacio de búsqueda para acciones absolutas es vasto y no aprovecha la suavidad inherente a los sistemas de control físico.

2. Metodología

Los autores proponen ResWM (Residual-Action World Model), un marco que reformula fundamentalmente cómo se representan las acciones y las observaciones en un modelo de mundo latente. La metodología se basa en dos pilares principales:

A. Política de Acción Residual (Smoothness Prior)

En lugar de predecir la acción absoluta $a_t$, la política predice un ajuste incremental o residual ($\delta a_t$) relativo a la acción anterior ($a_{t-1}$).

• Fórmula: $a_t = \tanh(a_{t-1} + \delta a_t)$, donde $\delta a_t \sim \pi_\theta(\cdot | z_t, a_{t-1})$.
• Beneficio: Esto incrusta un prior de suavidad temporal fuerte. En lugar de buscar en todo el espacio de acciones global, el agente explora un manifold local centrado en la acción previa. Esto reduce drásticamente la complejidad de aprendizaje, estabiliza la optimización y genera señales de control de baja frecuencia y eficientes energéticamente.

B. Codificador de Diferencia de Observación (ODL)

Para alimentar la política con la información perceptual más relevante, se introduce el Observation Difference Encoder (ODL).

• Funcionamiento: En lugar de codificar cuadros estáticos individualmente, el ODL codifica explícitamente las diferencias temporales entre cuadros consecutivos ($o_t$ y $o_{t-1}$).
• Representación: Genera una representación latente $z_t$ que captura los cambios dinámicos del entorno (movimiento de objetos, articulaciones) filtrando el ruido de fondo estático.
• Sinergia: Al acoplar el ODL con la política residual, se crea un vínculo causal donde la percepción (cambios visuales) guía directamente el control (ajustes incrementales).

C. Integración en el Modelo del Mundo

ResWM se integra en una arquitectura de Modelo de Estado Espacial Recurrente (RSSM) estilo Dreamer, con modificaciones mínimas:

• La función de transición del estado latente se condiciona sobre la acción residual: $s_{t+1} \sim g_\phi(s_t, \delta a_t)$.
• Tanto la "imaginación" (rollouts en el espacio latente) como la optimización de la política ocurren enteramente en el espacio de acciones residuales.
• Se utilizan mecanismos de regularización (divergencia KL hacia una gaussiana de media cero y penalización de energía) para evitar desviaciones excesivas y mantener la estabilidad.

3. Contribuciones Clave

1. Marco ResWM: Un nuevo paradigma de MBRL que reparametriza el espacio de acciones hacia residuos, reduciendo la complejidad del aprendizaje y mejorando la estabilidad sin requerir hiperparámetros adicionales.
2. Codificador ODL: Una arquitectura novedosa que aprende representaciones latentes conscientes de la dinámica al capturar explícitamente los cambios temporales en las entradas visuales, mejorando la capacidad de razonamiento causal.
3. Validación Empírica: Demostración de que este enfoque simple pero potente supera a los modelos baselines más fuertes en eficiencia de muestras, rendimiento asintótico y suavidad de control.

4. Resultados Experimentales

Los autores evaluaron ResWM en el DeepMind Control Suite (DMControl) y en el benchmark de Atari:

• Eficiencia de Muestras y Rendimiento (DMControl):
  • En tareas estándar, ResWM alcanzó un puntaje promedio de 828.7 a los 100k pasos, superando a baselines como DeepRAD (695.1) y ResAct (822.1).
  • En el rendimiento asintótico (500k pasos), ResWM logró 925.0, superando consistentemente a DreamerV3, TD-MPC y otros modelos avanzados.
  • En tareas "duras" (Hard Tasks) con alta complejidad, ResWM mantuvo su liderazgo, alcanzando un promedio de 644.8 a 1M pasos, superando a ResAct (630.2).
• Generalización (Atari):
  • En 10 juegos de Atari, ResWM obtuvo una puntuación media normalizada de 0.96, superando significativamente a ResAct (0.86) y TACO (0.76), demostrando su capacidad para manejar entradas de píxeles de alta dimensión y asignación de crédito a largo plazo.
• Suavidad y Eficiencia Energética:
  • Análisis cualitativos mostraron que ResWM produce trayectorias de acción mucho más suaves y con menos vibración que los modelos basados en acciones absolutas.
  • Los mapas de atención revelan que el modelo ODL se enfoca nítidamente en las articulaciones y efectores críticos, ignorando el fondo estático, lo que lleva a una toma de decisiones más eficiente.

5. Significado e Impacto

El trabajo de ResWM es significativo por varias razones:

• Puente entre Algoritmos y Robótica Real: Proporciona un principio simple (modelado residual) que alinea los avances teóricos del RL con las necesidades prácticas de los sistemas físicos, donde la suavidad y la eficiencia energética son críticas para la seguridad y la durabilidad del hardware.
• Estabilidad a Largo Plazo: Al reducir la varianza en la búsqueda de políticas y alinear la dinámica del modelo con la física real (suavidad), permite una planificación de horizonte más larga y fiable.
• Simplicidad y Eficacia: Demuestra que no siempre se necesitan arquitecturas masivamente complejas; una reformulación inteligente de la variable de control y la representación visual puede superar a los modelos más sofisticados actuales.

En resumen, ResWM establece un nuevo estado del arte (SOTA) en el control visual basado en modelos, demostrando que la modelización de acciones residuales, combinada con una percepción centrada en el cambio, es una vía prometedora para desbloquear el potencial del RL en entornos del mundo real.