Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations

Aquí se presenta un resumen técnico detallado del artículo "Aprendizaje por Refuerzo Visual Centrado en el Agente bajo Perturbaciones Dinámicas".

1. Enunciado del Problema

Los agentes de Aprendizaje por Refuerzo (RL) visual aprenden políticas directamente a partir de observaciones de píxeles, pero son altamente vulnerables a perturbaciones visuales dinámicas (por ejemplo, lluvia, nieve, desenfoque de movimiento, ruido del sensor y fondos cambiantes). Las pruebas de referencia existentes a menudo dependen de distracciones de fondo estáticas o corrupciones fijas individuales, fallando en capturar la naturaleza no estacionaria y variable en el tiempo de los entornos del mundo real, donde los tipos de corrupción cambian de manera impredecible (por ejemplo, el clima cambiando de lluvia a niebla).

El artículo identifica dos modos de fallo críticos en los métodos actuales:

1. Métodos Libres de Modelo: Los codificadores confunden las características del estado relevantes para la tarea con artefactos de corrupción, lo que lleva a confusión en la política cuando las texturas del primer plano están ocluidas.
2. Métodos Basados en Modelo (Modelos del Mundo): Los objetivos basados en reconstrucción (por ejemplo, en DreamerV3) fuerzan al estado latente a codificar características específicas de la corrupción para minimizar el error de reconstrucción. Bajo cambios dinámicos, esto "enreda" la perturbación en la representación latente, contaminando las simulaciones imaginadas utilizadas para la planificación y causando caídas catastróficas en el rendimiento.

Las soluciones existentes, como la aumento de datos o el aprendizaje de representaciones invariantes, fallan porque o bien siguen alimentando píxeles corruptos al agente o no pueden recuperar información perdida a nivel de píxel (por ejemplo, primeros planos ocluidos).

2. Metodología: ACO-MoE

Los autores proponen Observaciones Centradas en el Agente con Mezcla de Expertos (ACO-MoE), un marco de preprocesamiento plug-and-play diseñado para desacoplar la percepción de la perturbación antes de que el agente de RL procese la entrada.

Componentes Principales:

• Preprocesador Plug-and-Play: ACO-MoE se sitúa entre el entorno y el núcleo de RL (codificador). Toma una observación corrupta $x_t$ y genera una observación centrada en el agente limpia $\tilde{x}_t$.
• Arquitectura de Mezcla de Expertos (MoE):
  • Codificador Compartido: Extrae características multiescala de la entrada corrupta.
  • Enrutador: Un módulo ligero que selecciona dinámicamente uno de $|K|$ expertos especializados basándose en las características de entrada. Crucialmente, opera sin etiquetas oráculo del tipo de corrupción durante la inferencia.
  • Expertos de Restauración: Cada experto está especializado en un tipo específico de degradación (por ejemplo, lluvia, desenfoque, ruido).
• Salida de Doble Flujo: Cada experto seleccionado produce dos salidas:
  1. Residual RGB: Restaura los píxeles del primer plano corruptos.
  2. Máscara de Primer Plano: Segmenta al agente y los objetos relevantes para la tarea del fondo.
• Composición Centrada en el Agente: La observación final se construye componiendo el primer plano restaurado sobre un fondo negro uniforme. Esto elimina las distracciones de fondo y asegura que el agente de RL solo vea el estado relevante para la tarea.
• Estrategia de Entrenamiento: El MoE se preentrena fuera de línea con datos emparejados limpios/corruptos y máscaras pseudo. Durante el entrenamiento de RL, el módulo ACO-MoE se congela, evitando la deriva de observaciones y asegurando un aprendizaje de políticas estable.

3. Análisis Teórico

El artículo proporciona un análisis formal de la teoría de la información para justificar el enfoque:

• Proposición 5.1 (Contaminación de Representación): Demuestra que para los modelos del mundo basados en reconstrucción, minimizar el error de reconstrucción obliga inevitablemente a que la representación latente $Z_t$ codifique el modo de corrupción $K_t$. Específicamente, $I(Z_t; K_t | S_t) \ge I(X_t; K_t | S_t) - C(\epsilon)$. Una reconstrucción precisa implica un alto enredo con el ruido.
• Corolario 5.2 (Primer Plano como Ancla IB): Demuestra que extraer el primer plano limpio $F_t$ actúa como un sustituto del Cuello de Botella de Información (IB). Dado que el primer plano es una función determinista del estado $S_t$ e independiente de la corrupción exógena $K_t$, usar $F_t$ como entrada ($Z_t = F_t$) logra una invariancia exacta a las molestias ($I(Z_t; K_t | Y_t) = 0$) mientras preserva la suficiencia de la tarea.

4. Prueba de Referencia: Visual Degraded Control Suite (VDCS)

Para evaluar sistemáticamente este problema, los autores introducen VDCS, una extensión del DeepMind Control Suite (DMC).

• Perturbaciones Dinámicas: A diferencia de las pruebas de referencia estáticas, VDCS utiliza dinámicas de cambio de Markov para simular transiciones no estacionarias entre tipos de corrupción (por ejemplo, lluvia $\to$ nieve $\to$ desenfoque) dentro de un solo episodio.
• Degradaciones: Incluye 7 degradaciones físicas (Lluvia, Bruma, Nieve, Desenfoque de Movimiento, Ruido Gaussiano, Baja Iluminación, JPEG) y 2 distracciones de fondo (Video, Color).
• Severidad: Las corrupciones tienen niveles de severidad correlacionados temporalmente, imitando la persistencia del mundo real.

5. Resultados Clave

Los experimentos se realizaron en VDCS y en la Prueba de Referencia de Generalización DMControl (DMC-GB) utilizando tanto núcleos libres de modelo (DrQ-v2) como basados en modelo (DreamerV3, TD-MPC2).

• Rendimiento en VDCS:
  • ACO-MoE logra una mejora relativa del 78.5% sobre la mejor línea base (SimGRL) en promedio.
  • Recupera el 95.3% del rendimiento limpio de DreamerV3 bajo corrupciones de cambio de Markov desafiantes.
  • Las ganancias específicas son masivas en tareas sensibles a la pérdida de textura: finger_turn_hard (+207%), cheetah_run (+126%) y hopper_hop (+105%).
• Generalización (DMC-GB):
  • Logra el Estado del Arte (SOTA) en DMC-GB (Video Difícil y Color Difícil), superando al segundo mejor método en un 6.2% y un 17.4% respectivamente.
  • Demuestra robustez incluso cuando el tipo de corrupción no se conoce explícitamente durante la inferencia.
• Estudios de Ablación:
  • MoE vs. Experto Único: Los expertos especializados superan a una sola red grande, demostrando el beneficio del enrutamiento.
  • Doble Flujo: Tanto la restauración RGB como el enmascaramiento del primer plano son esenciales; eliminar cualquiera de ellos causa caídas significativas en el rendimiento.
  • Congelado vs. Conjunto: Mantener el preprocesador congelado es crítico; ajustarlo finamente durante el RL conduce a inestabilidad y colapso del rendimiento.
• Eficiencia: ACO-MoE añade una latencia mínima (~20ms/paso en RTX 5090) en comparación con métodos de adaptación en tiempo de prueba como FTR, que dependen de modelos de segmentación pesados (SAM).

6. Significado y Contribuciones

1. Nueva Prueba de Referencia (VDCS): Establece un estándar riguroso para evaluar el RL visual bajo perturbaciones no estacionarias y físicamente realistas, yendo más allá de las distracciones de fondo estáticas.
2. Perspectiva Teórica: Demuestra formalmente que los objetivos de reconstrucción en los modelos del mundo son estructuralmente incompatibles con la robustez ante corrupciones dinámicas, motivando el cambio hacia un preprocesamiento centrado en el agente.
3. Marco Robusto (ACO-MoE): Introduce una solución novedosa y agnóstica a la arquitectura que desacopla la percepción de la perturbación. Funciona perfectamente tanto con agentes libres de modelo como basados en modelo sin requerir cambios en el propio algoritmo de RL.
4. Impacto Práctico: El método recupera un rendimiento casi limpio en entornos altamente degradados, haciendo que el RL visual sea más viable para su implementación en el mundo real, donde el ruido de los sensores y los cambios ambientales son inevitables.

En conclusión, este trabajo cambia el paradigma de "aprender a ignorar el ruido" a "restaurar la visión centrada en el agente", proporcionando una solución teóricamente fundamentada y empíricamente superior para el control visual robusto.