Resumen Técnico: Acciones Latentes a partir de Efectos de Transición Factorizados bajo Ambigüedad del Agente

1. Planteamiento del Problema

Los Modelos de Acción Latente (LAMs, por sus siglas en inglés) buscan aprender proxies de acciones similares directamente de las transiciones de observación (por ejemplo, fotogramas de video $x_t$ a $x_{t+1}$) sin etiquetas de acción explícitas. Aunque son efectivos en entornos controlados donde el agente es la fuente dominante de cambio, los LAMs enfrentan una ambigüedad del agente significativa en escenas complejas. En entornos con distractores, fondos en movimiento, dinámicas de cámara u objetos articulados, la transición visual $\Delta x_t$ es una mezcla del movimiento controlado por el agente y factores exógenos no controlados.

Los LAMs estándar comprimen toda esta transición en un vector latente monolítico. Sin supervisión, el modelo carece de una base para distinguir qué cambios observados son atribuibles al agente frente a los distractores. Esta ambigüedad conduce a espacios latentes que entrelazan el movimiento controlable con el ruido específico del entorno, dificultando la transferibilidad y el aprendizaje de políticas en tareas posteriores. Los enfoques existentes suelen depender de priors centrados en objetos o segmentación, lo que impone supuestos rígidos y limita la escalabilidad.

2. Metodología

Los autores proponen la Factorización de Transiciones Observadas (OTF), un enfoque bottom-up que trata la transición visual no como un único evento para ser comprimido, sino como una composición dispersa de primitivas de transición observada reutilizables. El marco consta de dos etapas principales:

2.1. Factorización de Transiciones Observadas (OTF)

La primera etapa aprende un vocabulario compartido de efectos de movimiento locales.

• Construcción de la Entrada: Se construye una observación de movimiento $o_t$ aplicando una transformación de gradiente (o Sobel) a fotogramas consecutivos y computando la diferencia. Esto enfatiza el cambio observable mientras reduce la dependencia de la apariencia estática y la identidad del objeto.
• Cuantización de Vectores por Parches: La entrada de movimiento se particiona en parches espaciales. Cada parche es codificado y cuantizado en un libro de códigos discreto de tamaño $K$ utilizando un objetivo de estilo VQ-VAE.
• Primitivas: El libro de códigos aprende primitivas de transición observada reutilizables (por ejemplo, desplazamiento local, desplazamientos de bordes, residuos de rotación, deformación por contacto). Crucialmente, estas primitivas representan efectos visuales en lugar de movimiento físico puro o identidades de objetos.
• Representación de Factores: Para cada transición, el modelo genera un conjunto estructurado de factores $E_t = \{e_{t,k}\}_{k=1}^K$, donde cada factor $e_{t,k}$ consiste en la entrada del libro de códigos, un mapa de ocupación (soporte espacial) y una fuerza de activación.
• Objetivo de Entrenamiento: El factorizador se entrena para reconstruir la observación de movimiento $o_t$ utilizando las primitivas seleccionadas y el fotograma actual $x_t$ como referencia de apariencia, minimizando la pérdida de reconstrucción junto con las pérdidas estándar de VQ y un regularizador de ortogonalidad para asegurar la diversidad del libro de códigos.

2.2. OTF-LAM: Abstracción de Acción

Una vez que el módulo OTF está preentrenado, este se congela y se entrena un Modelo de Acción Latente sobre los factores extraídos.

• Abstracción Sensible al Estado: El modelo toma los factores $E_t$ y el estado actual $x_t$ para formar una acción latente compacta $z_t^{act}$.
• Mecanismo de Puerta (Gating): Un "Módulo de Abstracción de Acción" convierte cada factor en un token sensible al estado. Una red de puerta asigna un peso de relevancia $\alpha_{t,k}$ a cada factor basado en el contexto actual, seleccionando efectivamente qué primitivas de transición observada son relevantes para la acción del agente.
• Predicción: El latente agregado $z_t^{act}$ se utiliza en un marco estándar de dinámica inversa-directa para predecir la siguiente observación (o una actualización residual).

2.3. OTF-LAM-Dino

Se introduce una variante sin decodificador para separar aún más los componentes reutilizables de los detalles específicos del entorno.

• Representación Congelada: En lugar de predecir en el espacio de píxeles, el modelo predice estados futuros en un espacio de representación DINOv2 congelado.
• Arquitectura: Tanto el codificador visual (DDINOv2) como el extractor de primitivas de movimiento OTF están congelados. Los componentes aprendibles se limitan al agregador de acciones y al predictor de dinámica directa dentro del espacio de características de DINO. Esto obliga al modelo a centrarse en abstraer la estructura de la transición relevante para el control en lugar de reconstruir texturas a nivel de píxel.

2.4. Aprendizaje de Políticas

Para conectar el espacio latente aprendido con el control del mundo real, se utiliza una pequeña cantidad de supervisión de acción. Una política de clonación de comportamiento mapea la acción latente $z_t^{act}$ a las acciones reales, y un decodificador de acción se entrena para mapear el latente predicho de vuelta a las acciones reales, utilizando la observación actual para resolver la ambigüedad sobre a qué objeto se aplica el movimiento.

3. Principales Contribuciones

1. Factorización de Transiciones Observadas (OTF): Un método novedoso para descomponer transiciones visuales complejas en un conjunto disperso de primitivas localizadas y reutilizables antes de intentar inferir acciones latentes. Esto desplaza el objetivo de aprendizaje de "recuperar la acción verdadera" a "estructurar los efectos de la transición observada".
2. OTF-LAM y OTF-LAM-Dino: Dos arquitecturas que utilizan la interfaz de transición factorizada. OTF-LAM-Dino demuestra específicamente que combinar vocabularios de transición reutilizables con representaciones visuales de estado congeladas (DINOv2) puede mejorar el rendimiento en tareas posteriores al actuar como un regularizador contra factores de molestia a nivel de píxel.
3. Transferibilidad Zero-Shot: Evidencia empírica que muestra que las primitivas de movimiento aprendidas se transfieren zero-shot a través de diferentes portadores visuales (por ejemplo, diferentes clases de dígitos en Moving MNIST) y morfologías corporales (por ejemplo, de Walker a Cheetah en el Distracting Control Suite), indicando que el libro de códigos captura estructuras de transición generales en lugar de plantillas específicas del entorno.
4. Robustez ante la Ambigüedad: El método demuestra que factorizar las transiciones permite un aprendizaje de acciones latentes más robusto en presencia de distractores, superando o igualando a los baselines de LAM monolíticos en entornos complejos.

4. Resultados Experimentales

El artículo evalúa el método en el Distracting Control Suite (DCS) (Cheetah-Run y Walker-Run) y Moving MNIST.

• Reutilización: En experimentos de transferencia de morfología y portador cruzado, el vocabulario de OTF mostró una degradación de rendimiento significativamente menor en comparación con los baselines de VQ-VAE monolíticos. Por ejemplo, en DCS, el vocabulario de OTF entrenado en Walker-Run mantuvo una alta calidad de reconstrucción cuando se aplicó zero-shot a Cheetah-Run, mientras que los baselines monolíticos sufrieron grandes incrementos de error (hasta un 71% de degradación frente a aproximadamente un 20% para OTF).
• Aprendizaje de Política Posterior:
  • En DCS, OTF-LAM y OTF-LAM-Dino lograron retornos competitivos o superiores comparados con baselines como LAPO, FLAM e HiLAM.
  • OTF-LAM-Dino superó consistentemente al OTF-LAM basado en decodificador, sugiriendo que predecir en un espacio de representación congelado es más efectivo para tareas de control que la reconstrucción de píxeles.
  • El método logró destilar con éxito acciones latentes en políticas que igualaron o excedieron a los baselines, incluso cuando la transición visual contenía ruido de distracción significativo.
• Ablación: El estudio sobre el tamaño del libro de códigos ($K$) indicó que, si bien los vocabularios más grandes generalmente ayudaban en entornos complejos (Cheetah-Run), el rendimiento no fue estrictamente monotónico, lo que sugiere una capacidad óptima dependiente del entorno y la arquitectura.

5. Significado y Reivindicaciones

El artículo sostiene que los efectos de transición observados factorizados sirven como una representación intermedia superior para el aprendizaje de acciones latentes basado solo en la observación bajo ambigüedad del agente.

• Cambio de Perspectiva: Los autores argumentan que, bajo el aprendizaje basado solo en la observación, el objetivo más fiable no es la acción verdadera en sí, sino la estructura de los efectos de la transición observada. Al tratar la transición como una composición de primitivas reutilizables, el modelo puede separar el movimiento controlable de los distractores sin depender de priors centrados en objetos rígidos.
• Generalización: Los resultados sugieren que aprender un "vocabulario" de efectos de transición visual permite una mejor generalización a través de diferentes agentes y dominios visuales en comparación con el aprendizaje de una única acción latente monolítica por transición.
• Alcance Modesto: Los autores declaran explícitamente que su trabajo evalúa estos enfoques en entornos controlados y entornos de distractores de DCS. Reconocen que extender esto a dominios de video más ricos y diversos (por ejemplo, cámaras con desplazamiento, diversas dinámicas ajenas al agente) sigue siendo un trabajo futuro. No pretenden resolver el problema inverso general de la recuperación de acciones sin ninguna supervisión, sino demostrar que una representación intermedia factorizada mejora significativamente la robustez y la transferibilidad de la interfaz de la acción latente aprendida.