Resumen Técnico: Por Qué Fallan las Acciones Latentes y Cómo Prevenirlo

Declaración del Problema

Los Modelos de Acción Latente (LAMs) buscan aprender representaciones relevantes para la acción a partir de videos sin etiquetar, comprimiendo los cambios de fotograma a fotograma, ofreciendo una solución a la escasez de conjuntos de datos etiquetados con acciones en la robótica del mundo real. Sin embargo, en videos "en la naturaleza" (in-the-wild), las observaciones contienen no solo el estado endógeno del agente, sino también estados exógenos (por ejemplo, desorden de fondo, movimiento de la cámara, cambios de iluminación). Estos factores exógenos introducen transiciones de fotograma no relacionadas con las acciones del agente.

Trabajos anteriores han observado que los LAMs entrenados con objetivos de reconstrucción estándar a menudo fallan al alinearse con las acciones de verdad fundamental (ground-truth) en tales entornos. En lugar de aprender dinámicas de acción, las acciones latentes codifican espuriamente ruido exógeno. Si bien existen remedios empíricos (por ejemplo, supervisión auxiliar, datos de múltiples vistas), no ha habido un análisis teórico unificado que explique por qué los objetivos estándar fallan en presencia de ruido exógeno o por qué objetivos auxiliares específicos mitigan este fallo.

Metodología

Los autores proponen un marco teórico unificado basado en el Proceso de Decisión de Markov de Bloque Exógeno (Ex-BMDP) para analizar el aprendizaje de acciones latentes.

1. Marco Teórico: Ex-BMDP

Los autores extienden el BMDP de Bloque estándar para modelar explícitamente el ruido exógeno. En esta formulación:

• El estado latente $x$ se descompone en un estado endógeno $s$ (controlable por el agente) y un estado exógeno $\xi$ (independiente de las acciones del agente).
• Las funciones de transición y las distribuciones iniciales se desacoplan: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• Las observaciones se generan mediante un mapa de emisión determinista $o = h(s, \xi)$, que incluye un codificador de visión $f$.

2. Análisis de LAM Lineal

Para garantizar la tratabilidad teórica, los autores analizan primero un entorno de LAM Lineal donde:

• Las transiciones de observación son aditivas: $o' = o + \phi_\xi(a) + \epsilon$, donde $\phi_\xi(a)$ es el efecto de la acción y $\epsilon$ es el ruido exógeno que surge de los cambios de estado ($\xi \to \xi'$).
• El modelo de dinámica inversa ($\psi_{IDM}$) y el modelo de dinámica forward ($\psi_{FDM}$) son mapas lineales.
• El objetivo estándar es minimizar el error de reconstrucción $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$.

3. Objetivos Auxiliares

Los autores reformulan dos familias de objetivos auxiliares existentes dentro del marco Ex-BMDP:

• Reconstrucción Cruzada Exógena ($L_{X-exo}$): Utiliza observaciones emparejadas de diferentes estados exógenos ($\xi, \tilde{\xi}$) que comparten el mismo estado endógeno para imponer consistencia.
• Predicción Robusta a Exógenos ($L_{\xi-robust}$): Supervisa la acción latente con un objetivo $y$ (por ejemplo, acciones de verdad fundamental o flujo óptico) que es robusto a variaciones exógenas (es decir, $y$ permanece similar independientemente de $\xi$).

Contribuciones Clave

1. Identificación de "Filtración Futura"

Los autores demuestran que minimizar el objetivo de reconstrucción estándar $L_{LAM}$ en presencia de ruido exógeno causa filtración futura.

• Mecanismo: Dado que el modelo forward $\psi_{FDM}$ debe reconstruir la observación futura $o'$ (que contiene el estado exógeno futuro $\xi'$), y $\xi'$ no está disponible como entrada, la acción latente $z$ se ve forzada a codificar información sobre $\xi'$.
• Resultado: La Proposición 4.2 muestra que ningún minimizador global de $L_{LAM}$ admite una acción latente independiente de $\xi'$. En consecuencia, $z$ absorbe información exógena del fotograma futuro, reduciendo la capacidad disponible para codificar las dinámicas de acción reales.

2. Papel de la Sensibilidad del Codificador de Visión

El análisis revela que la energía del ruido exógeno en el espacio latente está gobernada por la sensibilidad del codificador de visión a los cambios exógenos.

• La energía del ruido es proporcional a la frecuencia de los cambios de estado exógeno y a la sensibilidad de la función de emisión $h$ hacia $\xi$.
• Los resultados empíricos muestran que codificadores como DINOv2, que son centrados en objetos y robustos a variaciones de fondo, reducen significativamente esta sensibilidad en comparación con las entradas de píxeles crudos, lo que conduce a una mejor alineación de acciones.

3. Justificación Teórica de Objetivos Auxiliares

El artículo proporciona pruebas que muestran cómo los objetivos auxiliares mitigan la interferencia exógena al imponer consistencia a través de estados exógenos:

• Reconstrucción Cruzada Exógena: Bajo suposiciones lineales, minimizar $L_{X-exo}$ es equivalente al Análisis de Correlación Canónica (CCA). Esto suprime los componentes de transición que varían con estados exógenos específicos, preservando al mismo tiempo los componentes que persisten a través de ellos (es decir, cambios impulsados por la acción).
• Predicción Robusta a Exógenos: La Proposición 4.8 demuestra que predecir un objetivo $y$ que es $\eta$-robusto a estados exógenos proporciona un límite explícito en la discrepancia de las acciones latentes a través de diferentes estados exógenos. Minimizar esta pérdida fuerza a que la acción latente sea consistente independientemente del fondo.

Resultados Experimentales

Experimentos con LAM Lineal

Utilizando datos sintéticos con probabilidades de cambio exógeno controladas ($p_{switch}$):

• Validación de Filtración Futura: Los experimentos confirmaron que las acciones latentes codifican estados exógenos futuros. Cuando el estado exógeno del siguiente fotograma se intercambió durante la inferencia, la salida de reconstrucción se desplazó para coincidir con el fotograma intercambiado, confirmando el comportamiento de "atajo".
• Sensibilidad al Ruido: A medida que aumentaba la sensibilidad de la observación a los cambios exógenos ($\alpha$), el Error Cuadrático Medio Normalizado (NMSE) para la predicción de acciones empeoraba, validando el vínculo teórico entre la sensibilidad del codificador y el fallo.
• Eficacia Auxiliar: Añadir $L_{X-exo}$ o $L_{\xi-robust}$ a la pérdida estándar mejoró consistentemente la alineación de acciones y redujo la varianza de las acciones latentes a través de estados exógenos.

Experimentos con LAM No Lineal (Práctico)

Para probar la generalización, los autores entrenaron un LAM no lineal (VQ-VAE con CNN/UNet) en un conjunto de datos de mundo de cuadrícula con ruido exógeno multiplicativo (violando las suposiciones lineales):

• LAM Vanilla: A medida que aumentaba la intensidad del ruido, el modelo codificaba regiones exógenas, lo que llevaba a una alta pérdida de consistencia y un bajo MSE de región exógena (lo que significa que predecía el ruido).
• LAM Aumentado: Los modelos entrenados con $L_{X-exo}$ o $L_{\xi-robust}$ mantuvieron un alto MSE de región exógena (ignorando el ruido) y una baja pérdida de consistencia en todos los niveles de ruido.
• Conclusión: Las ideas teóricas sobre la filtración futura y los beneficios de los objetivos que imponen consistencia se mantienen incluso cuando se violan las suposiciones de linealidad y aditividad.

Significado y Afirmaciones

El artículo afirma proporcionar un análisis teórico unificado de los fallos en el aprendizaje de acciones latentes en presencia de ruido exógeno. Su significado principal radica en:

1. Explicar Modos de Fallo: Identifica formalmente la "filtración futura" como el mecanismo por el cual los objetivos de reconstrucción estándar degradan el aprendizaje de acciones, en lugar de simplemente observar el fenómeno empíricamente.
2. Unificar Remedios: Demuestra que diversos objetivos auxiliares (múltiples vistas, supervisión de acciones, flujo óptico) comparten un mecanismo teórico común: imponen la consistencia de las acciones latentes a través de estados exógenos.
3. Guiar el Diseño: Destaca la importancia crítica de la sensibilidad del codificador de visión a factores exógenos, sugiriendo que los extractores de características robustos son un requisito previo para LAMs efectivos.

Los autores concluyen que, aunque sus pruebas teóricas se basan en suposiciones lineales, la validación empírica en modelos no lineales sugiere que estos principios se extienden a escenarios prácticos de aprendizaje de acciones latentes en el mundo real.