Resumen Técnico: MaskLAM – Guiando Modelos de Acción Latente en Presencia de Distractores

Enunciado del Problema

Los Modelos de Acción Latente (LAMs) ofrecen una vía para pre-entrenar agentes encarnados en video a gran escala, libre de acciones, inferiendo acciones latentes entre observaciones consecutivas. Estas acciones latentes se decodifican posteriormente en controles de verdad fundamental utilizando un pequeño conjunto de ejemplos etiquetados. Sin embargo, los LAMs estándar, como LAPO, dependen de objetivos de reconstrucción global que obligan al modelo a codificar toda la escena para predecir cuadros futuros.

En entornos realistas que contienen distractores visuales (por ejemplo, fondos dinámicos, vibración de la cámara u objetos en movimiento), este enfoque falla. La pérdida de reconstrucción estándar impulsa a la acción latente a codificar movimiento exógeno (distractores) en lugar de dinámicas controladas por el agente (endógenas). Este fenómeno, formalizado por el marco del Proceso de Decisión de Markov con Bloque Exógeno (Ex-BMDP), resulta en espacios latentes que no recuperan las acciones reales, causando que las políticas aguas abajo tengan un rendimiento significativamente inferior al ser ajustadas finamente. Los intentos anteriores de resolver esto han requerido cambios arquitectónicos, pérdidas auxiliares o supervisión privilegiada de acciones durante el pre-entrenamiento, aumentando la complejidad y los requisitos de datos.

Metodología: MaskLAM

Los autores proponen MaskLAM, una modificación ligera al objetivo de entrenamiento de LAPO que aborda el problema de la contaminación exógena sin alterar la arquitectura del modelo ni requerir etiquetas de acción durante el pre-entrenamiento.

Idea Central

El método se basa en la observación de que, aunque los factores endógenos (agente) y exógenos (distractor) están entrelazados en el espacio latente, típicamente son espacialmente separables en el espacio de píxeles. Los cambios controlados por el agente se concentran en los píxeles del agente, mientras que el movimiento del distractor ocurre en otro lugar.

Implementación Técnica

1. Segmentación Zero-Shot: MaskLAM utiliza modelos base de segmentación listos para usar (específicamente SAM 2.1) para generar máscaras binarias ($M_t$) que identifican los píxeles del agente. Estas máscaras se obtienen zero-shot a partir de una sola instrucción (por ejemplo, un cuadro delimitador) en el primer cuadro y se propagan a través de la secuencia de video.
2. Pérdida de Dinámica Forward Enmascarada: En lugar de reconstruir la observación completa, la pérdida del modelo de dinámica forward (FDM) se restringe a los píxeles del agente. La función de pérdida se define como:
   $$L_{MaskLAM}^{FDM} = \frac{1}{\|M_{t+1}\|_1} \| M_{t+1} \odot (\hat{o}_{t+1} - o_{t+1}) \|_2^2$$
   donde $\odot$ denota el producto de Hadamard. Esto asegura que los píxeles fuera de la máscara del agente (distractores) contribuyan con cero gradiente a la acción latente $z_t$.
3. Entradas Condicionadas por Máscara: Las máscaras de segmentación se concatenan como un canal de entrada adicional tanto al Modelo de Dinámica Inversa (IDM) como al FDM. Esto permite que los modelos utilicen el contexto completo de la escena (incluyendo objetos con los que el agente interactúa y que pueden caer fuera de la máscara estricta del agente), mientras garantiza que la señal de aprendizaje para $z_t$ se derive únicamente de las dinámicas controladas por el agente.
4. Sin Cambios Arquitectónicos: La intervención modifica únicamente el cálculo de la pérdida y los canales de entrada, dejando intacta la arquitectura subyacente de LAPO (par IDM/FDM) y la tubería de entrenamiento de tres etapas (pre-entrenamiento, reetiquetado, ajuste fino del decodificador).

Contribuciones Clave

1. Separabilidad Espacial como Intervención: El artículo identifica la separabilidad espacial de los píxeles del agente y del distractor como la propiedad clave que permite implementar la factorización abstracta Ex-BMDP como una intervención concreta durante el entrenamiento.
2. Propuesta de MaskLAM: Un método que elimina los gradientes exógenos sobre la acción latente al restringir la pérdida de reconstrucción a los píxeles del agente, sin requerir pérdidas auxiliares, cambios arquitectónicos ni etiquetas de acción durante el pre-entrenamiento.
3. Validación Empírica: Una evaluación exhaustiva en dos puntos de referencia (Distracting Control Suite y Distracting Meta-World) demuestra que MaskLAM supera significativamente a las líneas base sin etiquetas y reduce la brecha de rendimiento con métodos que dependen de supervisión privilegiada de acciones (LAOM-Labels).

Resultados

Los autores evaluaron MaskLAM en 14 tareas a través de dos puntos de referencia, comparándolo con LAPO, LAOM-Labels (límite superior con supervisión de acciones), LAOF (basado en flujo) y LAPO-Slots (centrado en objetos).

• Calidad de la Acción Latente: MaskLAM redujo el Error Cuadrático Medio (NMSE) de la sonda lineal normalizada hasta en 3.51× en comparación con LAPO. En visualizaciones (proyecciones UMAP), MaskLAM produjo variedades suaves y monótonas alineadas con las acciones de verdad fundamental, mientras que LAPO colapsó en clusters entrelazados.
• Rendimiento Aguas Abajo: MaskLAM mejoró el retorno normalizado hasta en 4.97× sobre LAPO en configuraciones con distractores. Igualó o superó a todas las líneas base sin etiquetas y se acercó al rendimiento de LAOM-Labels, que utiliza supervisión privilegiada de acciones.
• Eficiencia de Muestra: MaskLAM demostró una eficiencia de muestra superior en la etapa de ajuste fino del decodificador. En Distracting Meta-World, alcanzó un rendimiento cercano al máximo con tan solo 2,000 etiquetas de acción, mientras que LAPO y LAPO-Slots requirieron casi dos órdenes de magnitud más de etiquetas para cerrar la brecha.
• Robustez:
  • Oclusión: MaskLAM mantuvo tasas de error bajas incluso con hasta un 75% de oclusión del agente, mientras que los modelos sin máscara se degradaron significativamente.
  • Máscaras Imperfectas: El método permaneció efectivo incluso cuando las máscaras de segmentación fueron perturbadas (el mIoU bajó a 0.4–0.6), lo que indica que no se requiere una segmentación perfecta a nivel de píxel.
  • Espacios Latentes Compactos: MaskLAM permitió dimensiones latentes más pequeñas (por ejemplo, 64-dim) para lograr la misma alineación que latentes sin máscara más grandes (256-dim), ya que el espacio latente no está cargado con la codificación de varianza exógena.

Significado y Afirmaciones

El artículo afirma que el fracaso de los LAMs estándar en entornos ricos en distractores es impulsado por el objetivo de predicción (reconstrucción global) en lugar de la arquitectura. Al reasignar la carga de supervisión desde las escasas etiquetas de acción hacia máscaras de segmentación disponibles de forma zero-shot y económicas, MaskLAM hace viable el pre-entrenamiento de acciones latentes en video ruidoso del mundo real.

Los autores enfatizan que este enfoque:

• Desacopla la necesidad de etiquetas de acción de la capacidad de aprender dinámicas disociadas.
• Preserva la simplicidad del marco LAPO mientras resuelve un problema crítico de robustez.
• Demuestra que los priores espaciales derivados de modelos base pueden guiar efectivamente el aprendizaje de representaciones en ausencia de anotaciones de control explícitas.

El trabajo sugiere que, para agentes encarnados que operan en entornos visuales complejos, la supervisión requerida para disociar las dinámicas del agente de los distractores puede obtenerse a partir de máscaras de segmentación en lugar de etiquetas de acción, lo que potencialmente habilita el pre-entrenamiento a gran escala en datos de video a escala de internet.