Resumen Técnico: ActSWM – Modelos de Mundo Sensibles a la Acción para la Planificación de Largo Alcance

Planteamiento del Problema: Colapso de Contexto en Modelos de Mundo Latentes

Los modelos de mundo latentes facilitan el control predictivo basado en modelos (MPC) eficiente al optimizar secuencias de control dentro de un espacio latente comprimido. Sin embargo, los modelos predictores autoregresivos existentes suelen sufrir de Colapso de Contexto, un modo de fallo específico que es distinto de la acumulación estándar de error de predicción.

En el Colapso de Contexto, un predictor puede mantener una alta similitud con estados futuros basándose únicamente en el historial visual, pero volverse insensible a las sec sequences de acciones específicas que condicionan el despliegue (rollout). En consecuencia, distintas secuencias de acciones (por ejemplo, una trayectoria registrada frente a una secuencia de acciones de valor cero) producen futuros latentes casi indistinguibles. Este fenómeno hace que el modelo sea ineficaz para la planificación: si las acciones alternativas no inducen consecuencias latentes separables, un planificador no puede comparar de manera fiable los resultados posteriores ni optimizar las secuencias de control. Aunque métodos existentes como el Modelo de Mundo-Acción (WAM) incorporan la dinámica inversa para retener la información de la acción en las transiciones locales, no restringen explícitamente que los despliegues predichos bajo secuencias de acciones futuras alternativas permanezcan distinguibles.

Metodología: El Marco de Trabajo ActSWM

Los autores proponen ActSWM (Modelo de Mundo Sensible a la Acción), un modelo de mundo latente basado en JEPA diseñado para imponer sensibilidad a la acción mediante un principio de separación de transiciones. La hipótesis central es que un modelo de dinámica latente útil para la planificación debe mantener los futuros de acciones alternativas distinguibles y asegurar que la acción asociada con cada transición local sea recuperable.

Arquitectura y Componentes

ActSWM aumenta un backbone de predicción latente estándar con dos mecanismos específicos:

1. Separación a Nivel de Despliegue (Rollout-Level Separation): El modelo se entrena para asegurar que las trayectorias latentes futuras generadas desde el mismo contexto pero condicionadas por diferentes secuencias de acciones (específicamente, acciones registradas frente a acciones de valor cero) permanezcan separables.
2. Lectura de Acción Fija (Fixed Action Readout): Para imponer la sensibilidad a la transición, ActSWM emplea una lectura de acción con parámetros congelados ($q_{\phi_0}$). A diferencia de los decodificadores adaptativos que pueden desplazar sus fronteras de decisión para minimizar la pérdida, una lectura fija obliga a que las representaciones de la transición latente se vuelvan distinguibles para permitir una recuperación de acción precisa.

Objetivo de Entrenamiento

El objetivo de entrenamiento ($\mathcal{L}$) combina cuatro términos para equilibrar la fidelidad de la predicción con la sensibilidad a la acción:

1. Pérdida de Predicción ($\mathcal{L}_{pred}$): Pérdida de predicción estándar de múltiples pasos que alinea el despliegue condicionado con las acciones registradas con la trayectoria codificada futura.
2. Pérdida Hinge ($\mathcal{L}_{hinge}$): Un término contrastivo que penaliza la similitud excesiva entre el despliegue condicionado por las acciones registradas y el despliegue condicionado por acciones de valor cero. Esto fomenta explícitamente que el modelo preserve las diferencias dependientes de la acción a lo largo de horizontes largos.
3. Pérdida de Lectura ($\mathcal{L}_{readout}$): Un término de pérdida aplicado tanto a las transiciones codificadas como a las transiciones predichas por el despliegue utilizando la lectura congelada. Esto asegura que las transiciones latentes contengan suficiente información para recuperar la acción de entrada.
4. Pérdida SigReg ($\mathcal{L}_{sig}$): Adoptada de LeWorldModel (LeWM) para estabilizar la escala y la distribución de las características del espacio de predicción.

El objetivo total es:
$$\mathcal{L} = \mathcal{L}_{pred} + \lambda_{sig}\mathcal{L}_{sig} + \lambda_{hinge}\mathcal{L}_{hinge} + \lambda_{readout}\mathcal{L}_{readout}$$

Principales Contribuciones

El artículo describe cuatro contribuciones primarias:

1. Modelo ActSWM: Introducción de un modelo de mundo latente basado en JEPA diseñado específicamente para soportar la predicción de largo alcance manteniendo una dinámica de despliegue sensible a la acción.
2. Validación en Tareas de Mundo Abierto: Demostración de una mejora en la planificación de bucle cerrado en tareas de MineStudio (minería de piedra, construcción de pilares, colocación de antorchas), mostrando mejoras significativas en la tasa de éxito sobre la línea base LeWM.
3. Diagnóstico de Colapso de Contexto: Un protocolo de diagnóstico que compara los despliegues condicionados por acciones registradas frente a acciones de valor cero. ActSWM logra una separación aproximadamente 380 veces mayor entre estos futuros en comparación con la línea base más fuerte, demostando que sus despliegues siguen siendo sensibles a las entradas de acción.
4. Recuperación de Acción Offline: Validación de que la dinámica aprendida puede recuperar secuencias de control a partir de vídeos de juego offline en tres dominios distintos (Counter-Strike 2, GTA V, Apex Legends) utilizando la optimización del Método de Selección de la Cruz (CEM), logrando una mejora de hasta 16.5× en el coste respecto a la búsqueda aleatoria.

Resultados Experimentales

Q1: Diagnóstico del Colapso de Contexto

Utilizando trayectorias offline de Minecraft, los autores evaluaron si los modelos dependen de la entrada de acción o solo del contexto.

• Comportamiento de la Línea Base: Los modelos con contextos más largos o entrenamiento de múltiples pasos mejoraron la calidad de la predicción bajo acciones registradas, pero fallaron en diferenciar entre los despliegues de acciones registradas y de acción cero (pequeño $\Delta_k$).
• Rendimiento de ActSWM: ActSWM redujo la similitud bajo condiciones de acción cero en más de un 80% mientras mantenía una alta fidelidad para las acciones registradas, logrando la mayor brecha de acción ($\Delta_k = 0.760$).

Q2: Planificación de Bucle Cerrado Basada en Modelo

En MineStudio, ActSWM fue utilizado como el modelo de dinámica para MPC.

• Ganancias de Rendimiento: Comparado con LeWM, ActSCM mejoró las tasas de éxito de las tareas en:
  • 5.3% para colocar una antorcha.
  • 90.0% para minar un bloque de piedra.
  • 54.5% para construir un pilar.
• Implicación: Los resultados indican que los despliegues sensibles a la acción son críticos para tareas de planificación que requieren un control sostenido y toma de decisiones secuencial.

Q3: Representaciones de Acción Discriminativas

El modelo fue probado en su capacidad para inferir acciones a partir de vídeos offline en CS2, GTA V y Apex Legends usando CEM.

• Brecha de Acción: ActSWM mejoró el coste de recuperación de CEM sobre la búsqueda aleatoria hasta 16.5× (por ejemplo, 252.38 en GTA).
• Precisión Activa: ActSWM mejoró significativamente la precisión de la recuperación de acciones cuando las teclas eran realmente presionadas (hasta un aumento absoluto de 0.711), mientras que las líneas base a menudo fallaban en distinguir las teclas activas de la clase dominante inactiva.

Significado y Reivindicaciones

El artículo postula que la sensibilidad a la acción es un requisito central para los modelos de mundo latentes orientados a la planificación, distinto y complementario a la precisión de la predicción del estado futuro. Los autores afirman que:

• El Colapso de Contexto es un modo de fallo distinto donde los despliegues precisos fallan al responder a acciones alternativas, lo que los hace inútiles para la planificación.
• La sensibilidad a la acción vincula la comparación de despliegues contrafácticos, la planificación fiable de bucle cerrado y el etiquetado de acciones escalable a partir de vídeos de juego.
• Al imponer un principio de separación de transiciones mediante una lectura fija y un entrenamiento contrastivo de despliegue, ActSWM permite que los modelos de mundo sirvan como planificadores efectivos en entornos de mundo abierto, yendo más allá de la simple predicción de estados hacia una dinámica accionable.

El trabajo no pretende resolver todos los desafíos de los agentes en mundos abiertos (como la eficiencia de muestreo o los costes de despliegue), sino que aborda específicamente la limitación de los modelos latentes existentes para distinguir las consecuencias de diferentes secuencias de acciones a lo largo de horizontes extensos.