WorldPack: Dynamic Frame Compression for Long-context Video World Modeling

Resumen Técnico: WorldPack: Compresión de Fotogramas Dinámica para el Modelado de Mundos de Video de Largo Contexto

Planteamiento del Problema
Los modelos de mundo de video, que generan observaciones visuales futuras de alta fidelidad condicionadas por observaciones pasadas y acciones de navegación, enfrentan un cuello de botella crítico en la consistencia de largo horizonte. Los enfoques existentes luchan por mantener tanto la coherencia temporal como la espacial durante rollouts extendidos. Los métodos actuales generalmente se dividen en dos categorías, ambas con limitaciones:

1. Compresión Genérica: Métodos como FramePack comprimen fotogramas pasados basados en la proximidad temporal o la similitud de características. Sin embargo, estos esquemas no explotan explícitamente la geometría del punto de vista 3D, lo que puede descartar información espacialmente crítica del pasado distante.
2. Recuperación Espacial: Métodos como WorldMem y Context-as-Memory seleccionan fotogramas basados en la co-visibilidad 3D o el solapamiento del campo de visión (FoV). Aunque son conscientes del espacio, operan dentro de una ventana de contexto fija, reemplazando por completo los fotogramas menos relevantes en lugar de retenerlos a una resolución reducida. Esto crea un compromiso donde incluir un fotograma distante espacialmente relevante requiere descartar otras observaciones potencialmente útiles.

Consecuentemente, los modelos fallan al no poder acceder a la historia distante necesaria o sufren de acumulación de errores y deriva cuando se ven forzados a depender de un contexto limitado.

Metodología: WorldPack
Los autores proponen WorldPack, un modelo de mundo de video que unifica la selección y la compresión de fotogramas en un único mecanismo: memoria comprimida con conciencia espacial. La idea central es que las tasas de compresión no deben ser uniformes ni determinadas temporalmente, sino asignadas dinámicamente según la relevancia espacial 3D respecto al punto de vista actual.

WorldPack logra esto a través de dos mecanismos estrechamente acoplados:

1. Selección Geométrica:

   • En lugar de depender de la recencia temporal, el modelo califica los fotogramas históricos basándose en su solapamiento espacial 3D con la vista actual.
   • Utilizando la información de la pose de la cámara ($p$), el sistema calcula el solapamiento del Campo de Visión (FoV) entre un fotograma histórico $i$ y el fotograma objetivo $t$. El puntaje de solapamiento $o_i$ se estima mediante muestreo de Monte Carlo dentro del frustum de visión.
   • Se calcula un puntaje final $s_i$ combinando el puntaje de solapamiento con una ligera penalización temporal para desempatar, favoreciendo los fotogramas recientes solo cuando el solapamiento espacial es similar.
   • Los fotogramas se ordenan por este puntaje. Los $S$ fotogramas superiores (más relevantes espacialmente) se asignan a "ranuras sin comprimir", mientras que los fotogrames restantes se asignan a grupos de compresión discretos basados en su rango.

2. Empaquetado de Trayectoria (Trajectory Packing):

   • Los fotogramas históricos se codifican a diferentes resoluciones determinadas por su prioridad asignada.
   • Los fotogramas de alta prioridad (alta relevancia espacial) se preservan a resolución completa ($L_f$). Los de menor prioridad se comprimen por factores de $\lambda^{d_i}$ (donde $\lambda=2$ y $d_i$ es el índice de prioridad).
   • Esto permite al modelo empaquetar un número significativamente mayor de fotogramas históricos (por ejemplo, 22 fotogramas) en un presupuesto de contexto de longitud fija (equivalente a 4 fotogramas sin comprimir) sin descartar ninguna información histórica.

Arquitectura
WorldPack está construido sobre un núcleo de Transformer de Difusión Condicional (CDiT) con Embeddings de Posición Rotatorios (RoPE).

• CDiT: Restringe la auto-atención a los tokens del fotograma objetivo y utiliza atención cruzada para los fotogramas pasados, reduciendo la complejidad computacional de cuadrática ($O(m^2)$) a lineal ($O(m)$) con respecto a la longitud del contexto $m$.
• RoPE: Asegura representaciones temporales consistentes independientemente de las distancias variables de los fotogramas de memoria en el contexto.
• Implementación: El sistema utiliza un conjunto discreto de tasas de compresión ($2^0, 2^2, 2^4$) con capas de proyección de entrada independientes para cada tasa. En experimentos, el contexto contiene 2 fotogramas sin comprimir, 4 con compresión de $2^2$, y 16 con compresión de $2^4$, totalizando 22 fotogramas dentro del presupuesto de tokens de 4.

Contribuciones Clave

1. Mecanismo Unificado: WorldPack cierra la brecha entre la compresión dinámica y la recuperación espacial al tratar ambos como un solo problema: la asignación de presupuestos de tokens basados en la relevancia espacial 3D.
2. Contexto Efectivo Expandido: El método expande el contexto efectivo de 4 a 22 fotogramas con una carga computacional moderada, permitiendo al modelo razonar sobre horizontes sustancialmente más largos.
3. Compresión Espacialmente Adaptativa: Demuestra que preservar la alta fidelidad para fotogramas espacialmente críticos mientras se comprimen agresivamente los menos relevantes supera tanto a la compresión uniforme como a la recuperación de ventana fija.

Resultados Experimentales
Los autores evaluaron WorldPack en LoopNav (un benchmark de Minecraft para consistencia espacial de largo horizonte) y el conjunto de datos RECON (navegación en el mundo real).

• Rendimiento en LoopNav: WorldPack superó a bases sólidas (Oasis, Mineworld, DIAMOND, NWM) en ambas tareas de Recuperación de Memoria Espacial (ABA) y Razonamiento Espacial (ABCA).
  • Logró un rendimiento superior en las métricas SSIM, LPIPS, PSNR, DreamSim y FVD.
  • Las ganancias fueron particularmente pronunciadas en la tarea ABCA (rutas de retorno largas), donde la capacidad de recordar observaciones distantes es crítica.
• Estudios de Ablación:
  • Al comparar WorldPack contra "Nearest Frame Packing" (compresión sin selección geométrica), se aisló el beneficio de la Selección Geométrica, demostrando que la puntuación de importancia consciente de 3D es superior a la proximidad temporal.
  • Al comparar contra "Memory Retrieval" (selección sin compresión), se aisló el beneficio de Trajectory Packing, mostrando que retener más fotogramas mediante la compresión es superior a una ventana de contexto fija.
• Datos del Mundo Real: En el conjunto de datos RECON, WorldPack demostró un fuerte rendimiento generativo, confirmando su utilidad más allá de los entornos simulados.
• Eficiencia: El método aumenta el tiempo de inferencia del modelo de difusión aproximadamente un 16% y el uso de memoria en un 12% para lograr un incremento de 5.5 veces en los fotogramas históricos visibles. El costo de la selección geométrica escala linealmente con el número de candidatos (por ejemplo, 0.26s para 1,600 candidatos en una H100).

Significancia y Reivindicaciones
El artículo afirma que WorldPack aborda el compromiso fundamental entre la longitud del contexto y el costo computacional en el modelado de mundos de video. Los autores argumentan que simplemente expandir la longitud del contexto es menos efectivo que comprimir inteligentemente una historia más amplia con guía espacial. La contribución clave no es meramente el scoring espacial en sí, sino el uso de dicho scoring para controlar las tasas de compresión a través de un conjunto más amplio de fotogramas. Este enfoque permite al modelo mantener el acceso de alta fidelidad a observaciones distantes espacialmente críticas, manteniendo al mismo tiempo el contexto más amplio necesario para una simulación coherente a largo plazo. Los autores señalan que, aunque el método depende de las poses de la cámara (que pueden ser ruidosas en entornos del mundo real), representa un paso significativo hacia un modelado de mundo de video robusto y de largo horizonte.