LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue

Resumen Técnico: LMM-Track4D

Enunciado del Problema
Los Modelos Multimodales Grandes (LMM) recientes han demostrado capacidades significativas en la comprensión de imágenes y videos. Sin embargo, luchan con el razonamiento dinámico 4D sostenido a través del tiempo, los puntos de vista y las interacciones de múltiples turnos. Los modelos actuales están optimizados para interpretar contenido ya observado, pero carecen de mecanismos para preservar un estado dinámico explícito. En consecuencia, aunque pueden reconocer observaciones aisladas, no logran mantener un relato físicamente coherente de los estados de la escena en evolución a medida que llega nueva evidencia, particularmente al tratar con oclusiones, continuidad de identidad y tendencias de movimiento a largo plazo.

Metodología: LMM-Track4D
Para abordar esta brecha, los autores proponen LMM-Track4D, un marco diseñado para mantener y actualizar el estado dinámico a lo largo de la interacción. El sistema se construye sobre una base Qwen3.5-9B con Adaptación de Bajo Rango (LoRA) e integra tres módulos entrenables centrales:

1. RTGE (Codificación de Geometría Rayo-Tiempo): Insertado entre el codificador visual y la base multimodal, RTGE inyecta información geométrica y temporal explícita en los tokens visuales. Calcula descriptores de Plücker de 6 dimensiones (combinando la dirección del rayo y el momento) a partir de las intrínsecas/extrínsecas de la cámara y aplica incrustaciones de Fourier para el tiempo. Estos se suman a las características de parche, permitiendo que el modelo ancle los tokens visuales en el espacio 3D y el tiempo.
2. TRK (Token de Estado en Flujo): Un token de memoria de estado persistente que actúa como un "slot de objetivo". En lugar de reinferir la identidad y el movimiento del objetivo a partir del historial crudo en cada turno, el token TRK acumula evidencia a través de los turnos de diálogo. Su estado oculto se propaga del turno $k$ al $k+1$, asegurando la continuidad de la identidad y las dinámicas de movimiento.
3. Decodificador OSK-RA (Cinemática de Slot de Objeto, Ancla Residual): Este módulo maneja la decodificación final de la trayectoria 3D. Separa la selección del objetivo (consulta semántica) del refinamiento geométrico (consulta cinemática). El decodificador puntúa los rayos de evidencia adjuntos a los tokens visuales, los fusiona y calcula un ancla 3D gruesa mediante intersección de líneas ponderada. Una cabeza residual luego refina esta ancla para producir las coordenadas 3D finales. Este diseño de ancla más residual mitiga la acumulación de sesgo en el primer paso.

Benchmarks: Track4D-Bench
Los autores introducen Track4D-Bench, un benchmark construido mediante un pipeline estructurado que vincula trayectorias 3D verificadas, evidencia visual y diálogo.

• Escala: 526 muestras de diálogo a nivel de clip (428 cortos, 98 largos) que abarcan 23.5k frames y 7.5k anotaciones de objetos, obtenidas de APIDIS, KITTI y WildTrack.
• Tarea: Diálogo espacio-temporal de múltiples turnos anclado a trayectorias. Los modelos deben responder preguntas espacio-temporales cualitativas y, cuando se requiera, generar trayectorias 3D estructuradas sobre clips cortos o segmentos locales de interacciones más largas.
• Evaluación: Utiliza un protocolo unificado de turnos de diálogo. La calidad del lenguaje se mide mediante CIDEr, BLEU-4 y METEOR. La precisión geométrica se mide mediante $SAcc@0.5$ (precisión de puntos), $Traj-Acc@1.0$ (precisión de trayectoria) y $TAcc@0.5$ (precisión de punto temporal), todas en coordenadas del mundo.

Contribuciones Clave

1. Formulación de la Tarea: Identificó la limitación de los LMM actuales en el razonamiento 4D sostenido y formuló el "diálogo espacio-temporal de múltiples turnos anclado a trayectorias" para estudiarlo.
2. Benchmark: Introdujo Track4D-Bench, proporcionando un campo de pruebas entrenable, medible e interpretable diagnósticamente para el razonamiento dinámico 4D con regímenes de clips cortos y largos.
3. Arquitectura del Modelo: Propuso LMM-Track4D, que integra RTGE, propagación de estado TRK persistente y decodificación OSK-RA para preservar y actualizar información dinámica a través de vistas, tiempo y turnos de diálogo.
4. Evidencia Empírica: Demostró que el modelado explícito del estado dinámico es un principio de diseño útil para elicitar el razonamiento 4D, mostrando mejoras consistentes sobre líneas base fuertes en la inferencia densa no basada en fotogramas clave, la recuperación de oclusiones y la preservación de identidad a larga distancia.

Resultados
Los experimentos en Track4D-Bench revelan una brecha de rendimiento significativa entre los LMM genéricos y LMM-Track4D:

• Rendimiento de Línea Base: Modelos propietarios fuertes (por ejemplo, GPT-4o) y de código abierto (por ejemplo, Qwen3-VL, LLaVA-Video) logran puntuaciones de lenguaje no triviales pero fallan en proporcionar salidas 3D estructuradas comparables. Incluso los controles de SFT del mismo conjunto de datos (líneas base ajustadas) permanecen muy por debajo de LMM-Track4D.
• Rendimiento de LMM-Track4D: Logró los mejores resultados en todas las métricas, incluyendo $0.758$ $SAcc@0.5$, $0.626$ $Traj-Acc@1.0$y$0.619$ $TAcc@0.5$.
• Estudios de Ablación:
  • Eliminar OSK-RA causó la mayor caída en la fidelidad paso a paso ($TAcc@0.5$ cayó de 0.619 a 0.425).
  • Eliminar RTGE resultó en la segunda mayor degradación en las métricas geométricas.
  • Eliminar TRK (o usar solo la base) eliminó por completo las salidas de geometría estructurada estable, confirmando la necesidad de la propagación de estado persistente.
• Dependencia del Historial: El análisis mostró que los entornos "Sin-historial" funcionan peor, especialmente en turnos tardíos, mientras que "Auto-historial" (usando el propio estado TRK del modelo) lo supera consistentemente, acercándose al límite superior de "Historial Dorado" (oráculo).

Significado y Afirmaciones
El artículo afirma que elicitar el razonamiento dinámico 4D en LMM no es meramente una cuestión de escalar la percepción de video o la pregunta-respuesta de video genérica. En cambio, requiere formulaciones de tareas, supervisión y arquitecturas que modelen explícitamente la evolución de la dinámica de la escena a lo largo del tiempo. Los resultados sugieren que el modelado explícito del estado dinámico sirve como un sesgo inductivo efectivo para esta capacidad.

Los autores permanecen modestos respecto a las limitaciones actuales: el entorno depende de una supervisión estructurada, la escala es limitada en comparación con conjuntos de datos de video generales, y el horizonte temporal y la apertura de la interacción están restringidos. Sin embargo, el trabajo establece que mantener un estado físicamente coherente a través de interacciones de múltiples turnos es un desafío distinto y resoluble con los sesgos inductivos arquitectónicos adecuados.