LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue

Resumo Técnico: LMM-Track4D

Declaração do Problema
Recentes Modelos Multimodais Grandes (LMMs) demonstraram capacidades significativas na compreensão de imagens e vídeos. No entanto, eles lutam com o raciocínio dinâmico 4D sustentado ao longo do tempo, pontos de vista e interações de múltiplas voltas. Os modelos atuais são otimizados para interpretar conteúdo já observado, mas carecem de mecanismos para preservar um estado dinâmico explícito. Consequentemente, embora possam reconhecer observações isoladas, eles falham em manter uma conta fisicamente coerente dos estados da cena em evolução à medida que novas evidências chegam, particularmente ao lidar com oclusões, continuidade de identidade e tendências de movimento de longo horizonte.

Metodologia: LMM-Track4D
Para abordar essa lacuna, os autores propõem o LMM-Track4D, um framework projetado para manter e atualizar o estado dinâmico ao longo da interação. O sistema é construído sobre uma base Qwen3.5-9B com Adaptação de Baixo Rank (LoRA) e integra três módulos treináveis principais:

1. RTGE (Codificação Geométrica de Raio-Tempo): Inserido entre o codificador visual e a base multimodal, o RTGE injeta informações geométricas e temporais explícitas nos tokens visuais. Ele calcula descritores de Plücker 6-D (combinando direção do raio e momento) a partir de intrínsecas/extrínsecas da câmera e aplica embeddings de Fourier para o tempo. Estes são adicionados às características de patch, permitindo que o modelo ancorre tokens visuais no espaço 3D e no tempo.
2. TRK (Token de Estado em Fluxo): Um token de memória de estado persistente que atua como um "slot de alvo". Em vez de reinferir a identidade e o movimento do alvo a partir do histórico bruto a cada volta, o token TRK acumula evidências ao longo das voltas do diálogo. Seu estado oculto é propagado da volta $k$ para $k+1$, garantindo continuidade de identidade e dinâmicas de movimento.
3. Decodificador OSK-RA (Cinemática de Slot de Objeto, Âncora Residual): Este módulo trata da decodificação final da trajetória 3D. Ele separa a seleção do alvo (consulta semântica) do refinamento geométrico (consulta cinemática). O decodificador pontua os raios de evidência anexados aos tokens visuais, funde-os e calcula uma âncora 3D grosseira via interseção ponderada de linhas. Uma cabeça residual então refina essa âncora para produzir as coordenadas 3D finais. Este design de âncora mais residual mitiga a acumulação de viés do primeiro passo.

Benchmark: Track4D-Bench
Os autores introduzem o Track4D-Bench, um benchmark construído através de um pipeline estruturado que liga trajetórias 3D verificadas, evidências visuais e diálogo.

• Escala: 526 amostras de diálogo por nível de clipe (428 curtas, 98 longas) abrangendo 23,5k quadros e 7,5k anotações de objetos, provenientes de APIDIS, KITTI e WildTrack.
• Tarefa: Diálogo espaço-temporal de múltiplas voltas ancorado em trajetória. Os modelos devem responder a perguntas espaço-temporais qualitativas e, quando necessário, produzir trajetórias 3D estruturadas sobre clipes curtos ou segmentos locais de interações mais longas.
• Avaliação: Utiliza um protocolo unificado de volta de diálogo. A qualidade da linguagem é medida via CIDEr, BLEU-4 e METEOR. A precisão geométrica é medida via $SAcc@0.5$ (precisão de ponto), $Traj-Acc@1.0$ (precisão de trajetória) e $TAcc@0.5$ (precisão de ponto temporal), todas em coordenadas do mundo.

Principais Contribuições

1. Formulação da Tarefa: Identificou a limitação dos LMMs atuais no raciocínio 4D sustentado e formulou o "diálogo espaço-temporal de múltiplas voltas ancorado em trajetória" para estudá-lo.
2. Benchmark: Introduziu o Track4D-Bench, fornecendo um campo de testes treinável, mensurável e diagnosticamente interpretável para raciocínio dinâmico 4D com regimes de clipe curto e longo.
3. Arquitetura do Modelo: Propôs o LMM-Track4D, que integra RTGE, propagação de estado TRK persistente e decodificação OSK-RA para preservar e atualizar informações dinâmicas através de vistas, tempo e voltas de diálogo.
4. Evidência Empírica: Demonstrou que a modelagem de estado dinâmico explícito é um princípio de design útil para elicitar raciocínio 4D, mostrando melhorias consistentes sobre bases fortes na inferência densa não-chave, recuperação de oclusão e preservação de identidade de longo alcance.

Resultados
Experimentos no Track4D-Bench revelam uma lacuna de desempenho significativa entre LMMs genéricos e LMM-Track4D:

• Desempenho de Base: Modelos proprietários fortes (ex: GPT-4o) e de código aberto (ex: Qwen3-VL, LLaVA-Video) alcançam pontuações de linguagem não triviais, mas falham em fornecer saídas 3D estruturadas comparáveis. Mesmo controles SFT do mesmo conjunto de dados (bases ajustadas) permanecem bem abaixo do LMM-Track4D.
• Desempenho do LMM-Track4D: Alcançou os melhores resultados em todas as métricas, incluindo $0.758$ $SAcc@0.5$, $0.626$ $Traj-Acc@1.0$e$0.619$ $TAcc@0.5$.
• Estudos de Ablação:
  • A remoção do OSK-RA causou a maior queda na fidelidade passo a passo ($TAcc@0.5$ caiu de 0,619 para 0,425).
  • A remoção do RTGE resultou na segunda maior degradação nas métricas geométricas.
  • A remoção do TRK (ou o uso apenas da base) eliminou completamente as saídas de geometria estruturada estável, confirmando a necessidade de propagação de estado persistente.
• Dependência de Histórico: A análise mostrou que as configurações "Sem-histórico" performam pior, especialmente em voltas tardias, enquanto "Auto-histórico" (usando o próprio estado TRK do modelo) consistentemente supera isso, aproximando-se do limite superior "Histórico Dourado" (oráculo).

Significado e Alegações
O artigo alega que elicitar raciocínio dinâmico 4D em LMMs não é meramente uma questão de escalar a percepção de vídeo ou QA genérica de vídeo. Em vez disso, requer formulações de tarefa, supervisão e arquiteturas que modelam explicitamente a dinâmica da cena em evolução ao longo do tempo. Os resultados sugerem que a modelagem de estado dinâmico explícito serve como um viés indutivo eficaz para essa capacidade.

Os autores permanecem modestos quanto às limitações atuais: a configuração depende de supervisão estruturada, a escala é limitada em comparação com conjuntos de dados de vídeo gerais, e o horizonte temporal e a abertura da interação são restritos. No entanto, o trabalho estabelece que manter um estado fisicamente coerente através de interações de múltiplas voltas é um desafio distinto e solucionável com os vieses indutivos arquitetônicos adequados.