TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

Resumo Técnico: TrackCraft3R

Declaração do Problema
O rastreamento 3D denso a partir de vídeo monocameral é essencial para a compreensão de cenas dinâmicas, manipulação robótica e geração de vídeo controlável. Um desafio fundamental neste domínio é recuperar o movimento dos objetos dentro de um quadro de coordenadas do mundo 3D, cancelando efetivamente o movimento próprio da câmera (ego-motion). Embora modelos fundamentais 3D recentes forneçam geometria confiável por quadro, recuperar o movimento consistente dos objetos ao longo do tempo permanece difícil. Os rastreadores 3D existentes geralmente se enquadram em duas categorias: (1) paradigmas iterativos treinados do zero em dados 4D sintéticos, que carecem de priores de movimento do mundo real; e (2) abordagens feed-forward que ajustam finamente modelos de reconstrução 3D pré-treinados (aprendidos a partir de imagens multi-visão estáticas), que carecem de priores temporais ricos provenientes da dinâmica de vídeo do mundo real.

Por outro lado, transformadores de difusão de vídeo pré-treinados (video DiTs) codificam fortes priores espaciais e temporais a partir de vídeos em escala de internet. No entanto, existe uma incompatibilidade fundamental: os video DiTs tipicamente geram saídas ancoradas no quadro (prevendo conteúdo independentemente para cada quadro), enquanto o rastreamento 3D denso requer saídas ancoradas na referência (rastreamento dos mesmos pontos físicos a partir de um quadro de referência ao longo do tempo). Tentativas anteriores de usar modelos de difusão para reconstrução 4D, como o MotionCrafter, dependem de fluxo de cena ancorado no quadro entre quadros adjacentes, necessitando de encadeamento temporal que leva ao acúmulo de erros, particularmente sob oclusão.

Metodologia: TrackCraft3R
O TrackCraft3R é o primeiro método a reaproveitar um transformador de difusão de vídeo como um rastreador 3D denso feed-forward. Dado um vídeo monocameral e seu mapa de pontos de reconstrução ancorado no quadro (fornecendo geometria 3D em coordenadas do mundo), o TrackCraft3R prevê um mapa de pontos de rastreamento ancorado na referência em uma única passagem forward. Esta saída rastreia cada pixel do primeiro quadro ao longo do tempo, juntamente com sua visibilidade.

A inovação central reside na conversão do paradigma gerativo por quadro dos video DiTs em uma formulação de rastreamento ancorada na referência através de dois designs-chave:

1. Representação de Duplo Latente: O modelo utiliza dois tipos de latentes como entradas para o video DiT:

   • Latentes de Geometria ($g_j$): Codificados a partir do quadro RGB e do mapa de pontos de reconstrução de cada timestamp $t_j$. Estes representam a geometria 3D da cena em cada momento específico.
   • Latentes de Rastreamento ($r_j$): Ancorados ao quadro de referência ($I_0$). Estes são gerados replicando o latente de geometria do primeiro quadro ($g_0$) através de todos os timestamps. Eles atuam como pontos de consulta densos definidos no quadro de referência.
   • O modelo processa a concatenação desses latentes usando atenção 3D completa. Intuitivamente, os latentes de rastreamento atendem aos latentes de geometria através dos quadros para determinar a posição 3D do ponto físico correspondente no timestamp de destino.

2. Alinhamento Temporal RoPE: Para garantir que cada latente de rastreamento atenda ao latente de geometria no timestamp correto, o método emprega Embutimentos Posicionais Rotativos 3D (RoPE). Ao atribuir o mesmo índice temporal $t_j$ tanto ao latente de rastreamento $r_j$ quanto ao latente de geometria $g_j$, o mecanismo de atenção é enviesado para focar na geometria alinhada temporalmente. Isso permite que o modelo recupere a posição 3D correta para um ponto rastreado do quadro de referência até o tempo $t_j$.

O modelo é treinado usando ajuste fino LoRA (Adaptação de Baixo Rango) em um video DiT (especificamente Wan 2.1-T2V). Em vez de regressar o mapa de pontos 3D absoluto diretamente, o modelo prevê um rastro residual ($\Delta_j = P_0(t_j) - P_0(t_0)$) relativo ao quadro de referência, o que estabiliza o treinamento. A visibilidade é prevista simultaneamente.

Principais Contribuições

1. Primeiro Reaproveitamento de Video DiT para Rastreamento 3D: O TrackCraft3R é o primeiro método a adaptar um transformador de difusão de vídeo para rastreamento 3D denso feed-forward, indo além do paradigma padrão de geração ancorada no quadro.
2. Designs Arquiteturais Novos: O artigo introduz a representação de duplo latente e o alinhamento temporal RoPE para preencher a lacuna entre modelos de vídeo generativos e tarefas de rastreamento ancorado na referência.
3. Desempenho e Eficiência de Estado da Arte: O método alcança resultados de estado da arte em benchmarks padrão de rastreamento 3D esparsos e densos. Notavelmente, ele executa 1,3× mais rápido e usa 4,6× menos memória de pico do que o método iterativo anterior mais forte (DELTAv2).
4. Robustez: A abordagem demonstra robustez a grandes movimentos e vídeos longos, generalizando além do comprimento da sequência de treinamento sem erros de encadeamento temporal.

Resultados
Avaliado em benchmarks incluindo ADT, PStudio, Dynamic Replica, Point Odyssey e Kubric, o TrackCraft3R alcança a melhor AJ média (Jaccard Médio), APD3D (Porcentagem Média de Pontos dentro de $\delta_{3D}$) e OA (Precisão de Oclusão).

• Desempenho: Com o estimador de geometria DA3, o TrackCraft3R supera significativamente o DELTAv2 + DA3 e todas as outras bases feed-forward.
• Eficiência: Em uma única GPU NVIDIA A6000, o TrackCraft3R processa clipes de 12 quadros em 3,91 segundos com 7,63 GB de memória de pico, comparado aos 5,00 segundos e 35,46 GB do DELTAv2.
• Robustez em Vídeos Longos: Experimentos mostram que, à medida que o passo temporal ou o comprimento do vídeo aumenta, a degradação do desempenho do TrackCraft3R é muito mais lenta do que em métodos iterativos, confirmando a eficácia dos priores de movimento aprendidos.

Significado e Alegações
O artigo afirma que o TrackCraft3R aproveita com sucesso os ricos priores espaciais e temporais de dados de vídeo em escala de internet, que estão tipicamente ausentes em modelos treinados exclusivamente em dados 4D sintéticos ou reconstruções multi-visão estáticas. Ao reaproveitar um video DiT, o método evita o acúmulo de erros inerente ao encadeamento temporal (usado por métodos de fluxo ancorados no quadro) e o custo computacional iterativo dos rastreadores tradicionais.

Os autores enfatizam que o método é compatível com qualquer estimador de geometria 3D (por exemplo, ViPE, DA3), o que significa que seu desempenho pode melhorar à medida que os modelos externos de estimativa de geometria avançam, sem exigir o re-treinamento do próprio rastreador. Embora o método dependa de entradas de geometria externas, ele representa um passo significativo em direção à unificação de priores de vídeo generativos com percepção 4D densa, oferecendo uma base para aplicações em manipulação robótica e reconstrução de cenas dinâmicas. O artigo nota modestamente que sua precisão é atualmente limitada pela qualidade da geometria de entrada, sugerindo que trabalhos futuros poderiam envolver a geração conjunta de vídeo e rastros 3D dentro de um único modelo unificado.