Resumo Técnico: Sondagem e Aproveitamento de Características de Transformers de Difusão de Vídeo para Rastreamento de Pontos Robusto

1. Declaração do Problema

Os métodos atuais de rastreamento de pontos, embora eficazes em benchmarks padrão, frequentemente dependem de backbones de características (ex: ResNet) que carecem de coerência temporal inerente, levando ao baixo desempenho em cenários do mundo real envolvendo desfoque de movimento (motion blur), movimentos rápidos e oclusões frequentes. Embora trabalhos recentes tenham começado a incorporar Modelos de Fundação Visual (VFMs) como o DINOv2, não houve uma análise sistemática determinando qual arquitetura de VFM ou objetivo de treinamento produz as representações mais robustas para o rastreamento temporal denso. Além disso, as abordagens existentes normalmente exigem supervisão extensiva em conjuntos de dados de vídeo de larga escala do mundo real para alcançar alto desempenho.

2. Metodologia

2.1. Análise Sistemática de VFMs

Os autores realizaram uma avaliação zero-shot de diversos VFMs para identificar o backbone mais robusto para o rastreamento de pontos. O estudo comparou modelos através de:

• Modalidades de Pré-treinamento: Apenas imagem vs. Vídeo.
• Arquiteturas: UNet vs. Transformer.
• Objetivos de Aprendizado: Auto-supervisionado (MAE, DINO) vs. Difusão.
• Benchmarks: Padrão (TAP-Vid-DAVIS), Corrompido por Desfoque de Movimento (TAP-Vid-DAVIS + ImageNet-C) e Mundo Real Desafiador (ITTO-MOSE).

Principais Descobertas da Análise:

• Transformers de Difusão de Vídeo (DiTs) superaram consistentemente todos os outros VFMs, incluindo modelos treinados em imagens (DINOv2, SD3) e modelos de vídeo com atenção decomposta (SVD) ou objetivos MAE (V-JEPA).
• CogVideoX-5B alcançou o maior desempenho, superando até mesmo backbones ResNet explicitamente supervisionados em dados de rastreamento.
• Fatores Atribuídos: A superioridade dos Video DiTs é atribuída a três características:
  1. Pré-treinamento de vídeo de larga escala no mundo real: Exposição a diversas variações de movimento e aparência.
  2. Atenção espaço-temporal 3D completa: Permite a interação global através do espaço e do tempo, ao contrário dos mecanismos de atenção decomposta.
  3. Objetivo de treinamento de difusão: Reconstrói todos os tokens através de níveis de ruído, produzindo representações de correspondência mais ricas em comparação com objetivos puramente espaciais como o MAE.
• Lei de Escala (Scaling Law): Dentro da mesma família de modelos, modelos maiores (ex: WAN-14B vs. WAN-1.3B) renderam consistentemente um melhor desempenho de rastreamento, particularmente sob condições desafiadoras.

2.2. Framework DiTracker

Motivados pela análise, os autores propõem o DiTracker, um framework que integra características de Video DiT em pipelines de rastreamento existentes (especificamente usando o head CoTracker3) através de três componentes principais:

1. Computação de Custo de Correspondência Query-Key: Em vez de usar estados ocultos, o DiTracker extrai projeções de consulta ($Q$) e chave ($K$) diretamente das camadas de atenção 3D total do Video DiT. Essas projeções codificam inerentemente correspondências inter-frames. Um custo de correspondência é computado via atenção de produto escalar escalonado:
   $$C_{DiT} = \text{Softmax}\left(\frac{q_i k_j^\top}{\sqrt{d_{head}}}\right)$$
2. Fusão ao Nível de Custo: Como os Video DiTs operam em um espaço latente espacialmente comprimido (ex: $H/16 \times W/16$), eles carecem de detalhes espaciais finos necessários para os heads de rastreamento padrão. O DiTracker funde o custo de correspondência do DiT com um ramo ResNet leve que fornece características de maior resolução. Os custos são achatados (flattened), concatenados e projetados em um embedding de custo via MLP:
   $$E_j = \text{MLP}([\text{Flatten}(C_{DiT}), \text{Flatten}(C_{ResNet})])$$
   Isso preserva a distribuição de correspondência pré-treinada do DiT enquanto recupera detalhes espaciais.
3. Adaptação LoRA: Para transferir características generativas para a tarefa de rastreamento de forma eficiente, os autores empregam a Adaptação de Baixo Rank (LoRA). Matrizes de baixo rank treináveis são inseridas nas camadas de atenção do backbone de Video DiT congelado. O modelo é treinado com um objetivo combinado de regressão de trajetória, classificação de visibilidade e perdas de confiança.

3. Principais Contribuições

1. Primeira Análise Sistemática: O artigo apresenta o primeiro estudo abrangente de representações de VFM para rastreamento de pontos robusto, identificando os Video DiTs como o backbone mais robusto, superando até mesmo backbones ResNet supervisionados.
2. Framework DiTracker: Introdução de um método para aproveitar as características de Video DiT para rastreamento supervisionado via correspondência query-key, fusão de custo com um ramo ResNet e adaptação LoRA.
3. Eficiência de Dados e Robustez: Demonstração de que o DiTracker, treinado apenas em dados sintéticos (Kubric) com significativamente menos iterações, supera o CoTracker3 (que é treinado em vídeos adicionais do mundo real) sob o mesmo head de rastreamento. Ele mostra os maiores ganhos de desempenho em cenários corrompidos e desafiadores.
4. Generalização e Escalabilidade: Validação de que os benefícios das características de Video DiT generalizam-se entre diferentes heads de rastreamento (ex: AllTracker) e escalam com o tamanho do backbone, confirmando os Video DiTs como um backbone robusto, eficiente em dados e agnóstico ao head.

4. Resultados Experimentais

• Benchmarks Padrão: No TAP-Vid-DAVIS e ITTO-MOSE, o DiTracker (treinado apenas em dados sintéticos) superou o CoTracker3 treinado com 15k vídeos do mundo real. Por exemplo, no ITTO-MOSE, o DiTracker melhorou $\delta^x_{avg}$ em 2,7% sobre o CoTracker3.
• Benchmarks de Robustez: Sob corrupções do ImageNet-C (ruído, desfoque, clima), o DiTracker alcançou a melhor pontuação média (71,1%), superando o CoTracker3 (69,2%) apesar deste último possuir treinamento com dados reais.
• Estudos de Ablação:
  • Seleção de Características: Projeções query-key (52,6% AJ) superaram significativamente os estados ocultos (45,7% AJ).
  • Estratégia de Fusão: A concatenação de custos DiT e ResNet (72,2% $\delta^x_{avg}$) superou o simples upsampling ou concatenação de características.
  • LoRA: A adaptação foi essencial; características de DiT congeladas renderizaram resultados pobres (41,0% AJ). O LoRA de camada total com ranks mais altos (128) proporcionou o melhor desempenho.
• Escalabilidade: Backbones maiores (WAN-14B) superaram consistentemente as variantes menores (WAN-1.3B) em todas as métricas.

5. Significância e Alegações

O artigo alega que o pré-treinamento de vídeo generativo fornece fortes priors do mundo real para correspondência, reduzindo efetivamente a dependência de supervisão de dados reais em larga escala para o rastreamento de pontos. Ao utilizar Video DiTs, os autores demonstram que:

• A coerência temporal necessária para o rastreamento robusto é inerente aos modelos de vídeo generativos treinados com objetivos de difusão e atenção 3D completa.
• É possível alcançar o estado da arte em robustez usando apenas dados sintéticos e menos iterações de treinamento em comparação com métodos que dependem de supervisão de vídeo do mundo real.
• Avanços futuros em geração de vídeo podem beneficiar diretamente tarefas de rastreamento de pontos, sugerindo uma convergência entre a compreensão de vídeo generativa e discriminativa.