AnthroTAP: Learning Point Tracking with Real-World Motion

1. O Problema

O rastreamento de pontos (point tracking) em vídeos é fundamental para aplicações como robótica, odometria visual, reconstrução 3D/4D e edição de vídeo. No entanto, os modelos atuais enfrentam dificuldades significativas para generalizar em cenários do mundo real.

• Dependência de Dados Sintéticos: A maioria dos modelos é treinada em grandes conjuntos de dados sintéticos (como o Kubric), que não capturam adequadamente as complexidades visuais e geométricas do mundo real (deformações não rígidas, oclusões frequentes, iluminação variável).
• Custo da Anotação Manual: Coletar anotações reais de trajetórias de pontos é proibitivamente caro e demorado, exigindo o rastreamento manual de centenas de pontos quadro a quadro.
• Limitações do Auto-treinamento: Métodos recentes que utilizam auto-treinamento em vídeos reais exigem recursos computacionais massivos (ex: milhares de GPUs) e grandes volumes de dados, muitas vezes com sinais de supervisão fracos e viés de confirmação.

2. Metodologia: AnthroTAP

O AnthroTAP é um pipeline automatizado que gera dados de treinamento pseudo-rotulados em grande escala a partir de vídeos de movimento humano real. A premissa central é que o movimento humano oferece um sinal de supervisão forte e estruturado devido à sua complexidade inerente (articulações, deformações não rígidas e oclusões).

O pipeline segue as seguintes etapas:

1. Recuperação de Malha Humana (HMR):

   • Utiliza um modelo pré-treinado de Recuperação de Malha Humana (especificamente o TokenHMR) para estimar a malha 3D SMPL (Skinned Multi-Person Linear) para cada pessoa detectada em cada quadro do vídeo.
   • Isso gera parâmetros de pose e forma, criando uma representação 3D temporalmente consistente do corpo humano.

2. Projeção de Vértices:

   • Os vértices da malha 3D SMPL são projetados no plano da imagem 2D, criando trajetórias iniciais de pontos pseudo-rotulados. Como os vértices correspondem a locais anatômicos fixos, as trajetórias são naturalmente consistentes.

3. Predição de Visibilidade (Ray-Casting):

   • Para lidar com oclusões, o sistema utiliza ray-casting sobre a estrutura da malha 3D.
   • Verifica-se se um raio da câmera até um vértice 3D intersecta outra parte da malha (auto-oclusão) ou a malha de outra pessoa (oclusão inter-pessoal). Pontos intersectados são marcados como ocluídos.

4. Filtragem por Consistência de Fluxo Óptico:

   • Para refinar a qualidade e remover erros causados por objetos não modelados (móveis, fundo) ou falhas na malha, aplica-se uma verificação de consistência de fluxo óptico (usando o SEARAFT).
   • Compara-se o deslocamento previsto pela malha SMPL com o deslocamento real do fluxo óptico entre quadros adjacentes.
   • Se houver uma divergência significativa (indicando que o ponto foi ocluído por algo não modelado ou que a malha falhou), o segmento da trajetória é descartado. Apenas trajetórias com alta consistência são mantidas.

5. Treinamento:

   • Um modelo de rastreamento de pontos (como o LocoTrack ou TAPNext) é fine-tuned utilizando essas trajetórias pseudo-rotuladas geradas a partir de vídeos reais (conjunto de dados Let's Dance), misturados com dados sintéticos.

3. Principais Contribuições

• Pipeline de Geração de Dados Eficiente: Introduz uma abordagem simples, mas eficaz, para gerar dados de treinamento reais sem anotação manual, explorando a estrutura 3D do corpo humano.
• Complexidade e Diversidade: Demonstra que os vídeos de movimento humano capturam padrões de trajetória mais complexos e diversos (medidos por aceleração angular e variabilidade de forma) do que conjuntos de dados sintéticos ou de direção (como DriveTrack).
• Desempenho com Menos Dados: O método alcança resultados state-of-the-art (SOTA) utilizando uma fração minúscula dos dados necessários para métodos concorrentes.
• Dados Não Proprietários: Diferente de trabalhos anteriores que usaram vídeos proprietários, o AnthroTAP utiliza dados abertos (Let's Dance), tornando o pipeline transparente e acessível à comunidade.

4. Resultados

O modelo treinado com o AnthroTAP foi avaliado no benchmark TAP-Vid e no RoboTAP:

• Desempenho Superior: O Anthro-LocoTrack superou o CoTracker3 (treinado em 11x mais vídeos) e o BootsTAPIR (treinado em ~10.000x mais vídeos) em várias métricas (AJ, precisão de posição e precisão de oclusão).
• Eficiência Computacional: O treinamento foi concluído em 1 dia usando apenas 4 GPUs (NVIDIA A6000), em comparação com os meses de treinamento e centenas de GPUs (A100) necessários para métodos concorrentes.
• Generalização: O modelo treinado com dados humanos generalizou-se bem para objetos não humanos (animais, robôs, veículos), mostrando ganhos ainda maiores em pontos não humanos do que em humanos.
• Qualidade dos Pseudo-rótulos: Análises de ablação mostraram que a diversidade visual do mundo real é mais crítica para a generalização do que a precisão perfeita da anotação sintética.

5. Significado e Impacto

O AnthroTAP resolve um gargalo fundamental na visão computacional: a escassez de dados reais de alta qualidade para tarefas de rastreamento denso. Ao provar que a estrutura geométrica 3D do movimento humano pode ser usada para gerar supervisão robusta, o trabalho:

1. Democratiza o acesso a dados de treinamento de alta qualidade, eliminando a necessidade de anotação manual cara.
2. Reduz drasticamente a barreira de entrada computacional para treinar modelos de rastreamento de ponta.
3. Estabelece um novo paradigma onde a complexidade do movimento humano é vista como um recurso valioso para ensinar modelos a lidar com oclusões e deformações no mundo real, superando as limitações dos dados sintéticos.

Em resumo, o AnthroTAP demonstra que é possível alcançar o estado da arte em rastreamento de pontos com dados reais, complexos e eficientes, sem depender de anotação manual massiva ou recursos computacionais extremos.