Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction

Título: Aprendizado de Correspondência de Objetos entre Vistas Diferentes via Previsão de Máscaras Cíclicamente Consistentes

1. O Problema

O artigo aborda o desafio de estabelecer correspondência visual em nível de objeto entre diferentes pontos de vista em vídeos, especificamente focando em cenários desafiadores de egocêntrico para exocêntrico (primeira pessoa para terceira pessoa) e vice-versa.

• Contexto: Essencial para agentes corporificados (robôs de serviço, navegação autônoma) que precisam interpretar instruções de uma câmera vestível (egocêntrica) e localizar o objeto referido a partir de sua própria perspectiva (exocêntrica).
• Desafios Principais:
  • Disparidade de Vista: Grandes diferenças na aparência devido a ângulos de câmera, iluminação, oclusões e resolução.
  • Ambientes: Vistas egocêntricas são frequentemente instáveis, com movimento e desfoque, enquanto as exocêntricas são mais estáveis, mas podem carecer de detalhes finos.
  • Falta de Dados: A maioria dos modelos tradicionais é treinada em cenas estáticas ou com visibilidade mútua, falhando na generalização para essas disparidades extremas.
  • Anotação: A obtenção de anotações de "ground truth" (máscaras perfeitas) em pares de vídeo egocêntrico-exocêntrico é difícil e cara.

2. Metodologia

Os autores propõem um framework simples, modular e end-to-end baseado em segmentação binária condicional, utilizando modelos de fundação de visão (Vision Foundation Models).

Arquitetura do Modelo

O pipeline utiliza o modelo DINOv3 como backbone e consiste em três componentes principais:

1. Extrator de Características da Fonte: Extrai uma representação específica do objeto da imagem de origem ($I_s$) usando a máscara de consulta ($M_s$). Essa representação é compactada em um Token de Condição (CDT).
2. Codificador Transformer: A imagem de destino ($I_t$) é dividida em patches e transformada em tokens visuais. O token CDT é injetado no encoder para condicionar a atenção do transformer, guiando-o a localizar o objeto correspondente na nova vista.
3. Decodificador Multi-tarefa: Gera duas saídas:
   • Cabeça de Máscara: Prevê a máscara binária do objeto na vista de destino.
   • Cabeça CLS: Prevê se o objeto é visível na vista de destino (classificação binária de visibilidade).

Objetivo de Treinamento e Ciclo de Consistência

Para superar a falta de anotações perfeitas e garantir representações invariantes à vista, o método introduz uma função de perda de consistência cíclica (Cycle-Consistency Loss):

• Mecanismo: A máscara prevista na vista de destino é projetada de volta para a vista de origem para reconstruir a máscara de consulta original.
• Vantagem: Isso cria um sinal de auto-supervisão forte sem necessidade de anotações na vista de destino.
• Perda Total: Combina perda de máscara (BCE + Dice), perda auxiliar (supervisão profunda em camadas intermediárias) e a perda de consistência cíclica.

Treinamento no Tempo de Inferência (Test-Time Training - TTT)

Uma contribuição chave é a aplicação de TTT. Como a perda de consistência cíclica não depende de anotações de destino, ela pode ser usada durante a inferência:

• Para cada par de imagens de teste, o modelo é ajustado (fine-tuned) por alguns passos de gradiente, otimizando a consistência cíclica específica daquele par.
• Isso permite que o modelo se adapte a mudanças de domínio ou variações distribucionais específicas da amostra de teste, melhorando a qualidade da correspondência.

3. Principais Contribuições

1. Framework Modular: Uma abordagem end-to-end que utiliza modelos de fundação (DINOv3) com modificações arquitetônicas mínimas (apenas a injeção do token CDT).
2. Objetivo de Consistência Cíclica: Um novo objetivo de auto-supervisão que força o alinhamento semântico entre as vistas de origem e destino, permitindo o uso de TTT.
3. Desempenho SOTA: Validação em benchmarks rigorosos (Ego-Exo4D e HANDAL-X), superando métodos anteriores sem depender de módulos auxiliares complexos ou dados extras.

4. Resultados Experimentais

Benchmarks Ego-Exo4D

• Configuração Exo Query (Origem Exocêntrica, Destino Egocêntrico): O método alcançou um mIoU de 44,57%, superando o estado da arte anterior (O-MaMa) em +2,9% relativo.
• Configuração Ego Query (Origem Egocêntrica, Destino Exocêntrico): Alcançou um IoU de 41,95%, ficando muito próximo do SOTA (42,57%), mas com uma arquitetura mais simples e sem dependência de geradores de máscaras externos como o Fast-SAM.
• Visibilidade: Atingiu 98,92% de precisão na previsão de visibilidade (Ego Query) e 99,86% (Exo Query).

Benchmarks HANDAL-X

• Em um cenário de generalização zero-shot (sem treino no dataset HANDAL-X), o método superou todos os baselines, alcançando um IoU de 78,8% (vs. 42,8% do ObjectRelator).
• Com ajuste fino no HANDAL-X, alcançou 85,0%, demonstrando robustez extrema.

Estudos de Ablação

• A remoção da perda cíclica ($\mathcal{L}_{cycle}$) causou uma queda significativa no desempenho, confirmando sua importância para o TTT.
• O TTT trouxe melhorias consistentes em ambas as configurações de tarefa.
• A arquitetura proposta supera o uso de apenas features do DINOv3 em um baseline existente (XSegTx), provando que o ganho vem do design do método, não apenas do backbone.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Simplicidade e Eficiência: Demonstra que problemas complexos de correspondência cross-view podem ser resolvidos com arquiteturas simples e auto-supervisão, evitando pipelines complexos de múltiplos estágios.
• Auto-supervisão Robusta: A introdução da consistência cíclica como sinal de treino e inferência oferece uma nova direção para tarefas onde anotações de pares são escassas ou inexistentes.
• Aplicabilidade Prática: O uso de TTT permite que sistemas robóticos ou de visão computacional se adaptem dinamicamente a novas cenas ou condições de iluminação durante a operação, sem necessidade de retreinamento offline massivo.
• Avanço no Estado da Arte: Estabelece um novo padrão de desempenho em benchmarks de correspondência egocêntrica-exocêntrica, facilitando o desenvolvimento de agentes autônomos mais inteligentes e capazes de interagir com o mundo físico sob múltiplas perspectivas.

Em resumo, o paper propõe uma solução elegante e poderosa para o problema de "onde está o objeto que estou vendo na minha câmera, se eu olhar de fora?", utilizando ciclos de consistência para ensinar o modelo a ser invariante à perspectiva.