Resumo Técnico: ViewSAM

Declaração do Problema

O artigo aborda o Rastreamento Multi-Objeto Referenciado entre Vistas Cruzadas (CRMOT), uma tarefa que envolve localizar e rastrear múltiplos objetos especificados por descrições em linguagem natural em vistas de câmera sincronizadas, mantendo identidades globalmente consistentes. Embora os métodos existentes de CRMOT alcancem desempenho robusto, eles dependem fortemente de paradigmas de aprendizado totalmente supervisionado que exigem anotações espaciais densas em nível de quadro e correspondências de identidade entre vistas, custosas. Essa dependência impede a escalabilidade do CRMOT para cenas de mundo aberto.

Os autores propõem explorar o Rastreamento Multi-Objeto Referenciado entre Vistas Cruzadas com Supervisão Fraca (WSCRMOT), onde os dados de treinamento consistem apenas em rótulos de categoria de objeto grosseiros e vídeos brutos multivista, sem caixas delimitadoras espaciais, IDs entre vistas ou expressões de referência. Um estudo empírico preliminar revela que a aplicação direta de modelos fundamentais como SAM2 e SAM3 a esta tarefa falha devido a:

1. Falta de compreensão semântica: Dificuldade em interpretar expressões de referência complexas para rastreamento de longo prazo.
2. Viés de rastreamento: Os modelos derivam para distrações que correspondem parcialmente ao prompt de texto, especialmente sob oclusão.
3. Inconsistência de identidade: Falha em manter a identidade global entre vistas devido a variações significativas de aparência e movimento.

Metodologia

Os autores propõem um framework de duas etapas que reaproveita modelos fundamentais como geradores de pseudorótulos e introduz uma nova arquitetura, ViewSAM, para aprender semântica cruzada entre modalidades consciente de vista.

Etapa 1: Geração de Pseudorótulos entre Vistas Cruzadas

Como rótulos espaciais e de identidade explícitos não estão disponíveis, o framework gera pseudorótulos de alta qualidade usando SAM3 e um Modelo de Linguagem Grande Multimodal (MLLM).

• Re-prompting entre Vistas Cruzadas Guiado por Afinidade: O SAM3 é primeiro acionado com rótulos de categoria de objeto para gerar trajetórias de objeto único em uma única vista. Uma estratégia guiada por afinidade associa então essas trajetórias entre vistas. Ela computa embeddings em nível de trajetória e seleciona candidatos com a maior afinidade em relação a uma âncora. Para refinar essas associações e corrigir ruídos causados por oclusão ou distrações, emprega-se um mecanismo de re-prompting bidirecional. Isso utiliza um protótipo de identidade agregado para re-inicializar o rastreamento do SAM3 nas direções temporal forward e backward, produzindo trajetórias refinadas de objeto único entre vistas cruzadas.
• Agrupamento em Nível de Referência Impulsionado por LLM: As trajetórias refinadas são processadas por um MLLM (Qwen3-VL-8B) para gerar descrições centradas em atributos (capturando cor, vestuário, etc.). Trajetórias com descrições semânticas semelhantes são agrupadas sob a mesma expressão de referência, formando os pseudorótulos finais de CRMOT.

Etapa 2: Arquitetura ViewSAM

O ViewSAM é um modelo de CRMOT construído sobre a espinha dorsal SAM2, aprimorado com aproximadamente 10% de parâmetros treináveis adicionais para modelar explicitamente semântica cruzada entre modalidades consciente de vista.

• Alinhamento Cruzado entre Modalidades Condicionado à Vista (VC-CMA): Este módulo preenche a lacuna entre observações visuais variantes de vista e expressões textuais invariantes de vista. Ele introduz um Token de Vista aprendível dinâmico que interage com características visuais e textuais via Atenção Cruzada Condicionada à Vista (VCCA). Isso permite que o modelo compreenda expressões de referência raciocinando conjuntamente sobre modalidades visuais e textuais, ao mesmo tempo que considera priores específicos de vista.
• Gerador de Candidatos: Estendendo o SAM2 de rastreamento de objeto único para rastreamento multi-objeto, este módulo gera prompts de caixa para guiar a decodificação de máscaras. Ele é destilado a partir do APTM e treinado em pseudorótulos de única vista agnósticos de ID.
• Recalibração Consciente de Viés (BAR): Para mitigar o viés de rastreamento onde a decodificação guiada por memória deriva para distrações, o BAR compara previsões guiadas por memória com características livres de memória. Um token aprendível avalia a confiabilidade da previsão, e o modelo funde adaptativamente as duas previsões para re-focar em objetos consistentes com a expressão de referência.
• Cabeça de Rastreamento entre Vistas Cruzadas Guiada por Consistência (CGCT): Este módulo projeta representações de trajetória em um espaço compartilhado invariante de vista. Ele utiliza o Token de Vista dinâmico para modular características e emprega objetivos guiados por consistência (perdas de consistência intra-vista e inter-vista) para impor alinhamento de identidade entre câmeras sem supervisão explícita de identidade entre vistas.

Contribuições Principais

1. Primeiro Framework com Supervisão Fraca: O artigo propõe o primeiro framework para WSCRMOT que reduz significativamente a dependência de anotações densas, estabelecendo uma base para pesquisas futuras neste cenário.
2. Estratégia de Re-prompting Guiada por Afinidade: Um método inovador para gerar pseudorótulos entre vistas cruzadas confiáveis, modelando a afinidade entre vistas e refinando iterativamente as trajetórias.
3. Modelo ViewSAM: Um modelo baseado em SAM2 que modela explicitamente semântica cruzada entre modalidades consciente de vista. Ele alcança compreensão de referência robusta e rastreamento entre vistas consistente com apenas ~10% de parâmetros adicionais.
4. Desempenho State-of-the-Art: Experimentos extensivos demonstram que o ViewSAM alcança desempenho SOTA sob supervisão fraca, reduzindo substancialmente a lacuna de desempenho em relação aos métodos totalmente supervisionados.

Resultados Experimentais

O framework foi avaliado no benchmark CRTrack em configurações intra-domínio e inter-domínio, utilizando as métricas CVR-IDF1 (consistência de identidade) e CVR-MA (precisão de correspondência).

• Desempenho com Supervisão Fraca: O ViewSAM superou outras abordagens zero-shot e com supervisão fraca (incluindo SAM2 e SAM3 adaptados com agrupamento) por margens significativas (por exemplo, +3,36 em CVR-IDF1 e +3,55 em CVR-MA na avaliação intra-domínio).
• Comparação com Métodos Totalmente Supervisionados: O ViewSAM permaneceu competitivo com métodos totalmente supervisionados como o CRTracker. Notavelmente, uma variante totalmente supervisionada do ViewSAM empurrou ainda mais os limites de desempenho, confirmando a generalizabilidade do design consciente de vista.
• Estudos de Ablação: A remoção de componentes-chave (VC-CMA, Gerador de Candidatos, BAR ou CGCT) resultou em quedas significativas de desempenho, validando a necessidade de alinhamento condicionado à vista, recalibração de viés e rastreamento guiado por consistência.
• Qualidade dos Pseudorótulos: As estratégias de associação guiada por afinidade e re-prompting bidirecional mostraram melhorar drasticamente a qualidade dos pseudorótulos, levando a maior precisão de rastreamento.

Significado e Alegações

O artigo alega estabelecer uma base sólida para CRMOT com Supervisão Fraca, demonstrando que rastreamento de alta qualidade pode ser alcançado sem anotações espaciais ou de identidade densas. Ao aproveitar modelos fundamentais como geradores de pseudorótulos e introduzir uma arquitetura especializada que trata variações de vista como condições aprendíveis em vez de ruído, o trabalho permite aprendizado escalável a partir de dados abundantemente fracamente rotulados. Os autores enfatizam que sua abordagem apoia naturalmente aplicações em sistemas de percepção multicâmera (por exemplo, vigilância inteligente, IA incorporada) onde a coleta de anotações granulares é proibitivamente cara. O trabalho é apresentado como um pré-impresso (arXiv:2605.02638v1), indicando que é uma contribuição de pesquisa destinada à comunidade para construir sobre ela.