Resumo Técnico: SAM 2++: Rastreamento de Qualquer Coisa em Qualquer Granularidade

1. Declaração do Problema

O rastreamento em vídeo fragmentou-se historicamente em subtarefas independentes baseadas na granularidade do alvo: Rastreamento de Objeto Único (SOT) usando caixas delimitadoras, Segmentação de Objetos em Vídeo (VOS) usando máscaras em nível de pixel e Rastreamento de Pontos (PT) usando pontos-chave de alta granularidade. Embora essas tarefas compartilhem um objetivo central — estimar estados de alvo ao longo do tempo —, elas levaram a modelos especializados com designs redundantes e generalização limitada. Modelos de visão unificados existentes frequentemente compartilham backbones, mas mantêm interfaces específicas de tarefa ou ignoram granularidades específicas (como o rastreamento de pontos), falhando em estabelecer uma representação verdadeiramente unificada de estados de rastreamento. Além disso, a falta de um conjunto de dados que forneça anotações simultâneas para máscaras, caixas e pontos dificulta o treinamento e a avaliação de frameworks de rastreamento unificados.

2. Metodologia: SAM 2++

Os autores propõem o SAM 2++, um framework unificado que estende o Segment Anything Model 2 (SAM 2) para rastrear alvos em qualquer granularidade (máscaras, caixas, pontos) por meio de um design integrado de codificação de prompts, decodificação de saída e representação de memória.

2.1 Entrada e Saída de Tarefa Unificada

• Prompts Específicos de Tarefa: Para lidar com granularidades de entrada inconsistentes, o framework introduz prompts específicos, preservando o codificador de prompts original do SAM 2.
  • Máscara: Utiliza máscaras binárias ($I_{mask}$).
  • Caixa: Utiliza coordenadas de caixa delimitadora ($I_{box}$).
  • Ponto: Utiliza coordenadas de ponto ($I_{point}$) combinadas com uma máscara Gaussiana ($G_{point}$). Esta máscara Gaussiana destaca o ponto em uma forma consistente com a saída do decodificador e a entrada do codificador de memória, substituindo máscaras binárias ingênuas para uma melhor representação. O raio e o sigma desta Gaussiana são gradualmente reduzidos durante o treinamento para facilitar a convergência.
• Decodificador Unificado: Estendendo o Decodificador de Máscara do SAM 2, este componente produz uma pré-saída unificada em formato de máscara para todas as tarefas.
  • SOT: Adiciona-se uma Cabeça Baseada em Cantos (CornHead) para otimizar explicitamente a posição e a escala da caixa delimitadora a partir da saída da máscara, evitando as imprecisões da derivação simples de caixa externa.
  • PT: As coordenadas do ponto são derivadas da saída da máscara usando uma operação de soft-argmax durante o treinamento (para garantir o fluxo de gradiente) e um argmax padrão durante a inferência. Isso alinha a previsão de pontos com o prompt Gaussiano e a fonte de memória.

2.2 Mecanismo de Memória Adaptativo à Tarefa

A inovação central aborda a observação de que diferentes granularidades de rastreamento possuem requisitos de memória distintos. O compartilhamento total de parâmetros em módulos de memória leva à degradação de desempenho porque uma única representação de memória não pode satisfazer simultaneamente as necessidades de segmentação precisa de máscaras, as necessidades de localização grosseira de caixas e a natureza Gaussiana específica de pontos.

• Desacoplamento: O framework desacopla componentes de memória enquanto mantém um pipeline de rastreamento compartilhado.
  • Codificador de Memória: Cada tarefa (máscara, caixa, ponto) possui sua própria cópia independente do Codificador de Memória convolucional.
  • Atenção de Memória: Cada tarefa é equipada com um módulo LoRA (Adaptação de Baixo Rango) independente para a Atenção de Memória baseada em transformador.
• Resultado: Este design permite que o modelo mantenha uma estrutura de representação de memória compartilhada enquanto se adapta às semânticas de estado específicas de cada granularidade, prevenindo interferências e permitindo promoção mútua entre tarefas.

2.3 Estratégia de Treinamento

O modelo é treinado conjuntamente em três tarefas usando uma estratégia de amostragem alternada (probabilidades 1:4:5 para máscara:caixa:ponto). O processo de treinamento incorpora:

• Prompts Interativos: Para tarefas de máscara e caixa, o modelo suporta tanto entradas de verdade fundamental quanto entradas ruidosas/interativas (por exemplo, caixas ruidosas, cliques positivos).
• Quadros Corretivos: Para cenários interativos, o modelo amostra pontos corretivos de regiões de falsos positivos/negativos para refinar previsões iterativamente.
• Funções de Perda: Uma combinação de perdas Focal e Dice para máscaras, perdas IoU e L1 para caixas (via a cabeça de cantos) e perda de distância L1 para pontos. A previsão de oclusão é supervisionada via entropia cruzada independentemente da visibilidade do objeto.

3. Principais Contribuições

3.1 O Framework SAM 2++

O artigo propõe o primeiro framework unificado capaz de rastrear alvos em qualquer granularidade (máscaras, caixas, pontos) dentro de uma única arquitetura. Ele alcança isso através de:

• Prompts específicos de tarefa que mapeiam entradas diversas para embeddings gerais.
• Um Decodificador Unificado que padroniza as saídas.
• Um mecanismo de Memória Adaptativo à Tarefa que equilibra o compartilhamento de parâmetros com as semânticas de estado específicas de cada tarefa.

3.2 Conjunto de Dados Tracking-Any-Granularity (TAG)

Para suportar treinamento e avaliação unificados, os autores construíram o TAG, um conjunto de dados de rastreamento em vídeo em grande escala contendo 6.000 vídeos com 2,2 milhões de quadros.

• Anotações: Fornece anotações de alta qualidade para todas as três granularidades (máscaras de segmentação, caixas delimitadoras e pontos-chave) para as mesmas sequências de vídeo.
• Motor de Dados: O conjunto de dados foi criado usando um motor de dados em fases combinando anotação manual e conclusão assistida por modelo.
  • Fase 1: Anotação manual de cada quadro (1.000 vídeos).
  • Fases 2 e 3: Anotação manual de quadros esparsos (a cada 10º e 20º) com conclusão em loop de modelo para quadros intermediários, utilizando estratégias de rastreamento reverso e fusão para garantir qualidade.
• Escopo: O conjunto de dados cobre cenas diversas, resoluções e atributos desafiadores como desfoque de movimento, oclusão e deformação.

4. Resultados Experimentais

Experimentos abrangentes em múltiplos benchmarks demonstram que o SAM 2++ estabelece um novo estado da arte (SOTA) em todas as três tarefas:

• Segmentação de Objetos em Vídeo (VOS): Supera modelos especializados (por exemplo, XMem, DEVA, Cutie) em benchmarks incluindo YouTubeVOS, MOSE, LVOS-v2 e BURST.
• Rastreamento de Objeto Único (SOT): Supera rastreadores dedicados (por exemplo, OSTrack, ARTrack, HIPTrack) em TrackingNet, GOT-10k e VastTrack. Notavelmente, ele alcança isso como um rastreador unificado de ponta a ponta, sem as estratégias de pré-corte comuns no SOT.
• Rastreamento de Pontos: Supera tanto rastreadores offline quanto rastreadores online modificados (por exemplo, CoTracker3, TAPTR) em BADJA, Perception Test e TAP-Vid. Demonstra forte generalização para rastreamento de pontos arbitrários, apesar de ser treinado em dados de pontos-chave.
• Desempenho Unificado: O modelo supera consistentemente outros modelos de visão unificados (por exemplo, Unicorn, UNINEXT, MITS) e a tentativa anterior de rastreamento unificado (TAG), validando a eficácia da memória adaptativa à tarefa e da representação unificada.

5. Significado e Alegações

O artigo afirma que o SAM 2++ estabelece um framework de rastreamento unificado e robusto que preenche a lacuna entre paradigmas de rastreamento distintos. Seu significado reside em:

1. Unificação: Demonstra que tarefas de rastreamento com diferentes granularidades podem ser unificadas sob um único paradigma de correspondência de memória sem sacrificar o desempenho, desafiando a necessidade de designs específicos de tarefa.
2. Generalização: Ao treinar no diversificado conjunto de dados TAG e utilizar a memória adaptativa à tarefa, o modelo aprende representações robustas que generalizam entre tarefas, frequentemente superando modelos especializados treinados em dados específicos de tarefa.
3. Fornecimento de Recursos: A introdução do conjunto de dados TAG fornece um recurso crítico para pesquisas futuras em rastreamento unificado, oferecendo o primeiro benchmark em grande escala e multi-granularidade.
4. Utilidade Prática: Como um modelo de base, o SAM 2++ serve como uma ferramenta versátil tanto para aplicações de rastreamento quanto para anotação automatizada, reduzindo o custo de alternar entre diferentes granularidades de rastreamento.

Os autores reconhecem limitações, observando que a versão atual não suporta referências de linguagem ou áudio e que os parâmetros de memória desacoplados são supervisionados por tarefas únicas, limitando os benefícios de aprendizado multi-tarefa para esses componentes específicos. No entanto, o framework representa um passo significativo em direção a um modelo de base de rastreamento em vídeo de propósito geral.