SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking

Resumo Técnico: SENTRY

Definição do Problema
Sistemas de Rastreamento de Objetos Visuais (VOT) baseados em arquiteturas de memória, particularmente aqueles que utilizam o Segment Anything Model 2 (SAM2), demonstraram capacidades robustas em manter a coerência temporal. No entanto, os autores identificam um modo de falha crítico nos rastreadores baseados em SAM2 existentes: a seleção de máscara baseada apenas em confiança. Na operação padrão do SAM2, a máscara com a maior Interseção sobre União (IoU) prevista é selecionada e escrita no banco de memória sem verificar sua consistência temporal de curto prazo.

O artigo argumenta que sob condições desafiadoras — especificamente oclusão, movimento não linear rápido e a presença de distratores — pontuações de confiança altas são pouco confiáveis. Selecionar essas máscaras baseando-se apenas na confiança instantânea leva a entradas incorretas no banco de memória, o que subsequentemente propaga erros e causa deriva (drift, perda da identidade do alvo). Embora extensões existentes tentem mitigar isso via filtragem de movimento ou verificações de distratores, elas frequentemente dependem de heurísticas que falham em cenas com muitos elementos ou sob trajetórias não lineares, e não verificam sistematicamente a consistência temporal antes de comprometer uma atualização de memória.

Metodologia: SENTRY
Para abordar isso, os autores propõem o SENTRY (SAM2-Enhanced Neighbor-Aware and Temporally Reasoned memorY), um módulo plug-and-play que não requer treinamento e opera como um mecanismo de refinamento antes da escrita (refine-before-write). O SENTRY não modifica a arquitetura do backbone ou a estrutura de memória do rastreador base; em vez disso, ele intercepta o processo de decisão de atualização de memória.

O fluxo de trabalho central do SENTRY envolve três estágios:

1. Geração de Máscaras Candidatas:
   Em vez de depender de uma única saída do decodificador, o SENTRY agrega um conjunto diversificado de hipóteses por quadro:

   • Hipóteses do Decodificador: As três máscaras candidatas do decodificador SAM2, filtradas por IoU e pontuações de oclusão.
   • Propostas AMG: Propostas agnósticas ao alvo provenientes de Geração Automática de Máscaras (AMG), filtradas por similaridade de cosseno com um modelo do primeiro quadro para garantir relevância.
   • Prior de Kalman: Uma máscara de contingência baseada apenas em movimento, derivada de um filtro de Kalman de aceleração constante, usada principalmente durante oclusões severas quando as pistas de aparência falham.
   • Filtragem: Hipóteses redundantes são suprimidas usando Soft-NMS no espaço de caixas delimitadoras (bounding boxes) para criar um conjunto de candidatos compacto e diversificado.

2. Raciocínio de Consistência de Ciclo Consciente de Vizinhos:
   Cada máscara candidata é avaliada quanto à plausibilidade temporal de curto horizonte antes de ser escrita na memória:

   • Propagação para Trás (Backward Propagation): Cada candidata é usada como um prompt para re-segmentar os $\tau$ quadros anteriores (padrão $\tau=10$), gerando um tracklet reverso.
   • Pool de Tracklets Vizinhos: O SENTRY mantém um pool de "tracklets vizinhos" que representam distratores recentes (máscaras que eram plausíveis, mas não foram selecionadas em etapas anteriores).
   • Correspondência de Consistência de Ciclo: Os tracklets reversos das candidatas são comparados com a trajetória do alvo alinhada para frente e com os tracklets vizinhos. Usando um algoritmo de correspondência bipartida (algoritmo de Hungarian), o sistema penaliza candidatas cujas trajetórias se alinham com distratores e favorece aquelas que mantêm a consistência de ciclo com o movimento recente do alvo.

3. Atualização de Memória:
   A candidata com a maior pontuação de consistência temporal (similaridade com a trajetória do alvo) é selecionada. Se nenhuma candidata atingir um limiar de confiabilidade, o sistema recorre ao prior de Kalman. A máscara selecionada é então escrita no banco de memória, substituindo a seleção padrão baseada em confiança.

Principais Contribuições

1. Mecanismo de Refinamento Antes da Escrita: A introdução do SENTRY, um módulo que não requer treinamento que impõe consistência temporal de curto horizonte antes de qualquer atualização de memória em rastreadores baseados em SAM2. Ele altera o paradigma de "seleção baseada em confiança" para "admissão validada por consistência".
2. Avaliação Unificada em Todas as Escalas: O artigo apresenta a primeira reavaliação abrangente e reproduzível de cinco rastreadores baseados em SAM2 de código aberto (SAM2, SAMURAI, DAM4SAM, SAMITE, HiM2SAM) através de quatro escalas de modelo (T, S, B, L) e nove benchmarks. Isso preenche lacunas em relatórios anteriores e estabelece bases consistentes.
3. Desempenho SOTA Zero-Shot: A integração do SENTRY produz novos resultados de estado da arte (SOTA) zero-shot em múltiplos benchmarks sem o retreinamento dos modelos base.

Resultados Experimentais
O SENTRY foi integrado a cinco modelos base e avaliado em nove conjuntos de dados: LaSOT, LaSOText, TNL2K, GOT-10k, TrackingNet, VOT20, VOT22, VOTS24 e DiDi.

• Ganhos de Desempenho: O SENTRY entrega melhorias consistentes em todas as escalas e conjuntos de dados.
  • LaSOT: O SENTRY-D4S (SENTRY sobre o DAM4SAM) alcançou um ganho de 1,6% em Sucesso (S) e 1,7% em Precisão Normalizada (NP) sobre o modelo base.
  • LaSOText: O SENTRY-D4S estabeleceu um novo SOTA, melhorando S em 1,5% e P em 2,2% sobre o DAM4SAM.
  • TNL2K: O SENTRY-SR (sobre o SAMURAI) mostrou a melhoria mais dramática, ganhando 17,8% em Sucesso, atribuído à capacidade do SENTRY de lidar com movimentos não lineares onde o filtro de Kalman linear do SAMURAI falha.
  • VOT/DiDi: As variantes do SENTRY alcançaram novos escores SOTA em VOT20, VOT22, VOTS24 e DiDi, melhorando significativamente a Robustez (Rob) e a Acurácia (Acc) ao reduzir eventos de reinicialização causados por deriva.
• Eficiência: Apesar das etapas de raciocínio adicionais, o SENTRY mantém o desempenho em tempo real. Em uma GPU NVIDIA A100, a versão SAM2-L com SENTRY roda a 32,8 FPS (comparado a 44,0 FPS do modelo base), incorrendo em um overhead de apenas ~25%. A pegada de memória aumenta apenas 0,4–0,6 GB de VRAM.
• Estudos de Ablação: Os autores demonstram que cada componente (hipóteses do decodificador, propostas AMG, Soft-NMS, prior de Kalman e o pool de vizinhos) contribui incrementalmente para o desempenho. O pool de vizinhos mostra-se crítico para prevenir a deriva em cenas povoadas, ao penalizar trajetórias alinhadas com distratores.

Significância e Alegações
O artigo alega que o SENTRY fornece uma solução unificada para o problema da deriva em rastreamento com memória aumentada, ao impor validade temporal na interface de escrita. Os autores enfatizam que:

• A melhoria provém de escritas de memória verificadas em vez de componentes internos específicos do SAM2, sugerindo que a abordagem é generalizável para outros rastreadores baseados em memória.
• A consistência temporal é tratada não apenas como um problema de predição de quadro atual, mas como uma decisão explícita de admissão de memória.
• O método alcança robustez sem necessidade de retreinamento, mudanças arquiteturais ou alto custo computacional, tornando-o um aprimoramento prático do tipo "plug-and-play" para sistemas de VOT existentes.

Os resultados sugerem que, para o rastreamento com memória aumentada, a confiabilidade do mecanismo de atualização de memória é um gargalo mais significativo do que a capacidade do backbone ou do próprio banco de memória.