SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking

Riepilogo Tecnico: SENTRY

Definizione del Problema
I sistemi di Visual Object Tracking (VOT) basati su architetture di memoria, in particolare quelli che sfruttano il Segment Anything Model 2 (SAM2), hanno dimostrato forti capacità nel mantenere la coerenza temporale. Tuttavia, gli autori identificano un modo critico di fallimento nei tracker basati su SAM2: la selezione della maschera basata solo sulla confidenza. Nel funzionamento standard di SAM2, la maschera con l'Intersection over Union (IoU) predetta più elevata viene selezionata e scritta nella banca di memoria senza verificare la sua coerenza temporale a breve termine.

Il paper sostiene che in condizioni difficili — nello specifico occlusione, movimento non lineare rapido e presenza di distrattori — i punteggi di confidenza elevati sono inaffidabili. Selezionare queste maschere basandosi esclusivamente sulla confidenza istantanea porta a inserimenti errati nella banca di memoria, che successivamente propagano errori e causano il drift (perdita dell'identità del target). Sebbene le estensioni esistenti tentino di mitigare il problema tramite il filtraggio del movimento o controlli sui distrattori, esse spesso si affidano a euristiche che falliscono in scene affollate o sotto traiettorie non lineari, e non verificano sistematicamente la coerenza temporale prima di impegnare un aggiornamento della memoria.

Metodologia: SENTRY
Per affrontare questo problema, gli autori propongono SENTRY (SAM2-Enhanced Neighbor-Aware and Temporally Reasoned memorY), un modulo training-free e plug-and-play che opera come un meccanismo di refine-before-write (perfezionamento prima della scrittura). SENTRY non modifica l'architettura del backbone o la struttura della memoria del tracker di base; invece, intercetta il processo decisionale dell'aggiornamento della memoria.

Il workflow principale di SENTRY prevede tre fasi:

1. Generazione delle Maschere Candidate:
   Inveve di fare affidamento su un singolo output del decoder, SENTRY aggrega un insieme diversificato di ipotesi per ogni frame:

   • Ipotesi del Decoder: Le tre maschere candidate dal decoder SAM2, filtrate per IoU e punteggi di occlusione.
   • Proposte AMG: Proposte target-agnostic dall'Automatic Mask Generation (AMG), filtrate per similarità del coseno rispetto a un template del primo frame per garantirne la rilevanza.
   • Prior di Kalman: Una maschera di fallback basata solo sul movimento, derivata da un filtro di Kalman a accelerazione costante, utilizzata principalmente durante occlusioni gravi quando i segnali di aspetto falliscono.
   • Filtraggio: Le ipotesi ridondanti vengono soppresse utilizzando Soft-NMS nello spazio dei bounding box per creare un set di candidati compatto e diversificato.

2. Ragionamento Ciclico Coerente e Consapevole dei Vicini (Neighbor-Aware):
   Ogni maschera candidata viene valutata per la plausibilità temporale a breve orizzonte prima di essere scritta in memoria:

   • Propagazione all'indietro (Backward Propagation): Ogni candidato viene utilizzato come prompt per ri-segmentare i $\tau$ frame precedenti (default $\tau=10$), generando una traccia retroattiva (backward tracklet).
   • Pool di Neighbor Tracklet: SENTRY mantiene un pool di "neighbor tracklets" che rappresentano i distrattori recenti (maschere che erano plausibili ma non selezionate nei passaggi precedenti).
   • Matching Ciclicamente Coerente: Le backward tracklets dei candidati vengono confrontate con la traiettoria del target allineata in avanti e con le neighbor tracklets. Utilizzando un algoritmo di matching bipartito (algoritmo di Hungarian), il sistema penalizza i candidati le cui traiettorie si allineano con i distrattori e favorisce quelli che mantengono la coerenza ciclica con il movimento recente del target.

3. Aggiornamento della Memoria:
   Il candidato con il più alto punteggio di coerenza temporale (similarità con la traiettoria del target) viene selezionato. Se nessun candidato soddisfa una soglia di affidabilità, il sistema ricorre al prior di Kalman. La maschera selezionata viene quindi scritta nella banca di memoria, sostituendo la selezione standard guidata dalla confidenza.

Contributi Chiave

1. Meccanismo Refine-Before-Write: L'introduzione di SENTRY, un modulo training-free che impone la coerenza temporale a breve orizzonte prima di qualsiasi aggiornamento della memoria nei tracker basati su SAM2. Sposta il paradigma dalla "selezione guidata dalla confidenza" alla "ammissione validata dalla coerenza".
2. Valutazione Unificata su Tutte le Scale: Il paper presenta la prima valutazione completa e riproducibile di cinque tracker open-source basati su SAM2 (SAM2, SAMURAI, DAM4SAM, SAMITE, HiM2SAM) su quattro scale di modello (T, S, B, L) e nove benchmark. Questo colma le lacune nelle segnalazioni precedenti e stabilisce baseline coerenti.
3. Prestazioni SOTA Zero-Shot: L'integrazione di SENTRY produce nuovi risultati state-of-the-art (SOTA) zero-shot su molteplici benchmark senza il retraining dei modelli base.

Risultati Sperimentali
SENTRY è stato integrato in cinque baseline ed è stato valutato su nove dataset: LaSOT, LaSOText, TNL2K, GOT-10k, TrackingNet, VOT20, VOT22, VOTS24 e DiDi.

• Guadagni di Performance: SENTRY fornisce miglioramenti costanti attraverso tutte le scale e i dataset.
  • LaSOT: SENTRY-D4S (SENTRY su DAM4SAM) ha ottenuto un guadagno dell'1,6% in Success (S) e dell'1,7% in Normalized Precision (NP) rispetto alla baseline.
  • LaSOText: SENTRY-D4S ha stabilito un nuovo SOTA, migliorando S del 1,5% e P del 2,2% rispetto a DAM4SAM.
  • TNL2K: SENTRY-SR (su SAMURAI) ha mostrato il miglioramento più drammatico, guadagnando il 17,8% in Success, grazie alla capacità di SENTRY di gestire movimenti non lineari dove il filtro di Kalman lineare di SAMURAI fallisce.
  • VOT/DiDi: Le varianti SENTRY hanno raggiunto nuovi punteggi SOTA su VOT20, VOT22, VOTS24 e DiDi, migliorando significativamente Robustness (Rob) e Accuracy (Acc) riducendo gli eventi di reset causati dal drift.
• Efficienza: Nonostante i passaggi di ragionamento aggiuntivi, SENTRY mantiene prestazioni in tempo reale. Su una GPU NVIDIA A100, la versione SAM2-L con SENTRY gira a 32,8 FPS (rispetto ai 44,0 FPS della baseline), incorrendo in un overhead di circa il 25%. L'impronta di memoria aumenta solo di 0,4–0,6 GB di VRAM.
• Studi di Ablazione: Gli autori dimostrano che ogni componente (ipotesi del decoder, proposte AMG, Soft-NMS, prior di Kalman e neighbor pool) contribuisce incrementalmente alle prestazioni. Il neighbor pool si è dimostrato critico per prevenire il drift in scene affollate, penalizzando le traiettorie allineate ai distrattori.

Significatività e Rivendicazioni
Il paper sostiene che SENTRY fornisca una soluzione unificata al problema del drift nel tracking aumentato dalla memoria, imponendo la validità temporale all'interfaccia di scrittura. Gli autori sottolineano che:

• Il miglioramento deriva da scritture in memoria verificate piuttosto che da specifici componenti interni di SAM2, suggerendo che l'approccio è generalizzabile ad altri tracker basati su memoria.
• La coerenza temporale non è trattata solo come un problema di predizione del frame corrente, ma come una decisione esplicita di ammissione alla memoria.
• Il metodo raggiunge robustezza senza retraining, cambiamenti architettonici o pesanti overhead computazionali, rendendolo un potenziamento pratico "plug-and-play" per i sistemi VOT esistenti.

I risultati suggeriscono che, per il tracking aumentato dalla memoria, l'affidabilità del meccanismo di aggiornamento della memoria sia un collo di bottiglia più significativo rispetto alla capacità del backbone o della banca di memoria stessa.