💻 computer science

SAM 2++: Tracking Anything at Any Granularity

Il documento introduce SAM 2++, un framework unificato per il tracciamento video che integra la codifica dei prompt, la decodifica delle uscite e la rappresentazione della memoria per gestire diverse granularità di target (maschere, riquadri e punti) all'interno di un unico modello, accompagnato dalla creazione del primo dataset su larga scala a granularità multipla per ottenere prestazioni all'avanguardia in vari compiti di tracciamento.

Autori originali: Jiaming Zhang, Cheng Liang, Yichun Yang, Chenkai Zeng, Yutao Cui, Xinwen Zhang, Xin Zhou, Kai Ma, Gangshan Wu, Limin Wang

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiaming Zhang, Cheng Liang, Yichun Yang, Chenkai Zeng, Yutao Cui, Xinwen Zhang, Xin Zhou, Kai Ma, Gangshan Wu, Limin Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robot molto intelligente il cui compito è guardare video e tenere d'occhio cose specifiche. Prima di questo nuovo studio, se volevi che il robot tracciasse un'auto in movimento, dovevi insegnargli un metodo specifico. Se volevi che tracciasse il viso di una persona, dovevi insegnargli un metodo completamente diverso. Se volevi che tracciasse un minuscolo puntino su una palla, ti serviva un terzo insegnante, totalmente separato.

I ricercatori dietro SAM 2++ si sono posti una domanda semplice: Perché abbiamo bisogno di tre insegnanti diversi per lo stesso lavoro? Si sono resi conto che, sia che tu stia tracciando un'auto intera (un riquadro), il corpo di una persona (una maschera) o un singolo puntino (un punto), il robot sta svolgendo esattamente lo stesso lavoro mentale: "Ricorda com'era fatto questo oggetto un secondo fa e ritrovalo ora".

Ecco come hanno costruito un "Tracciatore Universale" che fa tutto, spiegato in modo semplice:

1. Il Problema: Troppi Strumenti Specializzati

Pensa al vecchio metodo come ad avere un coltellino svizzero in cui devi sostituire l'intero manico solo per usare il cacciavite invece che le forbici. I tracciatori video esistenti erano costruiti per un solo compito.

I Tracciatori a Riquadro sapevano solo disegnare un rettangolo attorno a un oggetto.
I Tracciatori a Maschera sapevano solo colorare la forma esatta di un oggetto.
I Tracciatori a Punto sapevano solo seguire un singolo puntino.

Ciò significava che il robot doveva portare tre "cervelli" diversi, il che era uno spreco e rendeva difficile imparare da tutti i tipi di video contemporaneamente.

2. La Soluzione: Un Cervello, Tre Lingue

Il team ha creato SAM 2++, che è come un robot poliglotta (qualcuno che parla molte lingue). Ha un unico cervello principale, ma può comprendere tre diverse "lingue" di istruzioni:

La Lingua del "Riquadro": "Ecco un rettangolo attorno all'auto."
La Lingua della "Maschera": "Ecco il contorno esatto della persona."
La Lingua del "Punto": "Ecco un minuscolo puntino sulla palla."

Il Traduttore (Prompt Specifici per Attività):
Quando dai al robot un riquadro, una maschera o un punto, un traduttore speciale converte immediatamente quell'istruzione in un "pensiero" universale che il cervello del robot comprende. In questo modo, al robot non importa se gli hai dato un riquadro o un puntino; sa solo: "Ok, devo tracciare questo."

L'Output Universale (Decodificatore Unificato):
Una volta che il robot trova l'oggetto, non si limita a sputare fuori un riquadro o un punto. Disegna prima un'ombra perfetta (una maschera) dell'oggetto. Poi, se hai chiesto un riquadro, misura rapidamente l'ombra per disegnare un rettangolo. Se hai chiesto un punto, trova il centro dell'ombra. Questo mantiene il processo semplice e coerente.

3. La Memoria: Il "Quaderno Intelligente"

La parte più difficile del tracciamento video è ricordare com'era fatto l'oggetto quando viene nascosto dietro un albero o si muove velocemente. Il robot utilizza un "Quaderno di Memoria" per archiviare i fotogrammi passati.

I ricercatori hanno notato che se costringevano il robot a usare le stesse identiche pagine del quaderno per riquadri, maschere e punti, il robot si confondeva. Un riquadro ha bisogno di uno schizzo approssimativo; una maschera ha bisogno di un disegno dettagliato; un punto ha bisogno di una coordinata precisa.

La Soluzione (Memoria Adattiva all'Attività):
Invece di un quaderno rigido, hanno dato al robot un quaderno intelligente e flessibile.

Quando traccia un riquadro, scrive in uno stile da "schizzo approssimativo".
Quando traccia una maschera, scrive in uno stile da "arte dettagliata".
Quando traccia un punto, scrive in uno stile da "matematica precisa".

Questo permette al robot di mantenere un unico cervello principale ma cambiare il suo stile di scrittura in base al lavoro, prevenendo confusione e rendendolo molto più bravo a ricordare le cose.

4. Il Campo di Addestramento: Il Dataset "TAG"

Per insegnare a questo robot, non potevano usare solo vecchi libri di testo perché contenevano solo un tipo di esercizio. Hanno costruito una nuova, enorme biblioteca chiamata TAG (Tracking-Any-Granularity).

Come l'hanno costruita: Hanno usato un sistema intelligente "human-in-the-loop" (con intervento umano). Gli umani etichettavano alcuni fotogrammi (come l'inizio e la fine di una clip), e il robot riempiva il resto. Poi, gli umani controllavano il lavoro del robot e correggevano gli errori.
Perché è speciale: Ogni singolo video in questa biblioteca ha tre etichette per lo stesso oggetto: un riquadro, una maschera e un punto. Questo ha permesso al robot di imparare tutte e tre le abilità simultaneamente, rendendolo un vero maestro del tracciamento.

Il Risultato

Quando hanno testato questo nuovo robot, non si è limitato a fare "bene" in tutti e tre i compiti; ha battuto i robot specializzati che erano stati addestrati per anni a fare solo un lavoro.

Ha tracciato i riquadri meglio degli esperti di riquadri.
Ha tracciato le maschere meglio degli esperti di maschere.
Ha tracciato i punti meglio degli esperti di punti.

In sintesi: SAM 2++ dimostra che non serve uno strumento diverso per ogni lavoro. Con il giusto design, un unico sistema intelligente e flessibile può gestire il tracciamento di qualsiasi cosa, ovunque, a qualsiasi livello di dettaglio, semplicemente parlando la "lingua" giusta con esso.

Riepilogo Tecnico: SAM 2++: Tracciamento di Qualsiasi Oggetto a Qualsiasi Granularità

1. Enunciato del Problema

Il tracciamento video si è storicamente frammentato in sottocompiti indipendenti basati sulla granularità dell'obiettivo: Tracciamento di Singolo Oggetto (SOT) mediante riquadri di delimitazione, Segmentazione di Oggetti Video (VOS) mediante maschere a livello di pixel e Tracciamento di Punti (PT) mediante punti chiave a granularità fine. Sebbene questi compiti condividano un obiettivo fondamentale – la stima degli stati dell'obiettivo nel tempo – hanno portato a modelli specializzati con design ridondanti e generalizzazione limitata. I modelli visivi unificati esistenti spesso condividono i backbones ma mantengono interfacce specifiche per il compito o ignorano granularità specifiche (come il tracciamento di punti), fallendo nel stabilire una rappresentazione veramente unificata degli stati di tracciamento. Inoltre, la mancanza di un dataset che fornisca annotazioni simultanee per maschere, riquadri e punti ostacola l'addestramento e la valutazione di framework di tracciamento unificati.

2. Metodologia: SAM 2++

Gli autori propongono SAM 2++, un framework unificato che estende il Segment Anything Model 2 (SAM 2) per tracciare obiettivi a qualsiasi granularità (maschere, riquadri, punti) attraverso un design integrato di codifica dei prompt, decodifica dell'output e rappresentazione della memoria.

2.1 Input e Output Unificati per il Compito

Prompt Specifici per il Compito: Per gestire granularità di input incoerenti, il framework introduce prompt specifici mantenendo il codificatore di prompt originale di SAM 2.
- Maschera: Utilizza maschere binarie ( $I_{mask}$ ).
- Riquadro: Utilizza le coordinate del riquadro di delimitazione ( $I_{box}$ ).
- Punto: Utilizza le coordinate del punto ( $I_{point}$ ) combinate con una maschera Gaussiana ( $G_{point}$ ). Questa maschera Gaussiana evidenzia il punto in una forma coerente con l'output del decodificatore e l'input del codificatore della memoria, sostituendo le maschere binarie naive per una migliore rappresentazione. Il raggio e il sigma di questa Gaussiana vengono gradualmente ridotti durante l'addestramento per facilitare la convergenza.
Decodificatore Unificato: Estendendo il Decodificatore di Maschere di SAM 2, questo componente produce un pre-output unificato in forma di maschera per tutti i compiti.
- SOT: Viene aggiunto un Testa Basata sugli Angoli (CornHead) per ottimizzare esplicitamente la posizione e la scala del riquadro di delimitazione dall'output della maschera, evitando le imprecisioni della semplice derivazione del riquadro esterno.
- PT: Le coordinate del punto sono derivate dall'output della maschera utilizzando un'operazione soft-argmax durante l'addestramento (per garantire il flusso del gradiente) e un argmax standard durante l'inferenza. Questo allinea la previsione del punto con il prompt Gaussiano e la fonte della memoria.

2.2 Meccanismo di Memoria Adattivo al Compito

L'innovazione principale affronta l'osservazione che diverse granularità di tracciamento hanno requisiti di memoria distinti. La condivisione completa dei parametri nei moduli di memoria porta a un degrado delle prestazioni perché una singola rappresentazione della memoria non può soddisfare simultaneamente le esigenze di segmentazione precisa delle maschere, le esigenze di localizzazione grossolana dei riquadri e la natura specifica Gaussiana dei punti.

Disaccoppiamento: Il framework disaccoppia i componenti della memoria mantenendo una pipeline di tracciamento condivisa.
- Codificatore di Memoria: Ogni compito (maschera, riquadro, punto) ha la propria copia indipendente del Codificatore di Memoria convoluzionale.
- Attenzione di Memoria: Ogni compito è dotato di un modulo indipendente LoRA (Low-Rank Adaptation) per l'Attenzione di Memoria basata su transformer.
Risultato: Questo design permette al modello di mantenere una struttura di rappresentazione della memoria condivisa adattandosi alla semantica dello stato specifica di ogni granularità, prevenendo interferenze e permettendo una promozione reciproca tra i compiti.

2.3 Strategia di Addestramento

Il modello è addestrato congiuntamente su tre compiti utilizzando una strategia di campionamento alternato (probabilità 1:4:5 per maschera:riquadro:punto). Il processo di addestramento incorpora:

Prompt Interattivi: Per i compiti di maschera e riquadro, il modello supporta sia input ground-truth che input rumorosi/interattivi (ad es. riquadri rumorosi, clic positivi).
Frame Correttivi: Per scenari interattivi, il modello campiona punti correttivi dalle regioni di falsi positivi/negativi per affinare le previsioni in modo iterativo.
Funzioni di Perdita: Una combinazione di perdite Focal e Dice per le maschere, perdite IoU e L1 per i riquadri (tramite la testa degli angoli) e perdita di distanza L1 per i punti. La previsione dell'occlusione è supervisionata tramite cross-entropy indipendentemente dalla visibilità dell'oggetto.

3. Contributi Chiave

3.1 Il Framework SAM 2++

Il documento propone il primo framework unificato capace di tracciare obiettivi a qualsiasi granularità (maschere, riquadri, punti) all'interno di una singola architettura. Raggiunge questo obiettivo attraverso:

Prompt specifici per il compito che mappano input diversi in embedding generali.
Un Decodificatore Unificato che standardizza gli output.
Un meccanismo di Memoria Adattivo al Compito che bilancia la condivisione dei parametri con la semantica dello stato specifica per compito.

3.2 Dataset TAG (Tracking-Any-Granularity)

Per supportare l'addestramento e la valutazione unificati, gli autori hanno costruito TAG, un dataset di tracciamento video su larga scala contenente 6.000 video con 2,2 milioni di frame.

Annotazioni: Fornisce annotazioni di alta qualità per tutte e tre le granularità (maschere di segmentazione, riquadri di delimitazione e punti chiave) per le stesse sequenze video.
Motore Dati: Il dataset è stato creato utilizzando un motore dati a fasi che combina annotazione manuale e completamento assistito dal modello.
- Fase 1: Annotazione manuale di ogni frame (1.000 video).
- Fase 2 & 3: Annotazione manuale di frame sparsi (ogni 10° e 20°) con completamento in loop del modello per i frame intermedi, utilizzando strategie di tracciamento inverso e fusione per garantire la qualità.
Ambito: Il dataset copre scene diverse, risoluzioni e attributi impegnativi come sfocatura da movimento, occlusione e deformazione.

4. Risultati Sperimentali

Esperimenti completi su molteplici benchmark dimostrano che SAM 2++ stabilisce un nuovo stato dell'arte (SOTA) su tutti e tre i compiti:

Segmentazione di Oggetti Video (VOS): Supera modelli specializzati (es. XMem, DEVA, Cutie) su benchmark inclusi YouTubeVOS, MOSE, LVOS-v2 e BURST.
Tracciamento di Singolo Oggetto (SOT): Supera tracker dedicati (es. OSTrack, ARTrack, HIPTrack) su TrackingNet, GOT-10k e VastTrack. Notevolmente, lo ottiene come tracker unificato end-to-end senza le strategie di pre-cropping comuni nell'SOT.
Tracciamento di Punti: Supera sia tracker offline che online modificati (es. CoTracker3, TAPTR) su BADJA, Perception Test e TAP-Vid. Dimostra una forte generalizzazione al tracciamento di punti arbitrari nonostante sia addestrato su dati di punti chiave.
Prestazioni Unificate: Il modello supera costantemente altri modelli visivi unificati (es. Unicorn, UNINEXT, MITS) e il precedente tentativo di tracciamento unificato (TAG), validando l'efficacia della memoria adattiva al compito e della rappresentazione unificata.

5. Significato e Affermazioni

Il documento afferma che SAM 2++ stabilisce un framework di tracciamento unificato e robusto che colma il divario tra paradigmi di tracciamento disparati. Il suo significato risiede in:

Unificazione: Dimostra che i compiti di tracciamento con diverse granularità possono essere unificati sotto un singolo paradigma di matching della memoria senza sacrificare le prestazioni, sfidando la necessità di design specifici per il compito.
Generalizzazione: Addestrando sul diversificato dataset TAG e utilizzando la memoria adattiva al compito, il modello apprende rappresentazioni robuste che generalizzano tra i compiti, spesso superando modelli specializzati addestrati su dati specifici per il compito.
Fornitura di Risorse: L'introduzione del dataset TAG fornisce una risorsa critica per la futura ricerca nel tracciamento unificato, offrendo il primo benchmark su larga scala a multi-granularità.
Utilità Pratica: Come modello fondazionale, SAM 2++ funge da strumento versatile sia per applicazioni di tracciamento che per annotazione automatizzata, riducendo i costi di passaggio tra diverse granularità di tracciamento.

Gli autori riconoscono le limitazioni, notando che la versione corrente non supporta riferimenti linguistici o audio e che i parametri della memoria disaccoppiata sono supervisionati da singoli compiti, limitando i benefici dell'apprendimento multi-compito per quei componenti specifici. Tuttavia, il framework rappresenta un passo significativo verso un modello fondazionale per il tracciamento video a scopo generale.