💻 computer science

SAM 2++: Tracking Anything at Any Granularity

Het artikel introduceert SAM 2++, een geïntegreerd videotrackingkader dat promptcodering, outputdecoding en memoryrepresentatie combineert om diverse doelgranulariteiten (maskers, kaders en punten) binnen één enkel model te verwerken, gepaard gaande met de creatie van de eerste grootschalige multi-granulariteitsdataset om state-of-the-art prestaties te bereiken op diverse trackingtaken.

Oorspronkelijke auteurs: Jiaming Zhang, Cheng Liang, Yichun Yang, Chenkai Zeng, Yutao Cui, Xinwen Zhang, Xin Zhou, Kai Ma, Gangshan Wu, Limin Wang

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaming Zhang, Cheng Liang, Yichun Yang, Chenkai Zeng, Yutao Cui, Xinwen Zhang, Xin Zhou, Kai Ma, Gangshan Wu, Limin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme robotassistent voor wiens taak het is om video's te bekijken en specifieke dingen in de gaten te houden. Voor dit nieuwe artikel, als je wilde dat de robot een bewegend voertuig volgde, moest je het op één specifieke manier leren. Als je wilde dat het het gezicht van een persoon volgde, moest je het op een heel andere manier leren. Als je wilde dat het een klein stipje op een bal volgde, had je een derde, volledig aparte leraar nodig.

De onderzoekers achter SAM 2++ stelden een simpele vraag: Waarom hebben we drie verschillende leraren nodig voor dezelfde taak? Ze realiseerden zich dat, of je nu een heel voertuig volgt (een omlijnd vlak), het lichaam van een persoon (een masker) of een enkel stipje (een punt), de robot precies hetzelfde mentale werk verricht: "Onthoud hoe dit ding er een seconde geleden uitzag, en vind het nu weer."

Hier is hoe ze een "Universele Tracker" bouwden die alles doet, eenvoudig uitgelegd:

1. Het Probleem: Te Veel Gespecialiseerde Hulpmiddelen

Denk aan de oude manier als het hebben van een Zwitsers zakmes waarbij je het hele handvat moet vervangen om de schroevendraaier te gebruiken in plaats van de schaar. Bestaande videotrackers waren gebouwd voor slechts één taak.

Omlijnde trackers wisten alleen hoe ze een rechthoek om een object moesten tekenen.
Maskertrackers wisten alleen hoe ze de exacte vorm van een object moesten inkleuren.
Punttrackers wisten alleen hoe ze een enkel stipje moesten volgen.

Dit betekende dat de robot drie verschillende "hersenen" moest dragen, wat verspillend was en het moeilijk maakte om tegelijkertijd van alle soorten video's te leren.

2. De Oplossing: Één Brein, Drie Talen

Het team creëerde SAM 2++, wat een polyglot-robot is (iemand die vele talen spreekt). Het heeft één hoofdheren, maar het kan drie verschillende "talen" van instructies begrijpen:

De "Omlijnd"-taal: "Hier is een rechthoek om het voertuig."
De "Masker"-taal: "Hier is de exacte omtrek van de persoon."
De "Punt"-taal: "Hier is een klein stipje op de bal."

De Vertaler (Opdracht-specifieke prompts):
Wanneer je de robot een omlijnd vlak, een masker of een punt geeft, zet een speciale vertaler die instructie onmiddellijk om in een universeel "gedachte" dat het brein van de robot begrijpt. Op deze manier maakt het de robot niet uit of je het een omlijnd vlak of een stipje gaf; het weet gewoon: "Oké, ik moet dit volgen."

De Universele Uitvoer (Gecombineerde decoder):
Zodra de robot het object heeft gevonden, spitst het niet zomaar een omlijnd vlak of een stipje uit. Het tekent eerst een perfecte "schaduw" (een masker) van het object. Vervolgens, als je om een omlijnd vlak vroeg, meet het de schaduw snel om een omlijnd vlak te tekenen. Als je om een stipje vroeg, vindt het het midden van de schaduw. Dit houdt het proces eenvoudig en consistent.

3. Het Geheugen: Het "Slimme Notitieboek"

Het moeilijkste deel van videotracken is onthouden hoe het object eruitzag wanneer het achter een boom verdwijnt of snel beweegt. De robot gebruikt een "Geheugennotitieboek" om vorige frames op te slaan.

De onderzoekers merkten op dat als ze de robot dwongen om exact dezelfde notitieboekpagina's te gebruiken voor omlijnde vlakken, maskers en punten, de robot in de war raakte. Een omlijnd vlak heeft een ruwe schets nodig; een masker heeft een gedetailleerde tekening nodig; een punt heeft een precieze coördinaat nodig.

De Oplossing (Taak-adaptief geheugen):
In plaats van één stijf notitieboek, gaven ze de robot een slim, flexibel notitieboek.

Bij het volgen van een omlijnd vlak schrijft het in een "ruwe schets"-stijl.
Bij het volgen van een masker schrijft het in een "gedetailleerde kunst"-stijl.
Bij het volgen van een punt schrijft het in een "precieze wiskunde"-stijl.

Dit stelt de robot in staat om één hoofdheren te behouden, maar zijn schrijfstijl te wisselen afhankelijk van de taak, wat verwarring voorkomt en het veel beter maakt in het onthouden van dingen.

4. De Oefenplaats: De "TAG"-dataset

Om deze robot te leren, konden ze niet zomaar oude leerboeken gebruiken, omdat die slechts één type oefening bevatten. Ze bouwden een gloednieuwe, enorme bibliotheek genaamd TAG (Tracking-Any-Granularity).

Hoe ze het bouwden: Ze gebruikten een slim "mens-in-de-lus"-systeem. Mensen labelden een paar frames (zoals het begin en einde van een clip), en de robot vulde de rest in. Vervolgens controleerden mensen het werk van de robot en corrigeerden fouten.
Waarom het speciaal is: Elke video in deze bibliotheek heeft drie labels voor hetzelfde object: een omlijnd vlak, een masker en een punt. Dit stelde de robot in staat om alle drie de vaardigheden tegelijkertijd te leren, waardoor het een ware meester in tracken werd.

Het Resultaat

Toen ze deze nieuwe robot testten, deed het niet alleen "goed" op alle drie de taken; het versloeg de gespecialiseerde robots die jarenlang waren getraind om alleen één taak te doen.

Het volgde omlijnde vlakken beter dan omlijnde experts.
Het volgde maskers beter dan maskerexperts.
Het volgde punten beter dan puntexperts.

Kortom: SAM 2++ bewijst dat je niet een ander hulpmiddel nodig hebt voor elke taak. Met het juiste ontwerp kan één slim, flexibel systeem tracken van alles, overal en op elk detailniveau, gewoon door de juiste "taal" tegen het te spreken.

Technische Samenvatting: SAM 2++: Het volgen van alles op elke granulariteit

1. Probleemstelling

Videotracking is historisch gefragmenteerd in onafhankelijke subtaken gebaseerd op de granulariteit van het doel: Single Object Tracking (SOT) met behulp van omhullende rechthoeken (bounding boxes), Video Object Segmentation (VOS) met pixel-niveau maskers, en Point Tracking (PT) met fijnkorrelige sleutelpunten. Hoewel deze taken een gemeenschappelijk kerndoel delen – het schatten van doelstaten in de tijd – hebben ze geleid tot gespecialiseerde modellen met redundante ontwerpen en beperkte generalisatie. Bestaande geünificeerde visiemodellen delen vaak backbones, maar behouden taakspecifieke interfaces of negeren specifieke granulariteiten (zoals punt-tracking), waardoor ze falen in het vestigen van een werkelijk geünificeerde representatie van trackingstaten. Bovendien hindert het ontbreken van een dataset die gelijktijdige annotaties voor maskers, rechthoeken en punten biedt, de training en evaluatie van geünificeerde trackingkaders.

2. Methodologie: SAM 2++

De auteurs stellen SAM 2++ voor, een geünificeerd kader dat het Segment Anything Model 2 (SAM 2) uitbreidt om doelen op elke granulariteit (maskers, rechthoeken, punten) te volgen via een geïntegreerd ontwerp van promptcodering, outputdecodering en geheugenvoorstelling.

2.1 Geünificeerde Taakinput en Output

Taakspecifieke Prompts: Om inconsistenties in inputgranulariteit te hanteren, introduceert het kader specifieke prompts terwijl de originele SAM 2 promptencoder behouden blijft.
- Masker: Gebruikt binaire maskers ( $I_{mask}$ ).
- Rechthoek: Gebruikt coördinaten van omhullende rechthoeken ( $I_{box}$ ).
- Punt: Gebruikt puntcoördinaten ( $I_{point}$ ) gecombineerd met een Gaussisch masker ( $G_{point}$ ). Dit Gaussische masker benadrukt het punt in een vorm die consistent is met de output van de decoder en de input van de geheugenencoder, en vervangt naïeve binaire maskers voor een betere representatie. De straal en sigma van dit Gaussische masker worden tijdens de training geleidelijk verkleind om convergentie te faciliteren.
Geünificeerde Decoder: Deze component, een uitbreiding van de SAM 2 Maskerdecoder, produceert een geünificeerde masker-vormige voor-output voor alle taken.
- SOT: Een Corner-based Head (CornHead) wordt toegevoegd om de positie en schaal van de omhullende rechthoek expliciet te optimaliseren vanuit de maskeropoutput, waardoor de onnauwkeurigheden van eenvoudige afleiding van de buitenste rechthoek worden vermeden.
- PT: Puntcoördinaten worden afgeleid uit de maskeropoutput met behulp van een soft-argmax operatie tijdens de training (om gradiëntstroom te waarborgen) en een standaard argmax tijdens inferentie. Dit brengt de puntvoorspelling in lijn met de Gaussische prompt en de geheugenbron.

2.2 Taakadaptief Geheugenmechanisme

De kerninnovatie adresseert de observatie dat verschillende trackinggranulariteiten verschillende geheugeneisen hebben. Volledige parameterdeling in geheugenmodules leidt tot prestatiedegradatie omdat één enkele geheugenrepresentatie niet gelijktijdig kan voldoen aan de precieze segmentatiebehoeften van maskers, de grove localisatiebehoeften van rechthoeken en het specifieke Gaussische karakter van punten.

Ontkoppeling: Het kader ontkoppelt geheugencomponenten terwijl een gedeelde trackingpijplijn behouden blijft.
- Geheugenencoder: Elke taak (masker, rechthoek, punt) heeft zijn eigen onafhankelijke kopie van de convolutieve Geheugenencoder.
- Geheugenattentie: Elke taak is uitgerust met een onafhankelijke LoRA (Low-Rank Adaptation) module voor de transformer-gebaseerde Geheugenattentie.
Resultaat: Dit ontwerp stelt het model in staat een gedeelde geheugenrepresentatiestructuur te behouden terwijl het zich aanpast aan de specifieke statsemantiek van elke granulariteit, waardoor interferentie wordt voorkomen en wederzijdse promotie tussen taken mogelijk wordt.

2.3 Trainingsstrategie

Het model wordt gezamenlijk getraind op drie taken met behulp van een afwisselende bemonsteringsstrategie (kansen 1:4:5 voor masker:rechthoek:punt). Het trainingsproces omvat:

Interactieve Prompts: Voor masker- en rechthoektaken ondersteunt het model zowel ground-truth als ruisbeheerde/interactieve inputs (bijv. ruisachtige rechthoeken, positieve klikken).
Correctieve Frames: Voor interactieve scenario's bemonstert het model correctieve punten uit false positive/negative gebieden om voorspellingen iteratief te verfijnen.
Verliesfuncties: Een combinatie van Focal- en Dice-verlies voor maskers, IoU- en L1-verlies voor rechthoeken (via de corner head), en L1-afstandsverlies voor punten. Occlusievoorspelling wordt gesuperviseerd via cross-entropy, ongeacht de zichtbaarheid van het object.

3. Belangrijkste Bijdragen

3.1 Het SAM 2++ Kader

Het artikel stelt het eerste geünificeerde kader voor dat in staat is doelen op elke granulariteit (maskers, rechthoeken, punten) binnen één architectuur te volgen. Dit wordt bereikt door:

Taakspecifieke prompts die diverse inputs afbeelden op algemene embeddings.
Een Geünificeerde Decoder die outputs standaardiseert.
Een Taakadaptief Geheugenmechanisme dat parameterdeling afweegt tegen taakspecifieke statsemantiek.

3.2 Tracking-Any-Granularity (TAG) Dataset

Om geünificeerde training en evaluatie te ondersteunen, hebben de auteurs TAG opgebouwd, een grootschalige videotrackingdataset met 6.000 video's en 2,2 miljoen frames.

Annotaties: Het biedt hoogwaardige annotaties voor alle drie granulariteiten (segmentatiemaskers, omhullende rechthoeken en sleutelpunten) voor dezelfde videosequenties.
Data-engine: De dataset is gecreëerd met behulp van een gefaseerde data-engine die handmatige annotatie en model-ondersteunde voltooiing combineert.
- Fase 1: Handmatige annotatie van elk frame (1.000 video's).
- Fase 2 & 3: Handmatige annotatie van spaarzame frames (elke 10e en 20e) met model-in-the-loop voltooiing voor tussenliggende frames, waarbij achterwaartse tracking en fusiestrategieën worden gebruikt om kwaliteit te waarborgen.
Bereik: De dataset omvat diverse scènes, resoluties en uitdagende attributen zoals bewegingsonscherpte, occlusie en vervorming.

4. Experimentele Resultaten

Uitgebreide experimenten over meerdere benchmarks tonen aan dat SAM 2++ een nieuwe state-of-the-art (SOTA) vestigt voor alle drie de taken:

Video Object Segmentation (VOS): Biedt betere prestaties dan gespecialiseerde modellen (bijv. XMem, DEVA, Cutie) op benchmarks waaronder YouTubeVOS, MOSE, LVOS-v2 en BURST.
Single Object Tracking (SOT): Overschrijdt toewijde trackers (bijv. OSTrack, ARTrack, HIPTrack) op TrackingNet, GOT-10k en VastTrack. Opmerkelijk is dat dit wordt bereikt als een end-to-end geünificeerde tracker zonder de voorafgaande bijsnijstrategieën (pre-cropping) die gebruikelijk zijn in SOT.
Point Tracking: Biedt betere prestaties dan zowel offline als aangepaste online trackers (bijv. CoTracker3, TAPTR) op BADJA, Perception Test en TAP-Vid. Het toont sterke generalisatie voor willekeurige punt-tracking ondanks training op sleutelpuntgegevens.
Geünificeerde Prestaties: Het model presteert consistent beter dan andere geünificeerde visiemodellen (bijv. Unicorn, UNINEXT, MITS) en de vorige geünificeerde trackingpoging (TAG), wat de effectiviteit van het taakadaptieve geheugen en de geünificeerde representatie bevestigt.

5. Betekenis en Beweringen

Het artikel beweert dat SAM 2++ een geünificeerd en robuust trackingkader vestigt dat de kloof tussen uiteenlopende trackingparadigma's overbrugt. De betekenis hiervan ligt in:

Unificatie: Het toont aan dat trackingtaken met verschillende granulariteiten kunnen worden geünificeerd onder één geheugenmatchingparadigma zonder prestaties op te offeren, wat de noodzaak van taakspecifiek ontwerp uitdaagt.
Generalisatie: Door te trainen op de diverse TAG-dataset en het taakadaptieve geheugen te gebruiken, leert het model robuuste representaties die over taken generaliseren, en overtreft het vaak gespecialiseerde modellen die op taakspecifieke data zijn getraind.
Ressourcenlevering: De introductie van de TAG-dataset biedt een kritieke bron voor toekomstig onderzoek in geünificeerde tracking, en biedt de eerste grootschalige, multi-granulariteitsbenchmark.
Praktisch Nut: Als foundation model dient SAM 2++ als een veelzijdig hulpmiddel voor zowel trackingtoepassingen als geautomatiseerde annotatie, waardoor de kosten van het wisselen tussen verschillende trackinggranulariteiten worden verlaagd.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige versie geen ondersteuning biedt voor taal- of audioreferenties en dat de ontkoppelde geheugenparameters worden gesuperviseerd door enkele taken, wat de voordelen van multi-task learning voor die specifieke componenten beperkt. Het kader vertegenwoordigt echter een significante stap in de richting van een algemeen toepasbaar foundation model voor videotracking.