Track Anything Behind Everything: Zero-Shot Amodal Video Object Segmentation

Dit paper introduceert TABE, een nieuwe zero-shot pipeline voor amodale videobjectsegmentatie die een getrainde videodiffusiemodel gebruikt om objecten te volgen en te reconstrueren achter verbergingen op basis van een enkele query-masker zonder voorafgaande klasselabels.

De kern

🎩 De Magische Hoed van de Computer: Alles Zien, Zelfs als het Verborgen Is

Stel je voor dat je naar een toneelvoorstelling kijkt. Een goochelaar trekt een konijn uit zijn hoed, maar dan verdwijnt het konijn achter een doek. Voor een mens is het logisch: het konijn is er nog steeds, het zit gewoon achter het doek. Maar voor een computer is dat heel lastig. Als de pixels van het konijn niet meer op het scherm staan, denkt de computer vaak: "Oh, het konijn is verdwenen."

Dit paper introduceert een nieuwe methode, genaamd TABE (Track Anything Behind Everything), die computers leert om te denken zoals een mens: "Ik zie het niet, maar ik weet dat het er nog is."

Hier is hoe het werkt, stap voor stap:

1. Het Probleem: De "Zichtbare" Valstrik

Vroeger konden computers alleen objecten volgen die ze daadwerkelijk zagen. Als een bal achter een muur verdween, hield de computer de bal uit het oog.

• De mens: Ziet een bal die achter een doos verdwijnt en denkt: "Die bal is nog steeds daar, hij is gewoon verborgen."
• De oude computer: Ziet de bal verdwijnen en denkt: "Doelwit kwijt."

Dit is lastig omdat het heel moeilijk is om foto's te maken van objecten achter andere objecten. Je kunt immers niet door muren kijken.

2. De Oplossing: De "Inpainting" Magie

TABE gebruikt een slimme truc die generatieve uitvulling (outpainting) noemt. Stel je voor dat je een schilderij hebt, maar er zit een vlek op die een stukje van het schilderij bedekt. In plaats van dat stukje weg te laten, probeert TABE te raden wat er onder die vlek zit, gebaseerd op wat er omheen te zien is.

Maar TABE doet dit niet zomaar. Het gebruikt een video-diffusiemodel.

• De Analogie: Stel je voor dat je een video hebt van een danser die achter een gordijn verdwijnt. De computer kijkt naar de danser voordat hij verdwijnt en zegt: "Oké, ik ken deze danser. Ik weet hoe hij beweegt. Dus als hij achter dat gordijn gaat, ga ik de video 'naar voren' tekenen alsof het gordijn er niet is, maar dan met een witte achtergrond."

3. De Twee Slimme Trucs van TABE

Om dit goed te doen, gebruikt TABE twee belangrijke hulpmiddelen:

A. De "Diepte-Check" (Het Dieptemetertje)
De computer kijkt niet alleen naar de vorm, maar ook naar de diepte.

• Vergelijking: Stel je staat in een rij. Als iemand voor je staat, blokkeert die persoon je zicht. De computer gebruikt een soort "dieptemeter" om te zien: "Is die muur voor het object of is het object voor de muur?"
• Als de computer ziet dat er een object voor het doelwit staat, zegt hij: "Ah, hier moet ik invullen wat erachter zit." Hij tekent dan een onzichtbaar kader om het object heen, zodat hij weet waar het object zou moeten zijn, zelfs als het volledig verborgen is.

B. De "Kleermakerstruc" (Test-tijd Fijntuning)
Dit is misschien wel het coolste deel. Normaal gesproken moet je een computermodel maandenlang trainen op duizenden foto's van specifieke objecten (zoals honderden foto's van jouw auto).
TABE is slimmer. Het doet alsof het een kleermaker is die op het moment zelf een pak op maat maakt.

• Hoe het werkt: Zodra jij de video start en zegt "Kijk naar die rode bal", pakt TABE de video en past het grote, algemene model direct aan op die specifieke rode bal.
• Het leert in enkele seconden: "Hoe ziet deze bal eruit? Hoe beweegt hij?"
• Daarna gebruikt het die kennis om de bal te "reconstrueren" op de momenten dat hij verborgen is. Het is alsof de computer in een splitseconde een geheugen opbouwt van dat ene object.

4. Waarom is dit belangrijk?

Tot nu toe waren computers heel goed in het volgen van wat ze zagen, maar slecht in het begrijpen van wat ze niet zagen.

• Voor de toekomst: Denk aan zelfrijdende auto's. Als een auto een voetganger ziet die achter een geparkeerde vrachtwagen loopt, moet de auto weten dat de voetganger daar nog steeds is, ook al ziet de camera hem niet. TABE helpt de computer om die "onzichtbare" voetganger te blijven volgen, zodat hij niet plotseling remt of botst.

Samenvatting in één zin

TABE is een slimme computerprogramma dat, net als een goochelaar die weet waar het konijn is, zelfs als het konijn volledig achter een doek verdwijnt, de "onzichtbare" delen van een object in een video kan reconstrueren door te raden wat er zou moeten zijn, zonder dat het eerst jarenlang geoefend heeft op dat specifieke object.

Het maakt computers menselijker: ze leren niet alleen kijken, maar ook voorstellen.

Technische samenvatting

Probleemstelling

Het paper adresseert het probleem van amodale video-objectsegmentatie. Waar traditionele segmentatiemethoden (zoals SAM2 of Mask2Former) zich beperken tot de zichtbare (modale) delen van een object, richt amodale segmentatie zich op het reconstrueren van het volledige object, inclusief de delen die door andere objecten of obstakels worden verduisterd.

De uitdagingen zijn tweeledig:

1. Data-tekort: Het verkrijgen van real-world ground truth-data voor verduisterde objecten is extreem moeilijk en kostbaar.
2. Ambiguïteit: Het definiëren van "waarheid" voor verduisterde delen is complex, omdat dit vaak afhankelijk is van context en voorspelling. Bestaande methoden vereisen vaak vooraf getrainde klassenlabels, wat hen ongeschikt maakt voor zero-shot inferentie (het volgen van willekeurige objecten zonder specifieke training).
3. Beperkingen van bestaande modellen: Bestaande video-modellen presteren slecht bij ernstige of volledige occlusie (verduistering) en datasets missen vaak realistische scenario's voor deze taken.

Methodologie: De TABE-pijplijn

De auteurs stellen TABE (Track Anything Behind Everything) voor, een nieuwe pijplijn voor zero-shot amodale video-objectsegmentatie. De kern van de methode is het gebruik van een pregetraind videodiffusiemodel voor generatieve "outpainting" (het invullen van ontbrekende delen), zonder het model opnieuw te hoeven trainen op grote datasets.

De pijplijn werkt als volgt:

1. Input: Een video en een enkele query-mask (bijvoorbeeld via klikken of tekst) in het eerste frame, waarin het object volledig zichtbaar is.
2. Zichtbare Maskers: Een zero-shot segmentatiemodel (SAM2) genereert zichtbare maskers voor elk frame. Als het object volledig verduisterd is, is dit masker leeg.
3. Occlusie-Redenering & Doelgebiedsmaskers:
   • Om te bepalen waar het object zich zou kunnen bevinden, wordt een doelgebiedsmasker (target region mask) gegenereerd.
   • Dit gebruikt monodepth (Depth Anything v2) om dieptekaarten te schatten. Pixels die dieper liggen dan het gemiddelde van het zichtbare gebied, worden als kandidaten voor outpainting beschouwd.
   • Deze kandidaten worden beperkt door een geschatte amodale bounding box, die wordt bijgehouden via temporele continuïteit (interpolatie/extrapolatie).
   • Een occlusielabel wordt berekend op basis van de dieptegradienten aan de rand van het zichtbare masker. Dit bepaalt of een frame verduisterd is of niet.
4. Test-tijd Finetuning (Test-time Fine-tuning):
   • In plaats van een generiek outpainting-model te gebruiken, wordt het pregetrainde videodiffusiemodel (gebaseerd op CoCoCo/Stable Diffusion) tijdens de inferentie (test-tijd) gefinetuned op het specifieke object in de video.
   • Dit gebeurt met LoRA (Low-Rank Adaptation) en een vast "rare token" prompt, vergelijkbaar met Dreambooth/Realfill.
   • Het model leert de visuele kenmerken van het specifieke object en hoe het zich gedraagt, zelfs bij gedeeltelijke verduistering.
   • Tijdens het trainen worden alleen frames gebruikt die als "niet-verduisterd" zijn gelabeld, om ruis te voorkomen. Random maskers worden gebruikt om het model te leren het object compleet te reconstrueren en een witte achtergrond te genereren.
5. Generatie & Post-processing:
   • Het gefinetuned model genereert een video van het object op een witte achtergrond, waarbij de ontbrekende (verduisterde) delen worden "ingevuld" (outpainted).
   • Een laatste stap gebruikt SAM2 opnieuw op deze gegenereerde frames om het definitieve amodale masker te extraheren en artefacten te verwijderen.

Belangrijkste Bijdragen

• Zero-Shot Pijplijn: TABE vereist geen vooraf getrainde klassenlabels en kan elk object volgen op basis van één enkel referentiekader.
• Generatieve Amodale Completering: Het is de eerste methode die een videodiffusiemodel gebruikt voor amodale segmentatie, waarbij het probleem wordt gepositioneerd als generatieve outpainting.
• Test-tijd Specialisatie: De innovatieve aanpak om het diffusiemodel tijdens de inferentie te finetunen op het specifieke object, waardoor het model zich aanpast zonder dat er nieuwe ground truth-data nodig is.
• Robuuste Occlusie-Redenering: Een nieuwe methode voor het schatten van occlusie en het definiëren van doelgebieden op basis van diepteschattingen en temporele coherentie.

Resultaten

De methode is getest op een aangepast subset van de TAO-Amodal dataset (waarbij het object in het eerste frame volledig zichtbaar is).

• Vergelijking: TABE presteert aanzienlijk beter dan bestaande methoden zoals TCOW, pix2gestalt, SDAmodal en Amodal Expander.
• Kerncijfers: TABE behaalde een AP@25 van 0.659 en AP@50 van 0.518, wat een significante verbetering is ten opzichte van de volgende beste methode (Amodal Expander met 0.417 en 0.356).
• Interessante bevinding: Zelfs SAM2 (dat alleen zichtbare delen segmenteert) presteerde in sommige amodale metrieken beter dan TCOW, wat aantoont dat bestaande amodale methoden vaak slechts de zichtbare delen goed volgen en geen echte amodale completering doen. TABE slaagt er echter in om de volledige objecten te reconstrueren.

Betekenis en Impact

Dit werk is significant omdat het de kloof overbrugt tussen menselijke waarneming (objectpermanentie) en machine learning. Mensen kunnen onzichtbare objecten "zien" door context en beweging; TABE nabootst dit vermogen.

• Toepassingen: De techniek is cruciaal voor robotica, geavanceerde videobewaking en augmented reality, waar systemen moeten kunnen anticiperen op objecten die tijdelijk uit het zicht zijn.
• Paradigmaverschuiving: Het toont aan dat generatieve modellen (diffusie) niet alleen voor creatieve doeleinden kunnen worden gebruikt, maar ook voor robuuste, zero-shot perceptie-taken die traditionele discriminatieve modellen niet aankunnen.
• Openbaarheid: De auteurs kondigen aan dat zowel het model als de code openbaar zullen worden gemaakt, wat de gemeenschap in staat stelt om verder te bouwen op deze zero-shot amodale benadering.