Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking

Stel je een wereld voor waarin de camera van je telefoon een rennende hond, een zwevende ballon of een rijdende auto kan volgen zonder dat iemand er ooit eerst een kader omheen hoeft te tekenen. Dit is de droom van visuele objecttracking, een tak van de informatica waarbij kunstmatige intelligentie leert om zijn ogen gericht te houden op een specifiek object terwijl het door een video beweegt. Jarenlang was het trainen van deze AI-"ogen" vergelijkbaar met het leren lezen aan een kind met behulp van slechts een paar dure, handgeschreven boeken. Onderzoekers moesten handmatig kaders rond objecten tekenen in duizenden video's om de computer te laten zien waar hij naar moest zoeken. Dit proces is traag, saai en ongelooflijk duur, wat de vraag beperkt hoe slim deze trackers kunnen worden. De grote vraag in het vakgebied is: kunnen we de AI leren om te leren van de miljoenen video's die al rondzweven op het internet, waar niemand ook maar één kader omheen heeft getekend? Het antwoord ligt in self-supervised learning (zelfgesuperviseerd leren), een slimme truc waarbij de computer zijn eigen leraar is en gebruikmaakt van de eigen patronen in de video om te begrijpen wat belangrijk is.

Maak kennis met SSTrack++, een nieuw en glanzend model voorgesteld door een team van onderzoekers dat probeert dit puzzelstukje op te lossen zonder die dure, handgetekende kaders nodig te hebben. Denk aan de oude manier van een tracker trainen als het laten zien van een foto van een kat aan een student en zeggen: "Dit is een kat." De nieuwe manier, die SSTrack++ gebruikt, is als het geven van een hele film van een rennende kat aan een student en zeggen: "Zoek uit wat de kat doet en waar hij naartoe gaat, met alleen de film zelf." De onderzoekers ontdekten dat eerdere pogingen tot dit doel een beetje onhandig waren; ze probeerden de locatie van de kat te raden door simpelweg naar willekeurige plekken te kijken, waardoor ze vaak in de war raakten door de achtergrondruis.

Om dit op te lossen, ontwierp het team een systeem dat werkt als een tweetempo-dans. Eerst maakt de AI een global forward look (globale voorwaartse blik), waarbij het het hele videokader scant om te vinden waar het doelwit zich zou kunnen bevinden, vergelijkbaar met een detective die een drukke kamer scant om een verdachte op te sporen. Zodra het een ruwe indicatie heeft, schakelt het over naar een local backward look (lokale achterwaartse blik), waarbij het inzoomt om nauwkeurig te bestuderen hoe het uiterlijk en de beweging van het doelwit in de loop van de tijd veranderen, zoals een detective die de loop en de kleding van de verdachte bestudeert. Door deze twee taken te scheiden — het vinden van de locatie en het begrijpen van de beweging — leert het model veel sneller en nauwkeuriger.

Maar hier zit de echte magische truc: de Self-Prompting Evolution. Stel je voor dat de AI een "post-it" bij zich draagt die beschrijft hoe het doelwit eruitziet. In oudere modellen was deze post-it statisch en kon deze verouderd raken als het doelwit zich omdraaide of vuil werd. SSTrack++ is anders; het herschrijft constant zijn eigen post-it. Na elk frame vraagt de AI zichzelf af: "Heb ik dit goed gedaan?" en werkt vervolgens zijn notitie bij met de beste, duidelijkste details die hij zojuist heeft gezien, waarbij de wazige of verwarrende delen worden weggegooid. Het is als een detective die zijn schets van een verdachte steeds verfijnt naarmate hij steeds betere aanwijzingen krijgt, om ervoor te zorgen dat de beschrijving scherp blijft, zelfs in een chaotische menigte.

De onderzoekers introduceerden ook een manier om de AI te leren verschillende objecten van elkaar te onderscheiden zonder een leraar. Ze gebruikten een methode genaamd instance contrastive learning, wat lijkt op het spelen van een spelletje "zoek de verschillen" met de AI. De computer krijgt hetzelfde object te zien vanuit verschillende hoeken en op verschillende tijdstippen (positieve matches) en wordt vervolgens geconfronteerd met compleet andere objecten (negatieve matches). De AI leert te beseffen: "Ah, deze wazige vlek en die heldere vlek zijn dezelfde hond, maar dat eekhoorntje is totaal anders." Dit helpt het model om een sterke interne kaart te bouwen van wat het doelwit echt is, zelfs wanneer het zich achter een boom verstopt of snel beweegt.

Toen het team hun nieuwe model testte op tien verschillende video-datasets, waren de resultaten indrukwekkend. Op de GOT10K-dataset verbeterde SSTrack++ zijn score met meer dan 25,8% vergeleken met eerdere self-supervised methoden. Op LaSOT steeg het met 21.4%, en op TrackingNet met 15.8%. Hoewel het nog niet volledig het niveau heeft bereikt van de allerbeste modellen die wel handgetekende kaders gebruiken, heeft het de kloof aanzienlijk verkleind. De auteurs suggereren dat deze aanpak een game-changer zou kunnen zijn voor het maken van tracking-systemen die goedkoper te bouwen zijn en beter omgaan met de rommelige, onvoorspelbare echte wereld, waar we niet altijd de tijd hebben om kaders te tekenen. Ze geven echter toe dat het systeem nog een beetje afhankelijk is van hoe goed de eerste gok (de forward look) werkt, wat suggereert dat er nog ruimte is voor de detective om nog scherper te worden.