Real-World Point Tracking with Verifier-Guided Pseudo-Labeling

Probleemstelling

Het probleem dat dit paper aanpakt, is de prestatiedaling van modellen voor langetermijn punttracking (het volgen van fysieke punten over lange tijd in video's) wanneer ze worden toegepast op echte, real-world video's.

• Synthetische vs. Realiteit: Bestaande state-of-the-art modellen worden getraind op grote synthetische datasets (zoals TAP-Vid Kubric). Deze modellen lijden onder een "sim-to-real" discrepantie: verschillen in uiterlijk, niet-rigide beweging, occlusiepatronen, verlichting en sensorruis in echte video's leiden tot onbetrouwbare tracking.
• Gebrek aan Ground Truth: Het annoteren van dichte, frame-accurate langetermijntrajecten in echte video's is prohibitief duur, waardoor er geen grote datasets met ground truth voor real-world video's bestaan.
• Beperkingen van Bestaande Self-Training: Een veelgebruikte oplossing is self-training met pseudo-labels (waarbij een model zijn eigen voorspellingen gebruikt als supervisie). Echter, naïeve self-training is kwetsbaar omdat de "teacher"-modellen (de modellen die de labels genereren) niet uniform betrouwbaar zijn. Verschillende trackers excelleren in verschillende situaties (bijv. snelle beweging vs. occlusie), maar falen in andere. Het willekeurig kiezen van een teacher of het middelen van voorspellingen leidt vaak tot het verspreiden van systematische fouten en drift.

Methodologie: De Verifier

De auteurs introduceren een Verifier, een meta-model dat de betrouwbaarheid van tracker-voorspellingen leert inschatten en deze gebruikt om hoogwaardige pseudo-labels te genereren.

1. Architectuur en Werking:

• Input: De Verifier ontvangt een query-punt en meerdere kandidaat-trajecten gegenereerd door een ensemble van bestaande, vooraf getrainde trackers (bijv. Track-On2, CoTracker3, BootsTAPIR).
• Lokale Feature Extractie: Het model extrahet visuele features rondom het query-punt en de voorspelde locaties van de kandidaat-trackers in elke frame. Het gebruikt een vaste CNN-encoder (van CoTracker3) en toepast deformable attention om lokale context te aggregeren.
• Candidate Transformer: Een speciaal ontworpen transformer-decoder analyseert de kandidaat-trajecten. Het gebruikt cross-attention om te bepalen welke kandidaat het meest consistent is met het oorspronkelijke query-punt, en self-attention over de tijd om consistentie tussen frames te bewaken.
• Output: Voor elke frame geeft de Verifier een betrouwbaarheidsscore (reliability score) voor elke kandidaat. Het selecteert vervolgens de meest betrouwbare voorspelling om een verfijnd pseudo-label-traject te vormen.

2. Training van de Verifier:

• De Verifier wordt uitsluitend getraind op synthetische data met ground truth.
• Perturbatie-strategie: Tijdens training worden de ground-truth trajecten bewust verstoord (met ruis, drift, sprongen, occlusies) om realistische fouten te simuleren. De Verifier leert om deze verstoord trajecten te onderscheiden van de correcte (of minder verstoord) trajecten via een contrastief leerdoel (contrastive objective).
• Doel: Het model leert om patronen van consistentie te herkennen die overdragen van synthetische naar real-world domeinen, zonder dat er annotaties van echte video's nodig zijn voor de training van de Verifier zelf.

3. Real-World Adaptatie (Fine-tuning):

• Voor het aanpassen aan echte video's wordt de Verifier gebruikt om per frame de beste voorspelling te selecteren uit het ensemble van teachers.
• Deze geselecteerde trajecten dienen als pseudo-labels om een student-model (in dit geval Track-On2) te fine-tunen op ongelabelde real-world video's.
• Het proces combineert synthetische en real-world data tijdens het fine-tunen, waarbij de weging van de real-world data geleidelijk wordt verhoogd.

Belangrijkste Bijdragen

1. De Verifier: Een leerbaar meta-model dat frame-voor-frame de betrouwbaarheid van meerdere trackers schat en de meest betrouwbare voorspelling selecteert. Dit werkt zowel tijdens training (voor supervisie-selectie) als tijdens inferentie (als plug-and-play ensemble module).
2. Verifier-Guided Pseudo-Labeling: Een framework dat self-training op real-world video's mogelijk maakt door de zwakke punten van naïeve pseudo-labeling (zoals drift en inconsistentie) te mitigeren door dynamisch te schakelen tussen verschillende teachers.
3. State-of-the-Art Resultaten: Uitgebreide experimenten tonen aan dat de methode nieuwe state-of-the-art resultaten bereikt op vier real-world benchmarks, met minder data nodig dan eerdere self-training methoden.

Resultaten

De methode is geëvalueerd op vier real-world benchmarks: DAVIS, Kinetics, RoboTAP en EgoPoints.

• Inferentie Ensemble: Als inferentie-module (zonder fine-tuning) presteert de Verifier-consistent beter dan willekeurige teacher-selectie en de sterkste individuele teacher op alle datasets. Dit bevestigt dat er aanzienlijke winst te halen is door adaptief te kiezen.
• Fine-tuning Prestaties: Het model Track-On-R (fine-tuned met Verifier-gids) overtreft zowel synthetische baselines als bestaande real-world fine-tuning methoden (zoals BootsTAPIR, CoTracker3, Anthro-LocoTrack).
  • Op EgoPoints (een uitdagende dataset met lange sequenties en occlusies) steeg de prestatie ($\delta_{avg}$) van 61.7 naar 67.3.
  • Op RoboTAP (robotica) behaalde het de hoogste scores, ondanks dat de trainingsdata geen robotische sequenties bevatte, wat wijst op sterke generalisatie.
  • Op Kinetics en DAVIS werden eveneens nieuwe records gevestigd op metrics zoals AJ (Average Jaccard) en OA (Occlusion Accuracy).
• Data-efficiëntie: De methode bereikt superieure resultaten met minder data dan eerdere methoden die gebruikmaken van grote-scale distillatie of specifieke menselijke mesh-annotaties.

Betekenis en Impact

Dit paper biedt een oplossing voor het fundamentele probleem van het overbruggen van de kloof tussen synthetische training en real-world toepassing in computer vision.

• Robuustheid: Door te vertrouwen op een leerbaar mechanisme voor betrouwbaarheidsschatting in plaats van vaste heuristieken, wordt het systeem veel robuuster tegen domeinverschillen en tijdelijke fouten van individuele trackers.
• Schalbaarheid: De aanpak maakt het mogelijk om grote hoeveelheden ongelabelde real-world video's effectief te benutten voor training zonder dure handmatige annotatie.
• Generalisatie: De resultaten tonen aan dat een model getraind op diverse real-world video's (via pseudo-labels) niet alleen beter presteert op die data, maar ook zijn prestaties op synthetische benchmarks behoudt of zelfs verbetert (vooral op zeer lange sequenties).

Kortom, de Verifier transformeert modeldiversiteit van een uitdaging (verschillende foutpatronen) in een kracht, waardoor een betrouwbare, data-efficiënte adaptatie voor langetermijn punttracking in de echte wereld mogelijk wordt.