Technische Samenvatting: Proberen en Benutten van Video Diffusion Transformer Kenmerken voor Robuuste Punttracking

1. Probleemstelling

Huidige punttrackingmethoden zijn weliswaar effectief op standaard benchmarks, maar vertrouwen vaak op feature backbones (bijv. ResNet) die een gebrek hebben aan inherente temporele coherentie, wat leidt tot slechte prestaties in real-world scenario's met bewegingsonscherpte, snelle beweging en frequente occlusies. Hoewel recente werken zijn begonnen met het integreren van Visual Foundation Models (VFMs) zoals DINOv2, is er geen systematische analyse uitgevoerd om te bepalen welke VFM-architectuur of trainingsdoelstelling de meest robuuste representaties oplevert voor dichte temporele tracking. Bovendien vereisen bestaande benaderingen doorgaans uitgebreide supervisie op grootschalige real-world video-datasets om een hoge prestatie te behalen.

2. Methodologie

2.1. Systematische Analyse van VFMs

De auteurs voerden een zero-shot evaluatie uit van diverse VFMs om de meest robuuste backbone voor punttracking te identificeren. De studie vergeleek modellen op basis van:

• Pretraining Modalities: Alleen afbeeldingen versus video.
• Architecturen: UNet versus Transformer.
• Leerdoelstellingen: Zelfgesuperviseerd (MAE, DINO) versus Diffusion.
• Benchmarks: Standaard (TAP-Vid-DAVIS), met bewegingsonscherpte gecorrumpeerd (TAP-Vid-DAVIS + ImageNet-C), en uitdagende real-world scenario's (ITTO-MOSE).

Belangrijkste bevindingen uit de analyse:

• Video Diffusion Transformers (DiTs) presteerden consistent beter dan alle andere VFMs, inclus\n bij image-getrainde modellen (DINOv2, SD3) en video-modellen met gedecomposeerde aandacht (SVD) of MAE-doelstellingen (V-JEPA).
• CogVideoX-5B behaalde de hoogste prestaties, waarmee zelfs expliciet op tracking-data gesuperviseerde ResNet backbones werd overtroffen.
• Toegeschreven factoren: De superioriteit van Video DiTs wordt toegeschreven aan drie kenmerken:
  1. Grootschalige real-world video pretraining: Blootstelling aan diverse variaties in beweging en verschijning.
  2. Volledige 3D spatio-temporele aandacht: Maakt globale interactie mogelijk over ruimte en tijd, in tegen tegenstelling tot gedecomposeerde aandachtmechanismen.
  3. Diffusion trainingsdoelstelling: Reconstrueert alle tokens over verschillende ruisniveaus heen, wat rijkere correspondentie-representaties produceert vergeleken met ruimtelijke-alleen doelstellingen zoals MAE.
• Scaling Law: Binnen dezelfde modelfamilie leverden grotere modellen (bijv. WAN-14B versus WAN-1.3B) consistent betere tracking-prestaties, met name onder uitdagende omstandigheden.

2.2. DiTracker Framework

Gemotiveerd door de analyse, stellen de auteurs DiTracker voor, een framework dat Video DiT features integreert in bestaande tracking pipelines (specifiek gebruikmakend van de CoTracker3 head) via drie kerncomponenten:

1. Query-Key Matching Cost Computation: In plaats van verborgen staten te gebruiken, extraheert DiTracker query ($Q$) en key ($K$) projecties direct uit de volledige 3D aandachtlagen van de Video DiT. Deze projecties coderen inherent inter-frame correspondenties. Een matching cost wordt berekend via scaled dot-product attention:
   $$C_{DiT} = \text{Softmax}\left(\frac{q_i k_j^\top}{\sqrt{d_{head}}}\right)$$
2. Cost-Level Fusion: Omdat Video DiTs opereren in een ruimtelijk gecomprimeerde latente ruimte (bijv. $H/16 \times W/16$), missen ze de fijnmazige ruimtelijke details die vereist zijn door standaard tracking heads. DiTracker fuseert de DiT matching cost met een lichtgewicht ResNet-tak die hogere-resolutie features biedt. De kosten worden platgeslagen, geconcateneerd en geprojecteerd in een cost embedding via een MLP:
   $$E_j = \text{MLP}([\text{Flatten}(C_{DiT}), \text{Flatten}(C_{ResNet})])$$
   Dit behoudt de gepre-trainde DiT matching distributie terwijl de ruimtelijke details worden hersteld.
3. LoRA Adaptatie: Om generatieve features efficiënt over te dragen naar de tracking taak, gebruiken de auteurs Low-Rank Adaptation (LoRA). Trainbare low-rank matrices worden ingevoegd in de aandachtlagen van de bevroren Video DiT backbone. Het model wordt getraind met een gecombineerde doelstelling van traject regressie, zichtbaarheid classificatie en confidence losses.

3. Belangrijkste Bijdragen

1. Eerste Systematische Analyse: Het artikel presenteert de eerste uitgebreide studie van VFM representaties voor robuuste punttracking, waarbij Video DiTs worden geïdentificeerd als de meest robuuste backbone, die zelfs gesuperviseerde ResNet backbones overtreft.
2. DiTracker Framework: Introductie van een methode om Video DiT features te benutten voor gesuperviseerde tracking via query-key matching, cost-level fusion met een ResNet-tak, en LoRA adaptatie.
3. Data Efficiëntie en Robuustheid: Demonstratie dat DiTracker, uitsluitend getraind op synthetische data (Kubric) met aanzienlijk minder iteraties, CoTracker3 (dat getraind is op aanvullende real-world video's) overtreft onder dezelfde tracking head. Het vertoont de grootste prestatiewinst in gecorrumpeerde en uitdagende scenario's.
4. Generalisatie en Schaalbaarheid: Validatie dat de voordelen van Video DiT features generaliseren over verschillende tracking heads (bijv. AllTracker) en schalen met de grootte van de backbone, wat bevestigt dat Video DiTs een robuuste, data-efficiënte en head-agnostische backbone zijn.

4. Experimentele Resultaten

• Standaard Benchmarks: Op TAP-Vid-DAVIS en ITTO-MOSE overtrof DiTracker (getraind op enkel synthetische data) CoTracker3 dat getraind is met 15k real-world video's. Bijvoorbeeld, op ITTO-MOSE verbeterde DiTracker $\delta^x_{avg}$ met 2.7% ten opzichte van CoTracker3.
• Robuustheid Benchmarks: Onder ImageNet-C corrupties (ruis, onscherpte, weer), behaalde DiTracker de beste gemiddelde score (71.1%), waarmee het CoTracker3 (69.2%) overtrof, ondanks diens real-world training.
• Ablatie Studies:
  • Feature Selectie: Query-key projecties (52.6% AJ) presteerden significant beter dan verborgen staten (45.7% AJ).
  • Fusie Strategie: Het concateneren van DiT en ResNet kosten (72.2% $\delta^x_{avg}$) presteerde beter dan eenvoudige upsampling of feature concatenatie.
  • LoRA: Adaptatie was essentieel; bevroren DiT features leverden slechte resultaten op (41.0% AJ). Full-layer LoRA met hogere ranks (128) leverde de beste prestaties.
• Scaling: Grotere backbones (WAN-14B) presteerden consistent beter dan kleinere varianten (WAN-1.3B) over alle metrieken.

5. Betekenis en Claims

Het artikel claimt dat generatieve video pretraining sterke real-world priors biedt voor correspondentie, wat de afhankelijkheid van grootschalige real-data supervisie voor punttracking effectief vermindert. Door Video DiTs te benutten, demonstreren de auteurs dat:

• De temporele coherentie die vereist is voor robuuste tracking inherent is aan generatieve videomodellen getraind met diffusion doelstellingen en volledige 3D aandacht.
• Het mogelijk is om state-of-the-art robuustheid te bereiken met enkel synthetische data en minder training iteraties vergeleken met methoden die vertrouwen op real-world video supervisie.
• Toekomstige vooruitgang in videogeneratie direct kan profiteren van punttracking taken, wat wijst op een convergentie tussen generatieve en discriminatieve video-begrip.