Denoise to Track: Harnessing Video Diffusion Priors for Robust Correspondence

In dit artikel wordt HeFT (Head-Frequency Tracker) voorgesteld, een zero-shot puntvolgsysteem dat gebruikmaakt van de visuele priors van getrainde video-diffusiemodellen door een strategie voor hoofd- en frequentiebewuste feature-selectie toe te passen om state-of-the-art prestaties te bereiken zonder annotatie.

De kern

Titel: Hoe een "Toekomstvoorspeller" een Perfecte Sportverslaggever wordt

Stel je voor dat je een enorme, super-intelligente robot hebt die is getraind om films te maken. Deze robot, een Video Diffusion Model, heeft duizenden films gezien en weet precies hoe mensen bewegen, hoe kleding golft in de wind en hoe objecten elkaar verbergen. Hij is een meester in het voorspellen van wat er als volgende op het scherm moet verschijnen.

Maar wat als we deze robot niet vragen om een nieuwe film te maken, maar om een heel oude film te bekijken en te zeggen: "Waar is die ene vlieg die over het gezicht van de acteur vloog, in elke seconde van die film?"

Dat is precies wat dit paper doet. De onderzoekers hebben een nieuwe manier bedacht om deze "film-makende robot" te gebruiken als een perfecte sportverslaggever die elk puntje in een video kan volgen. Ze noemen hun methode HeFT.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Geheim van de "Hoofdjes" (De Specialisten)

De robot (die een 'Video Diffusion Transformer' heet) denkt niet als één grote, vage massa. Hij denkt met duizenden kleine hoofdjes (attention heads).

• De oude manier: Mensen dachten dat je al die hoofdjes moest samenvoegen tot één grote, gemiddelde mening. Alsof je een team van 100 mensen vraagt om een beslissing te nemen, en je neemt het gemiddelde van hun antwoorden.
• De nieuwe ontdekking: De onderzoekers merkten op dat dit niet werkt. Het is alsof je een team hebt met een doelman, een sprinter en een strategist. Als je ze allemaal laat praten, krijg je ruis.
  • Sommige hoofdjes zijn experts in matchen (ze zien: "Hey, dat is dezelfde vlieg als in de vorige frame!").
  • Andere hoofdjes kijken alleen naar betekenis (dat is een gezicht, dat is een auto).
  • En weer andere kijken alleen naar positie (dat zit linksboven).

HeFT is slim genoeg om te zeggen: "Ik heb die strategen en positiespecialisten niet nodig voor dit specifieke spel. Ik wil alleen die ene sprinter die perfect kan matchen." Ze kiezen dus alleen de beste specialisten uit.

2. Het Filteren van Ruis (Laag vs. Hoog)

Stel je voor dat je naar een gesprek luistert in een druk café.

• De lage tonen (Laag-frequentie): Dit is de stem van de spreker. Die is stabiel, duidelijk en vertelt het verhaal.
• De hoge tonen (Hoog-frequentie): Dit is het gekletter van borden, het gefluister van buren en het geluid van een vallend glas. Dit is ruis.

De onderzoekers ontdekten dat de robot in zijn "hoge tonen" veel ruis heeft die de tracking verstoort. De "lage tonen" bevatten echter de echte, stabiele informatie over hoe objecten bewegen.
HeFT doet alsof het een geluidstechnicus is: het draait de knop voor de "hoge tonen" (ruis) helemaal dicht en houdt alleen de "lage tonen" (het duidelijke verhaal) over. Hierdoor wordt de tracking veel stabieler.

3. Hoe het in de praktijk werkt (De "Denoise" Truc)

Normaal gesproken moet je een robot trainen met duizenden filmpjes waarop mensen met de hand hebben aangegeven waar de vlieg zat. Dat is duur en tijdrovend.
HeFT doet dit zonder training (zero-shot).

1. Ze nemen een video.
2. Ze sturen deze video door de robot alsof hij een nieuwe film moet maken (een proces dat "denoising" heet, oftewel: ruis verwijderen).
3. Ze kijken niet naar het eindresultaat (de nieuwe film), maar naar hoe de robot denkt terwijl hij de ruis verwijdert.
4. Op dat moment van "denken" pakt HeFT de beste specialisten (de match-hoofdjes) en filtert de ruis eruit.
5. Het resultaat? Een perfecte lijn die de vlieg volgt, zelfs als hij even verdwijnt achter een boom.

Waarom is dit geweldig?

• Geen dure training: Je hoeft geen duizenden filmpjes te labelen. De robot weet het al door zijn ervaring met het maken van films.
• Beter dan gespecialiseerde systemen: Het werkt vaak net zo goed als systemen die specifiek voor dit doel zijn gebouwd en getraind, maar dan zonder de training.
• Robuust: Omdat ze de ruis (hoge frequenties) weghalen en alleen de beste specialisten gebruiken, gaat de tracker niet "dwaal" als de belichting verandert of als er even een hand voor het object komt.

Samenvatting in één zin

De onderzoekers hebben ontdekt dat de robot die films maakt, eigenlijk een verborgen superkracht heeft om beweging te volgen; ze hebben alleen een slimme bril (HeFT) nodig om de ruis weg te filteren en alleen naar de juiste "oogjes" van de robot te kijken.

Dit opent de deur voor een toekomst waarin we elke video kunnen analyseren met de kracht van generatieve AI, zonder dat we eerst jarenlang moeten trainen.

Technische samenvatting

Probleemstelling

Bestaande methoden voor punt-tracking (het volgen van fysieke punten door videoframes) zijn overwegend supervised (toezicht nodig). Ze vertrouwen op grote, handmatig gelabelde datasets, wat kostbaar en tijdrovend is. Bovendien hebben deze modellen vaak moeite met generalisatie naar nieuwe domeinen (domain shifts).

Hoewel video-diffusiemodellen (zoals VDiT - Video Diffusion Transformers) krachtige foundation modellen zijn die rijke visuele priors hebben geleerd, wordt hun potentieel voor perceptietaken zoals tracking nog niet volledig benut. Bestaande pogingen om diffusiemodellen voor tracking te gebruiken, behandelen de features vaak als een "black box" en negeren de fijne structurele details binnen de attention-mechanismen en frequentiecomponenten. Dit leidt tot suboptimale prestaties in zero-shot scenario's (zonder extra training).

Methodologie: HeFT (Head-Frequency Tracker)

De auteurs introduceren HeFT, een zero-shot punt-tracking framework dat de visuele priors van vooraf getrainde VDiT-modellen benut. De kern van de methode ligt in een diepgaande analyse van de interne representaties van het model en het selecteren van de meest informatieve componenten.

1. Analyse van Attention Heads (Head-Level Specialization)

• De auteurs ontdekten dat individuele attention heads binnen een laag fungeren als minimale functionele eenheden met specifieke specialisaties, in plaats van dat de gehele laag de optimale eenheid is.
• Ze identificeren drie types heads:
  • Matching-oriented: Vangen precieze correspondenties tussen frames op.
  • Semantic-oriented: Focus op patches met vergelijkbare semantische inhoud.
  • Position-oriented: Focus op ruimtelijk nabijgelegen patches.
• Strategie: In plaats van alle heads te aggregeren, selecteert HeFT de beste presterende head voor tracking, omdat deze de meest betrouwbare correspondentie-priors bevat.

2. Frequentiebewuste Feature Filtering (Frequency-Aware Feature Filtering)

• VDiT-modellen gebruiken 3D-Rotary Positional Embeddings (RoPE), waarbij verschillende frequentiebanden verschillende rollen spelen.
• Observatie:
  • Hoge frequenties: Zijn zeer gevoelig voor positie en introduceren ruis voor correspondentie.
  • Lage frequenties: Zijn positie-onafhankelijk en cruciaal voor het stabiliseren van correspondenties.
• Strategie: HeFT filtert de hoogfrequente componenten uit de features en behoudt alleen de laagfrequente componenten (ongeveer de onderste 45-50%). Dit vermindert ruis en verbetert de tracking-stabiliteit aanzienlijk.

3. Het Tracking Framework

• Feature Extractie: Features worden geëxtraheerd via een enkel stapje denoising (de laatste stap van het generatieproces levert de meest betrouwbare perceptuele cues).
• Locatiebepaling: Trajecten worden bepaald door soft-argmax toe te passen op correlatiekaarten, wat robuustheid biedt bij lokalisatie.
• Consistentie: Een forward-backward consistency check wordt gebruikt om zichtbaarheid te schatten; punten die afwijken van hun terugwaartse traject worden als verduisterd (occluded) gemarkeerd.
• Feature Refinement: Query-features worden progressief bijgewerkt om "appearance drift" (verandering in uiterlijk over tijd) te mitigeren.

Belangrijkste Bijdragen

1. Systematische Analyse: Een grondig inzicht in hoe VDiT spatiotemporale informatie encodeert, waarbij wordt aangetoond dat attention heads gespecialiseerde functies hebben en dat lage frequenties essentieel zijn voor matching.
2. Nieuwe Strategie: De introductie van een head- en frequentiebewuste selectiestrategie die specifiek de meest informatieve attention head en de laagfrequente componenten selecteert.
3. State-of-the-Art Zero-Shot Performance: HeFT bereikt prestaties die vergelijkbaar zijn met supervised methoden, maar vereist geen gelabelde trainingsdata. Het werkt direct op diverse VDiT-backbones (zoals CogVideoX, Wan2.1, Cosmos).

Resultaten

De methode is geëvalueerd op de TAP-Vid en PointOdyssey benchmarks:

• Prestaties: HeFT overtreft alle bestaande zero-shot en self-supervised methoden aanzienlijk.
• Vergelijking: De resultaten naderen die van gesuperviseerde state-of-the-art methoden (zoals CoTracker3 en TAPNext), terwijl het geen extra training vereist.
• Robuustheid: Qualitatieve resultaten tonen aan dat HeFT beter presteert bij kleine objecten, objectgrenzen en in situaties met occlusies of snelle beweging, mede dankzij de frequentiefiltering en consistentiechecks.
• Generalisatie: De methode werkt consistent goed over verschillende VDiT-architecturen en video-inhoud.

Betekenis en Impact

Dit werk onderstreept het enorme potentieel van video-diffusiemodellen als foundation modellen voor een breed scala aan perceptietaken, niet alleen voor generatie.

• Het bewijst dat de interne representaties van generatieve modellen rijke, bruikbare priors bevatten voor discriminatieve taken.
• Het biedt een nieuwe paradigma voor het benutten van generatieve modellen in downstream taken, waarbij de nadruk ligt op het begrijpen en selecteren van interne features in plaats van het opnieuw trainen van het hele model.
• Het opent de weg naar unified visual foundation models die zowel generatie als perceptie (zoals tracking, diepte, segmentatie) kunnen uitvoeren zonder specifieke supervisie.

Kortom, "Denoise to Track" toont aan dat door slimme selectie van bestaande features uit diffusiemodellen, we zeer robuuste en accurate tracking kunnen bereiken zonder de kosten van data-labeling.