Technische Samenvatting: Temporal Difference in Vision (TDV)

Probleemstelling

Het vakgebied van Visuele Representatie-leren is historisch gezien gevorderd door de afhankelijkheid van sterke inductieve biases te verminderen, bewegend van Supervised Learning naar Weakly Supervised Learning, en uiteindelijk naar Self-Supervised Learning (SSL). Echter, moderne SSL-benaderingen (bijv. DINO, iBOT) leunen nog steeds zwaar op sterke aannames zoals data-augmentaties (cropping, kleurjitter, masking), contrastieve doelstellingen of specifieke architecturale beperkingen (bijv. lokaliteit in CNN's).

De auteurs stellen dat naarmate data en rekenkracht toenemen, deze resterende inductieve biases bottlenecks worden. Empirisch bewijs suggereert dat de optimale sterkte van inductieve biases afneemt naarmate de dataschaal groeit; benaderingen met zwakkere aannames presteren uiteindelijk beter dan die met sterkere aannames. De kernuitdaging is het identificeren van een leersignaal dat deze restrictieve biases vermijdt zonder dat de representatie instort (i.e., het mappen van alle inputs naar een constante vector).

Methodologie: Temporal Difference in Vision (TDV)

Om dit aan te pakken, introduceert het artikel Temporal Difference in Vision (TDV), een self-supervised learning paradigma voor video dat steunt op een enkele, fundamentele causale aanname: het verleden veroorzaakt de toekomst. In tegenstelling tot bestaande methoden die temporele frames behandelen als geaugmenteerde views van dezelfde afbeelding, modelleert TDV expliciet de transitie tussen frames.

Kernintuïtie

TDV stelt dat de representatie van een toekomstig frame ($z_{t+1}$) voorspeld kan worden door een geleerd bewegingsvector ($\Delta z_t$) toe te voegen aan de representatie van het huidige frame ($z_t$). Dit is analoog aan Temporal Difference learning in Reinforcement Learning.
$$\hat{z}_{t+1} = z_t + \Delta z_t$$
Omdat opeenvolgende videoframes een hoge temporele consistentie delen, is het ruwe RGB-verschil ($\Delta x_t = x_{t+1} - x_t$) inherent laag-rank (het grootste deel van de achtergrond blijft statisch). TDV maakt hier gebruik van door een Motion Encoder te trainen die deze hoog-dimensionale pixelverschillen comprimeert tot abstracte bewegingskenmerken, geconditioneerd op de semantische staat van het huidige frame.

Architectuur

Het systeem bestaat uit drie hoofdcomponenten die gezamenlijk worden getraind:

1. Frame Encoder ($f_\theta$): Een Vision Transformer (ViT) die de huidige frame $x_t$ mapt naar een token embedding sequentie $z_t$.
2. Motion Encoder ($m_\phi$): Een netwerk dat het ruwe RGB-verschil $\Delta x_t$ en de huidige frame embedding $z_t$ (via cross-attention) neemt om de latente verschuiving $\Delta z_t$ te voorspellen. Deze conditionering zorgt ervoor dat de bewegingsvoorspelling geworteld is in de semantische context van het huidige frame.
3. Teacher Encoder: Een Exponential Moving Average (EMA) kopie van de student frame encoder, gebruikt om de target representatie $z^{teacher}_{t+1}$ voor het volgende frame $x_{t+1}$ te genereren.

Trainingsdoelstelling

TDV wordt getraind met een gewogen combinatie van twee verliezen om instorting te voorkomen en het causale principe af te dwingen:

1. Temporal Prediction Loss ($L_{mse}$): Een Mean Squared Error loss tussen de voorspelde volgende-frame embedding ($\hat{z}_{t+1}$) en de teacher embedding van het werkelijke volgende frame ($z^{teacher}_{t+1}$). Dit dwingt de additieve compositieregel af.
2. Self-Distillation Loss ($L_{dino}$): Een cross-entropy loss tussen de student en teacher projectie distributies (toegepast op zowel [CLS] als patch tokens). Dit voorkomt de triviale oplossing waarbij alle representaties instorten naar één enkel punt.

Cruciaal is dat TDV geen standaard SSL-augmentaties gebruikt (random cropping, kleurjitter, masking of flipping). De "augmentatie" wordt natuurlijk geïnduceerd door de tijd.

Belangrijkste Bijdragen

1. Empirische Validatie van Zwakkere Aannames: De auteurs demonstreren via gecontroleerde experimenten op ImageNet-subsets dat naarmate de dataschaal toeneemt, modellen met zwakkere inductieve biases (specifiek lagere masking ratio's) beter presteren dan die met sterkere biases.
2. TDV Paradigma: De introductie van een nieuw SSL-framework dat alle sterke inductieve biases (augmentaties, masking, contrastieve negatieven) vermijdt door enkel te vertrouren op de causale aanname dat het verleden de toekomst voorspelt.
3. Prestaties zonder Sterke Biases: TDV bereikt een dichte ruimtelijke feature learning die vergelijkbaar is met state-of-the-art methoden (DINO, iBOT) op taken die ruimtelijke structuur en temporele correspondentie vereisen, ondanks het ontbreken van de sterke semantische priors die die methoden gebruiken.

Experimentele Resultaten

De auteurs evalueerden TDV op de Something-Something V2 (SSv2) dataset en benchmarkten het tegen DINO en iBOT op downstream taken:

• Dense Spatial Tasks (Segmentatie, Optical Flow, Stereo Depth):

  • Semantische Segmentatie: TDV behaalt competitieve resultaten op ADE20K en Cityscapes, waarbij het DINO en iBOT slechts marginaal achterblijft in mIoU en mAcc. De auteurs schrijven dit kleine gat toe aan het gebrek aan lokale cropping, wat helpt bij semantische context.
  • Optical Flow: TDV overtreft DINO en iBOT op MPI-Sintel en SceneFlow (lagere Endpoint Error). De auteurs argumenteren dat dit komt omdat TDV expliciet leert om de evolutie van representaties te voorspellen, waardoor de lokale bewegingsstructuur behouden blijft die invariantie-gebaseerde methoden wegwerpt.
  • Stereo Depth: TDV behaalt lagere "bad" pixel rates (minder grote correspondentiefouten) bij de 0.5px en 1px drempels vergeleken met de baselines, hoewel het een iets hogere gemiddelde dispariteitfout vertoont in ambigue regio's.

• Semantische Benchmarks:

  • Op ImageNet KNN en SSv2 Action Recognition ligt TDV achter op DINO en iBOT. Het artikel erkent dat dit verwacht is, aangezien deze taken sterk leunen op semantische invarianties (bijv. een object herkennen ongeacht crop of kleur), die TDV niet expliciet afdwingt.

• Ablatie Studies:

  • Het verwijderen van de Motion Encoder of de MSE Loss veroorzaakt onmiddellijke trainingsinstorting, wat bevestigt dat dit cruciale componenten zijn.
  • Het verwijderen van augmentaties uit standaard DINO-recepten leidt tot instorting, terwijl TDV zonder deze augmentaties de instorting vermijdt.

Betekenis en Claims

Het artikel claimt dat TDV de basis legt voor representatie-leren zonder sterke aannames. De betekenis ligt in:

• Schaalbaarheid: Door het verwijderen van inductieve biases die een bottleneck kunnen worden bij opschaling, is TDV gepositioneerd voor betere asymptotische prestaties naarmate data en rekenkracht groeien.
• Modaliteit-agnostisch: Omdat het vertrouwt op causaliteit in plaats van visie-specifieke technieken (zoals cropping), zou de aanpak theoretisch toepasbaar zijn op elke modaliteit met temporele consistentie (audio, proprioceptie, tastzin).
• Efficiëntie: TDV suggereert een pad naar efficiënte video-encodering waarbij alleen het eerste frame een volledige encoder vereist, en daaropvolgende frames worden gerepresenteerd door het vorige frame's representatie te componeren met een lichtgewicht bewegingsvector.

De auteurs blijven bescheiden en merken op dat TDV momenteel niet de state-of-the-art resultaten behaalt over alle benchmarks (met name semantische taken) en dat het schalen naar grotere video-datasets verdere hyperparameter-tuning en kwalitatief betere data vereist. Ze stellen echter dat TDV succesvol heeft aangetoond dat sterke inductieve biases niet strikt noodzakelijk zijn voor het leren van dichte, ruimtelijk coherente representaties.