Interpreting Video Representations with Spatio-Temporal Sparse Autoencoders

Probleemstelling

Sparse Autoencoders (SAE's) hebben de interpretatie van taalkundige modellen en statische beeldencoders revolutionair gemaakt door neurale activaties te ontleden in interpreteerbare, monosemantische (één betekenis dragende) features. Echter, bij video-modellen blijft een fundamenteel probleem onopgelost: temporale coherentie.

Wanneer standaard SAE's worden toegepast op videofeatures (die bestaan uit een tensor van $T$ frames en $P$ ruimtelijke patches), behandelen ze elke patch onafhankelijk. Dit leidt tot een structureel falen:

1. Verlies van tijdsconsistentie: Door de harde TopK-selectie (waarbij slechts de $k$ sterkste activaties worden behouden) kunnen dezelfde ruimtelijke posities in opeenvolgende frames volledig verschillende features activeren, zelfs als de visuele inhoud nauwelijks verandert.
2. Gevolg: Dit vernietigt de temporale structuur. De paper rapporteert een daling van de lag-1 autocorrelatie met 36% ten opzichte van de ruwe features, wat het onmogelijk maakt om concepten (zoals een bewegend object) betrouwbaar over tijd te volgen.

Methodologie

De auteurs stellen een nieuwe architectuur voor: Spatio-Temporal Sparse Autoencoders. De kern van hun aanpak is het introduceren van contrastieve doelen en hiërarchische groepering om de temporale coherentie te herstellen zonder de interpretativiteit te verliezen.

1. Contrastieve Varianten:
De standaard SAE-verliesfunctie ($L_{base}$) wordt aangevuld met InfoNCE-contrastieve verliezen die consistentie tussen naburige patches stimuleren:

• Temporal Contrastive (T-SAE): Vergelijkt dezelfde ruimtelijke positie $p$ in opeenvolgende frames ($t$ en $t+1$) om temporale consistentie af te dwingen.
• Separate Contrastive (ST-SAE): Voegt een extra ruimtelijk contrastief verlies toe voor horizontaal aangrenzende patches binnen hetzelfde frame, naast het temporale verlies.
• Raster-Scan Contrastive (R-SAE): Serielt de 2D-grid van patches (rij per rij, frame per frame) tot een 1D-sequentie en past één enkel contrastief verlies toe op opeenvolgende elementen. Dit verenigt ruimtelijke en temporale coherentie automatisch.

2. Matryoshka Hiërarchische Groepering (+M):
Orthogonaal aan de contrastieve verliezen wordt de dictionary ($H=6144$) opgesplitst in een hoog-niveau groep (20% van de features, voor semantische/actie-relevante informatie) en een laag-niveau groep (80%, voor fijne details). Een extra reconstructieverlies zorgt ervoor dat de hoog-niveau groep zelfstandig genoeg is. Dit concentreert actie-relevante informatie in een compact subset.

3. De Trade-off:
De auteurs identificeren dat de contrastieve sterkte (gecontroleerd door de verliescoëfficiënt $\lambda$ of de temperatuur $\tau$) een instelbare as vormt tussen reconstructie-accuraatheid en temporale coherentie. Dit is geen beperking, maar een controleerbaar mechanisme voor de gebruiker.

Belangrijkste Bijdragen

1. Systematisch Empirisch Onderzoek: De eerste studie die SAE's toepast op videofeatures (gebaseerd op DINOv2 en VideoMAE) en aantoont dat deze modellen monosemantische concepten kunnen ontleden (scène-elementen, objecten, acties).
2. Diagnose van een Metrisch Artefact: De auteurs tonen aan dat de standaard "MonoSemanticity Score" (MS) een artefact bevat door de achtergrond van de vergelijkingsmetriek. Wanneer een neutrale CLIP-achtergrond wordt gebruikt, blijken zowel DINOv2 als VideoMAE even monosemantische features te produceren, wat de eerdere schijnbare superioriteit van VideoMAE ontkrachtte.
3. Oplossing voor Temporele Incoherentie: Het aantonen dat contrastieve training de temporale coherentie kan herstellen en zelfs kan verbeteren boven de ruwe features, terwijl de discriminatiekracht voor acties toeneemt.
4. Controleerbare Pareto-Frontier: Het vaststellen dat er geen enkele "beste" configuratie is, maar dat verschillende instellingen (lage vs. hoge $\lambda$) optimaal zijn voor verschillende doelen (reconstructie, coherentie, discriminatie of interpretatie).

Resultaten

De experimenten zijn uitgevoerd op twee datasets (Something-Something v2 en Kinetics-400) met twee backbones (DINOv2 en VideoMAE).

• Temporale Coherentie: Standaard SAE's dalen in lag-1 autocorrelatie naar 0.277 (van 0.435 bij ruwe features). De Temporal+M variant (met hoge gewicht) haalt een score van 0.462, wat zelfs hoger is dan de ruwe DINOv2 features.
• Actie-classificatie: Contrastieve SAE-features verbeteren de actie-classificatie met +3.9% ten opzichte van ruwe features (van 17.4% naar 20.4% bij DINOv2).
• Tekst-Video Retrieval: De prestaties verbeteren dramatisch. Voor DINOv2 stijgt de Recall@1 van 4.6% (ruw) naar 13.0% (SAE), een factor 2.8x. Voor VideoMAE is de verbetering 1.9x.
• Causale Ablatie: Causale ablatie-experimenten tonen aan dat contrastieve training de voorspellende signalen concentreert in een klein aantal identificeerbare features. Het verwijderen van slechts 10 features bij de Temporal-variant leidt tot een daling van 9.3% in nauwkeurigheid, wat aantoont dat de informatie niet willekeurig verspreid is.
• Interpretatie: De features vertegenwoordigen duidelijke concepten zoals "hand die duwt", "vlakke oppervlakken" of specifieke actiepatronen, en zijn stabieler in de tijd dan bij standaard SAE's.

Betekenis en Conclusie

Dit paper legt de basis voor mechanistische interpretatie van videomodellen. Het bewijst dat SAE's effectief kunnen worden toegepast op spatiotemporale data, mits de architectuur rekening houdt met de tijdsdimensie.

De belangrijkste inzichten zijn:

• Temporele coherentie is geen bijproduct, maar moet expliciet worden afgedwongen via contrastieve doelen.
• Er bestaat een directe, controleerbare relatie tussen de sterkte van het contrastieve verlies en de balans tussen het kunnen reconstrueren van het beeld en het behouden van een stabiele tijdslijn.
• De methode werkt het beste voor modellen die geen temporale pretraining hebben gehad (zoals DINOv2), maar biedt ook voordelen voor video-native modellen (VideoMAE) in termen van interpretatie en retrieval.

De auteurs concluderen dat spatiotemporale SAE's een krachtig instrument zijn om te begrijpen wat videomodellen intern leren, en bieden een blauwdruk voor het ontwerpen van toekomstige interpreteerbare visuele systemen.