Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

Technische Samenvatting: Gefactoriseerde Latente Dynamica voor Video JEPA

Probleemstelling
Joint-Embedding Predictive Architectures (JEPA) hebben zich ontwikkeld als een veelbelovend kader voor zelftoezicht op video-representatieleren, vooral via Video-JEPA (V-JEPA), dat latente embeddings van gemaskeerde spatiotemporale regio's voorspelt in plaats van pixels te reconstrueren. Het gedrag van hulpobjectieven bij training van V-JEPA op kleine schaal blijft echter slecht gekarakteriseerd. Er bestaat een kritieke lacune in het begrijpen of hulpsignalen tegelijkertijd fijne temporale dynamica (essentieel voor taken zoals actieherkenning) en statische uiterlijke representatie (essentieel voor objectherkenning) kunnen verbeteren, of dat ze capaciteitstrade-offs introduceren waarbij winst in het ene domein de prestaties in een ander domein verslechtert.

Methodologie
De auteurs voeren een empirische studie op kleine schaal uit waarin 18 varianten van hulpobjectieven worden geëvalueerd binnen twee pretrainingregimes: enkel-dataset (UCF-101) en gemengd-dataset (UCF-101 + Something-Something V2 + ImageNet-100). De studie maakt gebruik van een evaluatieprotocol met een bevroren encoder op drie complementaire benchmarks:

• Diving-48: Fijne bewegingsbegrip.
• Something-Something V2 (SSv2): Temporale redenering.
• ImageNet-100: Uiterlijke herkenning.

De 18 varianten zijn gecategoriseerd in zes groepen:

1. Kinematische Regularisatie: Boetes op temporale verschillen (L1, Huber, versnelling, gesplitste kanalen, afgekoeld).
2. Bewegingsgeleide Maskering: Vooroordeelde steekproefneming richting gebieden met hoge beweging.
3. Anti-Collapse Regularisatie: SIGReg (afdwingen van Gaussisch verdeelde embeddings).
4. Fysica-geïnspireerde Dynamica: Hamiltoniaanse en snelheidsgestuurde priors.
5. Voorspelling van Latente Dynamica: Voorspellen van temporale verschillen (Delta-JEPA, LD-JEPA, Spectral-JEPA, LTC-JEPA).
6. Gefactoriseerde Latente Objectieven: Structurele scheiding van uiterlijke en dynamische subruimten.

Belangrijkste Bijdrage: FWM-HW-LD
Het artikel introduceert FWM-HW-LD (Factorized World-Model met Hard-Region-Weighted Latent Dynamics) als een nieuw objectief tijdens de training. In tegenstelling tot een nieuwe inferentie-architectuur, wijzigt het het trainingsproces van de standaard V-JEPA-studentencoder door:

• Latente Factorisatie: Het partitioneren van de output van de encoder in twee subruimten: $Z_{app}$ (uiterlijk, aangemoedigd om temporair invariant te zijn) en $Z_{dyn}$ (dynamica, vrij om temporale variatie te vangen).
• Orthogonaliteit en Stabiliteit: Het toepassen van verliezen ($L_{static}$ en $L_{orth}$) om te waarborgen dat $Z_{app}$ in de tijd stabiel blijft en dat de twee subruimten geen redundante informatie coderen.
• Hard-Region Weighting: Het herwegen van zowel de standaard JEPA-predictiefout als de fout van de latente dynamica richting tokens met de hoogste predictiefouten, waardoor het model zich richt op moeilijke regio's.
• Latente Dynamica-kop: Een dedicated kop voorspelt temporale verschillen ($h(t+1) - h(t)$) uitsluitend met de $Z_{dyn}$-subruimte tijdens de training.

Resultaten

• Capaciteitstrade-offs: De studie vindt dat veel hulpobjectieven aanzienlijke trade-offs vertonen. Bijvoorbeeld, varianten voor kinematische regularisatie verbeterden ImageNet-100 (uiterlijk) met 1,5–1,7 procentpunten (pp), maar verslechterden Diving-48 (beweging) met 2,5–2,9 pp. Evenzo leidden pixelvoorspelling-objectieven (AC-JEPA, FAC-JEPA) tot aanzienlijke dalingen (−13 tot −16 pp) op ImageNet-100.
• FWM-HW-LD Prestaties: In de gemengd-dataset-instelling behaalde FWM-HW-LD de meest gebalanceerde resultaten onder de geteste varianten. Het verbeterde ImageNet-100 met +5,92 pp en SSv2 met +3,21 pp ten opzichte van de baseline, terwijl het binnen −0,30 pp bleef op Diving-48.
• Componentinteractie: Ablatiestudies onthulden dat de componenten van FWM-HW-LD niet-additief interageren. Hoewel Latente Dynamica (LD) alleen SSv2 verhoogde (+5,02 pp), schaakte het andere benchmarks. Factorisatie (FWM) alleen verbeterde ImageNet maar schaakte SSv2. De volledige combinatie met hard-weighting was noodzakelijk om de gebalanceerde verbetering te bereiken.
• Synthetische versus Realistische Beweging: Kinematische regularisatie toonde sterke prestaties (+40–45 pp) op synthetische bewegingsdiscriminatietaken, maar vertaalde zich niet naar realistische benchmarks voor fijne beweging, wat wijst op een mismatch in het type temporale structuur dat wordt geleerd.

Betekenis en Claims
Het artikel claimt bescheiden dat latente factorisatie een nuttige richting is voor het bestuderen van trade-offs bij hulpobjectieven in Video-JEPA. De auteurs benadrukken dat hun bevindingen gebaseerd zijn op een empirische studie op kleine schaal met één seed en moeten worden beschouwd als voorlopige signalen in plaats van statistisch vastgestelde rangschikkingen.

Belangrijkste leerpunten zijn:

1. Bestaan van Trade-offs: Hulpobjectieven dwingen vaak een competitie af tussen bewegingsdiscriminerende en uiterlijk-gevoelige capaciteiten binnen een gedeelde latente ruimte.
2. Structurele Scheiding: Het scheiden van de latente ruimte in uiterlijke en dynamische subruimten, gecombineerd met hard-region weighting, biedt een weg om deze trade-offs te mitigeren zonder pixelniveau-reconstructie te vereisen.
3. Voorzichtigheid bij Pixelvoorspelling: In deze specifieke opzet op kleine schaal waren objectieven die pixelniveau RGB-delta's voorspellen (AC-JEPA) schadelijk voor semantische herkennings taken.

De auteurs concluderen dat hoewel FWM-HW-LD veelbelovend is, het bewijs voorlopig is. Zij positioneren gefactoriseerde latente dynamica niet als een opgelost objectief, maar als een gecontroleerd mechanisme om te onderzoeken hoe uiterlijke en bewegingsinformatie concurreren of samenwerken binnen bevroren video-representaties, wat wijst op de noodzaak van grootschalige, multi-seed replicatie om deze bevindingen te valideren.