Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

Riepilogo Tecnico: Dinamiche Latenti Fattorizzate per JEPA Video

Enunciato del Problema
Le Architetture Predittive ad Incapsulamento Congiunto (JEPA) si sono affermate come un framework promettente per l'apprendimento di rappresentazioni video auto-supervisionato, in particolare attraverso Video-JEPA (V-JEPA), che prevede incapsulamenti latenti di regioni spazio-temporali mascherate anziché ricostruire i pixel. Tuttavia, il comportamento degli obiettivi ausiliari nell'addestramento V-JEPA su piccola scala rimane scarsamente caratterizzato. Esiste un divario critico nella comprensione se i segnali ausiliari possano migliorare simultaneamente le dinamiche temporali fini (essenziali per compiti come il riconoscimento di azioni) e la rappresentazione dell'aspetto statico (essenziale per il riconoscimento di oggetti), o se introducano compromessi di capacità in cui i guadagni in un dominio degradano le prestazioni in un altro.

Metodologia
Gli autori conducono uno studio empirico su piccola scala che valuta 18 varianti di obiettivi ausiliari attraverso due regimi di pre-addestramento: singolo dataset (UCF-101) e dataset misti (UCF-101 + Something-Something V2 + ImageNet-100). Lo studio utilizza un protocollo di valutazione con encoder congelato su tre benchmark complementari:

• Diving-48: Comprensione fine del movimento.
• Something-Something V2 (SSv2): Ragionamento temporale.
• ImageNet-100: Riconoscimento dell'aspetto.

Le 18 varianti sono categorizzate in sei gruppi:

1. Regolarizzazione Cinematica: Penalità sulle differenze temporali (L1, Huber, accelerazione, canali divisi, annealed).
2. Mascheratura Guidata dal Movimento: Campionamento distorto verso regioni ad alto movimento.
3. Regolarizzazione Anti-Crollo: SIGReg (imposizione di incapsulamenti distribuiti secondo una Gaussiana).
4. Dinamiche Ispirate alla Fisica: Priori di Hamiltoniano e gate di velocità.
5. Previsione di Dinamiche Latenti: Previsione delle differenze temporali (Delta-JEPA, LD-JEPA, Spectral-JEPA, LTC-JEPA).
6. Obiettivi Latenti Fattorizzati: Separazione strutturale dei sottospazi di aspetto e dinamica.

Contributo Chiave: FWM-HW-LD
Il paper introduce FWM-HW-LD (Modello del Mondo Fattorizzato con Dinamiche Latenti Ponderate su Regioni Difficili) come un nuovo obiettivo durante l'addestramento. A differenza di una nuova architettura di inferenza, modifica il processo di addestramento dell'encoder studente V-JEPA standard mediante:

• Fattorizzazione Latente: Partizione dell'output dell'encoder in due sottospazi: $Z_{app}$ (aspetto, incoraggiato a essere invariante nel tempo) e $Z_{dyn}$ (dinamica, libero di catturare la variazione temporale).
• Ortogonalità e Stabilità: Applicazione di perdite ($L_{static}$ e $L_{orth}$) per garantire che $Z_{app}$ rimanga stabile nel tempo e che i due sottospazi non codifichino informazioni ridondanti.
• Ponderazione su Regioni Difficili: Riponderazione sia dell'errore di previsione JEPA standard sia dell'errore di dinamica latente verso i token con gli errori di previsione più elevati, focalizzando il modello sulle regioni difficili.
• Testa di Dinamica Latente: Una testa dedicata prevede le differenze temporali ($h(t+1) - h(t)$) utilizzando esclusivamente il sottospazio $Z_{dyn}$ durante l'addestramento.

Risultati

• Compromessi di Capacità: Lo studio rileva che molti obiettivi ausiliari presentano compromessi significativi. Ad esempio, le varianti di regolarizzazione cinematica hanno migliorato ImageNet-100 (aspetto) di 1,5–1,7 punti percentuali (pp) ma hanno degradato Diving-48 (movimento) di 2,5–2,9 pp. Analogamente, gli obiettivi di previsione dei pixel (AC-JEPA, FAC-JEPA) hanno comportato cali sostanziali (da −13 a −16 pp) su ImageNet-100.
• Prestazioni di FWM-HW-LD: Nel contesto di dataset misti, FWM-HW-LD ha ottenuto i risultati più equilibrati tra le varianti testate. Ha migliorato ImageNet-100 di +5,92 pp e SSv2 di +3,21 pp rispetto alla baseline, rimanendo entro −0,30 pp su Diving-48.
• Interazione dei Componenti: Gli studi di ablazione hanno rivelato che i componenti di FWM-HW-LD interagiscono in modo non additivo. Mentre le Dinamiche Latenti (LD) da sole hanno potenziato SSv2 (+5,02 pp), hanno danneggiato gli altri benchmark. La Fattorizzazione (FWM) da sola ha migliorato ImageNet ma ha danneggiato SSv2. La combinazione completa con la ponderazione sulle regioni difficili era necessaria per ottenere il miglioramento equilibrato.
• Movimento Sintetico vs. Reale: La regolarizzazione cinematica ha mostrato prestazioni elevate (+40–45 pp) su compiti di discriminazione del movimento sintetico, ma non si è tradotta in benchmark di movimento fine del mondo reale, suggerendo una discrepanza nel tipo di struttura temporale appresa.

Significato e Affermazioni
Il paper afferma con moderazione che la fattorizzazione latente è una direzione utile per studiare i compromessi degli obiettivi ausiliari in Video-JEPA. Gli autori sottolineano che i loro risultati si basano su uno studio empirico su piccola scala con un singolo seme e dovrebbero essere considerati segnali preliminari piuttosto che classifiche stabilite statisticamente.

I punti chiave includono:

1. Esistenza del Compromesso: Gli obiettivi ausiliari spesso costringono a una competizione tra capacità discriminative del movimento e sensibili all'aspetto all'interno di uno spazio latente condiviso.
2. Separazione Strutturale: Separare lo spazio latente in sottospazi di aspetto e dinamica, combinato con la ponderazione sulle regioni difficili, offre una via per mitigare questi compromessi senza richiedere la ricostruzione a livello di pixel.
3. Cautela sulla Previsione dei Pixel: In questo specifico setup su piccola scala, gli obiettivi che prevedono delta RGB a livello di pixel (AC-JEPA) sono stati dannosi per i compiti di riconoscimento semantico.

Gli autori concludono che, sebbene FWM-HW-LD mostri promesse, le prove sono preliminari. Posizionano le dinamiche latenti fattorizzate non come un obiettivo risolto, ma come un meccanismo controllato per indagare come le informazioni di aspetto e movimento competano o cooperino all'interno di rappresentazioni video congelate, suggerendo la necessità di replicazioni su larga scala e con multipli semi per validare questi risultati.