Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

Resumo Técnico: Dinâmicas Latentes Fatorizadas para Video JEPA

Declaração do Problema
As Arquiteturas de Predição de Incorporação Conjunta (JEPA) emergiram como um framework promissor para aprendizado de representação de vídeo auto-supervisionado, notavelmente através do Video-JEPA (V-JEPA), que prevê incorporações latentes de regiões espaço-temporais mascaradas em vez de reconstruir pixels. No entanto, o comportamento de objetivos auxiliares no treinamento de V-JEPA em pequena escala permanece mal caracterizado. Existe uma lacuna crítica na compreensão de se sinais auxiliares podem simultaneamente melhorar a dinâmica temporal de alta granularidade (essencial para tarefas como reconhecimento de ação) e a representação de aparência estática (essencial para reconhecimento de objetos), ou se introduzem compensações de capacidade onde ganhos em um domínio degradam o desempenho em outro.

Metodologia
Os autores conduzem um estudo empírico em pequena escala avaliando 18 variantes de objetivos auxiliares em dois regimes de pré-treinamento: conjunto de dados único (UCF-101) e conjunto de dados misto (UCF-101 + Something-Something V2 + ImageNet-100). O estudo utiliza um protocolo de avaliação com encoder congelado em três benchmarks complementares:

• Diving-48: Compreensão de movimento de alta granularidade.
• Something-Something V2 (SSv2): Raciocínio temporal.
• ImageNet-100: Reconhecimento de aparência.

As 18 variantes são categorizadas em seis grupos:

1. Regularização Cinemática: Penalidades sobre diferenças temporais (L1, Huber, aceleração, canal dividido, annealed).
2. Mascaramento Guiado por Movimento: Amostragem enviesada em direção a regiões de alto movimento.
3. Regularização Anti-Colapso: SIGReg (impondo incorporações distribuídas Gaussianamente).
4. Dinâmicas Inspiradas na Física: Priors de Hamiltoniano e velocidade-gateada.
5. Predição de Dinâmicas Latentes: Predição de diferenças temporais (Delta-JEPA, LD-JEPA, Spectral-JEPA, LTC-JEPA).
6. Objetivos Latentes Fatorizados: Separação estrutural dos subespaços de aparência e dinâmica.

Contribuição Chave: FWM-HW-LD
O artigo introduz o FWM-HW-LD (Modelo de Mundo Fatorizado com Dinâmica Latente Ponderada por Regiões Difíceis) como um objetivo novel durante o treinamento. Diferente de uma nova arquitetura de inferência, ele modifica o processo de treinamento do encoder estudante V-JEPA padrão através de:

• Fatorização Latente: Particionamento da saída do encoder em dois subespaços: $Z_{app}$ (aparência, incentivada a ser invariante temporalmente) e $Z_{dyn}$ (dinâmica, livre para capturar variação temporal).
• Ortogonalidade e Estabilidade: Aplicação de perdas ($L_{static}$ e $L_{orth}$) para garantir que $Z_{app}$ permaneça estável ao longo do tempo e que os dois subespaços não codifiquem informações redundantes.
• Ponderação por Regiões Difíceis: Re-pesagem tanto do erro de predição padrão do JEPA quanto do erro de dinâmica latente em direção a tokens com os maiores erros de predição, focando o modelo em regiões difíceis.
• Cabeça de Dinâmica Latente: Uma cabeça dedicada prediz diferenças temporais ($h(t+1) - h(t)$) usando apenas o subespaço $Z_{dyn}$ durante o treinamento.

Resultados

• Compensações de Capacidade: O estudo encontra que muitos objetivos auxiliares exibem compensações significativas. Por exemplo, variantes de regularização cinemática melhoraram o ImageNet-100 (aparência) em 1,5–1,7 pontos percentuais (pp), mas degradaram o Diving-48 (movimento) em 2,5–2,9 pp. Similarmente, objetivos de predição de pixels (AC-JEPA, FAC-JEPA) resultaram em quedas substanciais (−13 a −16 pp) no ImageNet-100.
• Desempenho do FWM-HW-LD: No cenário de conjunto de dados misto, o FWM-HW-LD alcançou os resultados mais equilibrados entre as variantes testadas. Ele melhorou o ImageNet-100 em +5,92 pp e o SSv2 em +3,21 pp em relação à linha de base, permanecendo dentro de −0,30 pp no Diving-48.
• Interação de Componentes: Estudos de ablação revelaram que os componentes do FWM-HW-LD interagem de forma não aditiva. Enquanto a Dinâmica Latente (LD) sozinha impulsionou o SSv2 (+5,02 pp), prejudicou outros benchmarks. A Fatorização (FWM) sozinha melhorou o ImageNet, mas prejudicou o SSv2. A combinação completa com ponderação por regiões difíceis foi necessária para alcançar a melhoria equilibrada.
• Movimento Sintético vs. Real: A regularização cinemática mostrou desempenho forte (+40–45 pp) em tarefas de discriminação de movimento sintético, mas não se traduziu em benchmarks de movimento de alta granularidade do mundo real, sugerindo uma incompatibilidade no tipo de estrutura temporal aprendida.

Significado e Alegações
O artigo alega modestamente que a fatorização latente é uma direção útil para estudar compensações de objetivos auxiliares no Video-JEPA. Os autores enfatizam que suas descobertas baseiam-se em um estudo empírico em pequena escala e com semente única, e devem ser vistas como sinais preliminares, e não como classificações estatisticamente estabelecidas.

As principais conclusões incluem:

1. Existência de Compensação: Objetivos auxiliares frequentemente forçam uma competição entre capacidades discriminativas de movimento e sensíveis à aparência dentro de um espaço latente compartilhado.
2. Separação Estrutural: Separar o espaço latente em subespaços de aparência e dinâmica, combinado com ponderação por regiões difíceis, oferece um caminho para mitigar essas compensações sem exigir reconstrução a nível de pixel.
3. Cautela na Predição de Pixels: Neste cenário específico em pequena escala, objetivos que predizem deltas RGB a nível de pixel (AC-JEPA) foram prejudiciais para tarefas de reconhecimento semântico.

Os autores concluem que, embora o FWM-HW-LD mostre promessa, as evidências são preliminares. Eles posicionam as dinâmicas latentes fatorizadas não como um objetivo resolvido, mas como um mecanismo controlado para investigar como informações de aparência e movimento competem ou cooperam dentro de representações de vídeo congeladas, sugerindo a necessidade de replicação em maior escala e com múltiplas sementes para validar essas descobertas.