Resumo Técnico: A Previsão Latente de Vídeo Aprende Melhores Modelos de Mundo

Declaração do Problema

Os modelos de vídeo auto-supervisionados estão cada vez mais posicionados como "modelos de mundo" — sistemas capazes de aprender as dinâmicas do mundo físico a partir da observação. No entanto, sua avaliação permanece amplamente confinada a uma única pontuação de precisão top-1 em benchmarks de classificação downstream limpos. Essa métrica é insuficiente para compreender o potencial de um modelo como um modelo de mundo implantado, pois falha em capturar propriedades críticas, como estabilidade sob ruído de sensor, tolerância a entradas ausentes, discriminação de alta granularidade entre ações visualmente semelhantes e um senso interno de ordem temporal. Além disso, falta uma avaliação comparável no nível dos objetivos de pré-treinamento, deixando uma lacuna na compreensão de como diferentes paradigmas auto-supervisionados moldam as propriedades estruturais das representações de vídeo.

Metodologia

Os autores apresentam um estudo sistemático e controlado comparando quatro modelos fundacionais de vídeo de ponta com capacidade ViT-L correspondente (~300 milhões de parâmetros):

1. V-JEPA 2.1 e V-JEPA 2: Representando o paradigma de previsão latente (Arquitetura de Embedding Conjunta Preditiva).
2. VideoPrism: Representando contraste mais previsão mascarada.
3. VideoMAEv2: Representando reconstrução de pixel (autoencoders mascarados).

Para isolar o efeito do objetivo de pré-treinamento, o estudo mantém três eixos fixos: capacidade da rede base, dados/protocolo de avaliação e uma sonda atenta leve ajustada por codificador. A avaliação utiliza o conjunto de dados Something-Something v2 (SSv2), escolhido por sua rica estrutura de classes de interações humanas-objeto de alta granularidade.

O estudo avalia esses modelos em cinco eixos de robustez:

1. Discriminabilidade de Características: Separabilidade das representações entre classes de ações estratificadas semanticamente (verbo-diferente, mesmo-verbo, fingir-vs-real).
2. Robustez a Corrupções: Precisão de classificação sob seis corrupções ImageNet-C (desfoque de movimento, neve, pixelização, ruído impulsivo, brilho, transformação elástica) em três níveis de severidade.
3. Discriminação de Ações de Alta Granularidade: Desempenho em um subconjunto de "fingimento" onde as ações simulam interações físicas sem contato real.
4. Robustez a Oclusão: Desempenho sob três paradigmas de oclusão espaço-temporal (Bloco em Movimento, Dropout Temporal, Dropout de Patch Espaço-Temporal).
5. Robustez Temporal: Sensibilidade a ordens disruptadas e à direção do tempo, medindo especificamente a capacidade de codificar a "seta do tempo" via inversão de vídeo.

Adicionalmente, o estudo compara representações V-JEPA 2 congeladas contra baselines totalmente ajustadas (VideoMAE e TimeSformer) para determinar se as vantagens observadas sobrevivem à adaptação específica da tarefa.

Contribuições e Resultados Principais

1. A Previsão Latente Forma um Perfil de Robustez Distinto

Em todos os cinco eixos, os modelos de previsão latente (variantes V-JEPA) exibem um perfil consistente e distinto em comparação com modelos de contraste e reconstrução de pixel.

• Robustez a Corrupções: O V-JEPA 2.1 degrada-se de forma mais suave sob corrupção de pixel, liderando em cinco dos seis tipos de corrupção. Isso sugere que o objetivo de embedding conjunta descarta variações visuais de nível superficial em favor de estruturas semânticas de ordem superior.
• Desacoplamento de Estabilidade e Utilidade: Uma descoberta crítica é que a estabilidade geométrica (medida pela similaridade cosseno) não equivale à usabilidade. Sob dropout severo de patches espaço-temporais, o VideoPrism mantém similaridade cosseno quase perfeita (>0,98), mas colapsa para 2,7% de precisão top-1. Por outro lado, o V-JEPA 2.1 mostra uma maior mudança no espaço de representação, mas retém 46,1% de precisão. Isso indica que a similaridade cosseno, sozinha, é uma medida enganosa da qualidade representacional para modelagem de mundo.

2. Captura de Pistas Físicas de Alta Granularidade sem Reconstrução de Pixel

Contrariamente à intuição de que modelos de reconstrução de pixel capturariam melhor detalhes espaciais finos, o V-JEPA supera o VideoMAEv2 em "ações de fingimento" (por exemplo, fingir despejar).

• As variantes V-JEPA mostram as maiores margens de desempenho em classes de alta sensibilidade onde o sinal discriminativo é a ausência de contato físico (por exemplo, um aperto vazio).
• O objetivo preditivo latente parece destilar assinaturas espaço-temporais de interação física, enquanto a reconstrução de pixel aloca capacidade para texturas superficiais que diluem esses sinais de contato.

3. Internalização da Seta do Tempo

Os modelos de previsão latente internalizam a direcionalidade temporal de forma substancialmente mais forte do que as alternativas.

• Sob inversão de vídeo, os modelos V-JEPA invertem previsões de forma coerente para classes semanticamente antônimas (por exemplo, "empurrando" $\to$ "puxando").
• Eles alcançam uma pontuação Coerência Semântica Direcional (DSCS) significativamente maior em comparação com VideoMAEv2 e VideoPrism. Isso sugere que o objetivo de pré-treinamento preditivo (prever estados latentes futuros a partir do contexto passado) codifica inerentemente causalidade e direção temporal, enquanto o aprendizado por contraste suprime esse eixo e a reconstrução de pixel o dilui.

4. Vantagens Persistem sob Adaptação de Tarefa

O estudo compara uma rede base V-JEPA 2 congelada com uma sonda atenta leve contra modelos VideoMAE e TimeSformer totalmente ajustados.

• Apesar de estarem congelados, o V-JEPA 2 supera as baselines totalmente ajustadas em robustez a corrupção e oclusão.
• Isso sugere que o objetivo de pré-treinamento, e não apenas a escala ou supervisão por rótulos, determina se uma representação de vídeo se comporta como um modelo de mundo robusto ou meramente como um classificador de benchmark limpo.

Significado

O artigo fornece evidências empíricas concretas de que a previsão latente é um paradigma superior para aprender modelos de mundo de vídeo robustos em comparação com reconstrução de pixel ou aprendizado por contraste. Os autores argumentam que a escolha do objetivo de pré-treinamento deixa uma assinatura estrutural mensurável na representação base que benchmarks de pontuação única ignoram.

O trabalho demonstra que:

• Modelos de mundo exigem mais do que precisão limpa; exigem estabilidade sob ruído, tolerância a dados ausentes e sensibilidade a semânticas físicas e direção temporal.
• A previsão latente fomenta naturalmente essas propriedades ao aprender a prever mudanças de estado abstratas em vez de estatísticas de pixels de nível superficial.
• A avaliação de modelos fundacionais deve ir além de classificações de métrica única para perfis de robustez multi-eixo, a fim de capturar as diferenças estruturais essenciais para implantação no mundo real.

Os autores concluem que o progresso em modelos fundacionais de vídeo não pode ser rastreado por uma única pontuação de precisão e que uma avaliação multi-eixos é necessária para identificar representações capazes de suportar planejamento e raciocínio físico.