Resumo Técnico: Modelos de Fundação de Vídeo Compreendem Física Intuitiva? Uma Análise de Sondagem por Camadas

Declaração do Problema

Embora os modelos de fundação de vídeo treinados em dados de escala de internet demonstrem um forte desempenho em tarefas que variam do reconhecimento de ações à geração condicionada por texto, permanece incerto se esses modelos codificam uma compreensão física intuitiva genuína ou se apenas dependem de estatísticas visuais superficiais e atalhos específicos de conjuntos de dados. A literatura recente sugere que as arquiteturas de vídeo modernas são motivadas como "modelos de mundo" capazes de capturar a evolução estruturada no espaço latente, contudo, avaliar se elas realmente codificam restrições físicas (ex: permanência, solidez, continuidade espaço-temporal) é difícil. O sucesso em benchmarks padrão pode refletir uma sensibilidade genérica ao movimento em vez de um raciocínio físico robusto. Este artigo investiga se as representações de vídeo pré-treinadas codificam inerentemente estruturas relevantes para a física e como a acessibilidade dessa informação varia entre paradigmas de pré-treinamento, profundidades de rede e mecanismos de leitura (readout).

Metodologia

Os autores empregam um framework de sondagem de características congeladas (frozen-feature probing), aderindo ao paradigma estabelecido por El Banani et al. (2024) e Joseph et al. (2026). Em vez de realizar o ajuste fino (fine-tuning) dos modelos para tarefas específicas, o estudo extrai representações de backbones congelados e treina sondas leves para prever a plausibilidade física.

Modelos Avaliados

Três paradigmas distintos de pré-treinamento são comparados usando seus maiores backbones disponíveis:

1. Embeddings Conjuntos Preditivos (família V-JEPA): Inclui V-JEPA, V-JEPA 2 e V-JEPA 2.1. Estes modelos preveem representações de alvo em um espaço latente em vez de reconstruir pixels brutos.
2. Reconstrução de Vídeo Mascarado (família VideoMAE): Inclui VideoMAE e VideoMAE-v2. Estes modelos são treinados para recuperar o conteúdo espaço-temporal mascarado.
3. Geração Baseada em Difusão (LTX-Video): Um gerador de texto-para-vídeo de grande escala otimizado via denoising progressivo.

Datasets

Dois benchmarks visando a compreensão física são utilizados:

• IntPhys2 (Bordes et al., 2025): Testa a sensibilidade a quatro princípios fundamentais (permanência, imutabilidade, continuidade espaço-temporal, solidez) usando uma métrica de "Violação de Expectativa" (VOE). Uma cena é considerada correta apenas se todos os clipes possíveis forem classificados com pontuação superior aos impossíveis.
• Pares de Vídeo Mínimos (MVP) (Krojer et al., 2025): Projetado para evitar o desempenho baseado em atalhos, apresentando pares de vídeos visualmente semelhantes com respostas opostas. A métrica é a consistência de par. Os autores adaptam o formato original de QA condicionado a texto para uma tarefa binária de plausibilidade física para alinhar com a sondagem de características congeladas.

Protocolos de Sondagem

As representações são extraídas de quatro profundidades relativas (aprox. 25%, 50%, 75%, 100%) de cada arquitetura. Para modelos de difusão, a sondagem também é conduzida através de 10 níveis de ruído. Três tipos de sondas são avaliados:

1. Sonda Linear: Uma única camada mapeando os embeddings agrupados (pooled) para a saída, testando a informação linearmente decodificável.
2. Sonda MLP: Um perceptron multicamadas com ativações não lineares, testando a informação presente, mas não linearmente separável.
3. Sonda Atenta Temporal: Opera diretamente na sequência de embeddings de tokens usando camadas de autoatenção e atenção cruzada para modelar explicitamente interações temporais.

Condições de Controle

Para distinguir a sensibilidade física temporal genuína de pistas de aparência estática, duas condições de controle são aplicadas:

• Frames Embaralhados (Frame-Shuffled): Os frames são permutados aleatoriamente para interromper trajetórias de movimento enquanto preservam o conteúdo do frame.
• Frame Único (Single-Frame): Um único frame é repetido durante a duração do clipe para eliminar totalmente a variação temporal.

Resultados Principais

1. Desempenho por Paradigma de Pré-treinamento

A família V-JEPA alcança consistentemente os resultados mais fortes em ambos os benchmarks, particularmente quando avaliada com leituras (readouts) temporalmente expressivas.

• V-JEPA 2.1 lidera no IntPhys2 com 66,67% de precisão de VOE.
• V-JEPA Base lidera no MVP com 94,03% de consistência de par.
• VideoMAE permanece competitivo no MVP (92,01%), mas mostra uma lacuna maior no IntPhys2.
• LTX-Video (difusão) recupera sinais mais fracos, porém não triviais, ficando atrás em ~10% no MVP e >19% no IntPhys2 em comparação com os melhores modelos V-JEPA.
• Nota: O VideoMAE-v2 apresentou desempenho extremamente baixo no IntPhys2 (15,69%), atribuído pelos autores à instabilidade do treinamento.

2. Emergência por Camada

A informação relevante para a física não é distribuída uniformemente; ela é mais fraca nas camadas iniciais e torna-se mais acessível nas profundidades intermediárias-posteriores.

• MVP: Mostra uma tendência clara de camadas tardias. O desempenho geralmente melhora em direção às camadas finais (ex: a consistência de par do V-JEPA sobe de ~59% na profundidade de 25% para ~87% na camada final).
• IntPhys2: Exibe um perfil menos monotônico, frequentemente atingindo o pico entre as profundidades de 50% e 75% antes de potencialmente declinar na camada final.
• LTX-Video: Os sinais mais fortes estão concentrados no meio do backbone e ao longo da trajetória de denoising, em vez de nos extremos.

3. Acessibilidade de Leitura (Readout)

A explicidade da informação física depende fortemente da tarefa e da capacidade da sonda.

• MVP: A informação é amplamente não diretamente legível por sondas lineares. A consistência de par para o V-JEPA salta de ~48% (linear) para ~87% (MLP) e ~94% (Atenta Temporal). Isso indica que a física relevante para o MVP requer a modelagem de interações não lineares ou temporais explícitas.
• IntPhys2: Uma fração maior do sinal é linearmente decodificável (ex: a sonda linear do V-JEPA atinge ~51% de VOE). No entanto, sondas mais expressivas (MLP e Atenta Temporal) ainda proporcionam ganhos significativos, especialmente para os modelos mais fortes.

4. Controles Temporais

A interrupção da estrutura temporal reduz substancialmente o desempenho, confirmando que o sinal não é puramente estático.

• MVP: A interrupção temporal causa um colapso catastrófico. O embaralhamento de frames reduz a consistência de par em 39–61%, e a repetição de frame único reduz em 86–100%.
• IntPhys2: Os resultados são mistos. Embora a repetição de frame único seja altamente prejudicial (ex: -85% para a sonda linear do V-JEPA), o embaralhamento de frames às vezes resulta em quedas insignificantes (0,00% para a atenção temporal do V-JEPA). Isso sugere que parte do desempenho de VOE do IntPhys2 pode depender de pistas de plausibilidade independentes de ordem ou de evidências de múltiplos frames não ordenados, em vez de um modelagem de trajetória causal robusta.

Significância e Alegações

O artigo afirma que o conhecimento de física intuitiva emerge de forma confiável em representações de vídeo pré-treinadas, mas sua acessibilidade é contingente a três fatores:

1. Objetivo de Pré-treinamento: O aprendizado de embedding conjunto preditivo (V-JEPA) produz características mais acessíveis e robustas para a física em comparação aos objetivos de reconstrução mascarada ou difusão.
2. Profundidade Representacional: A compreensão física não está presente nas camadas iniciais; ela emerge e torna-se mais acessível nas profundidades intermediárias-posteriores.
3. Mecanismo de Leitura (Readout): A capacidade de decodificar a informação física depende da capacidade da sonda em modelar não linearidades e dinâmicas temporais. Embora alguns sinais sejam linearmente decodificáveis (particularmente no IntPhys2), o raciocínio físico complexo (como no MVP) requer leituras expressivas e temporalmente conscientes.

Os autores concluem que, embora os modelos de fundação de vídeo codifiquem a estrutura física, eles não necessariamente raciocinam sobre a física de maneira humana e robusta. O estudo destaca que o sucesso em benchmarks pode ser impulsionado por vieses indutivos arquitetônicos específicos e que avaliar a compreensão física requer o desmembramento cuidadoso das dinâmicas temporais da aparência estática. Sugere-se como trabalho futuro o desmembramento dos objetivos de pré-treinamento de fatores de confusão como escala do modelo e arquitetura.