Resumo Técnico: Direcionamento de Física Causal em Modelos de Mundo de Vídeo via Vetores de Ativação de Conceito

Declaração do Problema

Modelos de mundo de vídeo, que aprendem representações de dinâmicas físicas para tarefas como aprendizado por reforço baseado em modelo e direção autônoma, atualmente carecem de mecanismos para controlar suas expectativas físicas no momento da inferência. Embora pesquisas recentes de interpretabilidade tenham identificado uma Zona de Emergência da Física (PEZ) dentro das camadas intermediárias do transformador do VideoMAE — onde a plausibilidade física é representada separadamente de outros recursos visuais —, permaneceu incerto se essa estrutura poderia ser manipulada diretamente para alterar o raciocínio do modelo. Métodos existentes de geração controlável (por exemplo, ControlNet) dependem de condicionamento no momento do treinamento ou adaptadores post-hoc que requerem otimização baseada em gradiente e supervisão pareada, falhando em abordar a questão fundamental de onde e como o conhecimento físico é representado internamente e se ele pode ser diretamente intervencionado sem retreinamento.

Metodologia

Os autores propõem o direcionamento de física, um método de intervenção sem treinamento e no momento da inferência que utiliza Vetores de Ativação de Conceito (CAVs) para manipular o raciocínio físico.

1. Identificação da Zona de Emergência da Física (PEZ):
   Seguindo trabalhos anteriores, os autores treinam sondas de regressão logística linear em cada camada de um VideoMAE pré-treinado para prever a plausibilidade física (possível vs. impossível). Eles identificam a PEZ como o agrupamento de camadas (especificamente as camadas 0–5, com pico na camada 5) onde a precisão da sonda está próxima do máximo.

2. Extração de CAV:
   Para cada camada dentro da PEZ, o vetor de pesos ($w_l$) da sonda linear treinada é extraído e normalizado para formar o CAV de física ($v_l$). Este vetor define uma direção no espaço de representação associada a cenários "fisicamente impossíveis". Para lidar com casos onde o número de amostras de treinamento é menor que a dimensão do recurso, os autores aplicam PCA e uma verificação de inversão de direção para garantir que o vetor esteja alinhado corretamente com o conceito.

3. Intervenção no Momento da Inferência:
   Durante a inferência, o método modifica os estados ocultos dos tokens de patch em uma camada alvo $l^*$ adicionando uma versão escalonada do CAV:
   $$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$$
   onde $\alpha$ é um parâmetro de força de direcionamento.

   • $\alpha > 0$: Desloca a representação em direção a "fisicamente impossível".
   • $\alpha < 0$: Desloca a representação em direção a "fisicamente possível".
   • $\alpha = 0$: Linha de base (sem alteração).

   A intervenção é aplicada aos estados ocultos do codificador; como o VideoMAE é um codificador, o método altera previsões sensíveis à física a jusante em vez de gerar diretamente quadros de vídeo no espaço de pixels.

4. Métricas de Avaliação:
   A eficácia do direcionamento é medida usando:

   • Taxa de Inversão (FR): A fração de vídeos de teste cuja classificação muda em relação à linha de base.
   • Delta de Pontuação ($\Delta P$): A mudança média na probabilidade de ser "impossível".
   • Pureza Direcional (DP): A similaridade de cosseno entre o deslocamento de representação observado e a direção do CAV pretendida.
   • Deriva de Representação (RD): A magnitude do deslocamento no espaço de representação.

Contribuições Principais

1. Direcionamento de Física com CAVs: Os autores demonstram que os pesos de sondas lineares nas camadas da PEZ fornecem direções de direcionamento interpretáveis. A injeção desses vetores permite o controle bidirecional do julgamento físico do modelo (levando $P(\text{impossível})$ a 1,0 ou 0,0) sem atualizar os pesos do modelo.
2. Análise de Intervenção Específica por Camada: Ao injetar o mesmo vetor em camadas diferentes, os autores mostram que o efeito de direcionamento está estritamente localizado na PEZ e nas camadas anteriores. Intervenções nas camadas 6–11 resultam em uma taxa de inversão de 0,00, confirmando que a representação física relevante é estabelecida e acessível dentro da PEZ.
3. Ortogonalidade do Subespaço: O estudo mede o ângulo entre o CAV de física e o subespaço de direção de movimento, encontrando uma ortogonalidade de 90,0°. Isso apoia a hipótese de que física e movimento são codificados em subespaços separados e não interferentes.
4. Estimativa de Dimensionalidade Intrínseca: Através do treinamento iterativo de sondas ortogonais, os autores descobrem que o subespaço de física na PEZ é dominado por aproximadamente 2–3 direções. Essa baixa dimensionalidade explica por que uma abordagem de direcionamento de vetor único é altamente eficaz.
5. Direcionamento Específico por Princípio: CAVs separados treinados para princípios distintos de física intuitiva (Permanência do Objeto, Continuidade e Solidez) são encontrados como quase ortogonais (por exemplo, 86,1° entre Continuidade e Solidez), sugerindo que princípios físicos específicos podem ser direcionados independentemente.

Resultados

Os experimentos foram conduzidos no benchmark IntPhys usando um modelo VideoMAE-base congelado.

• Eficácia do Direcionamento: Na camada principal da PEZ (Camada 5), o direcionamento com $|\alpha| \ge 5$ satura consistentemente o julgamento do modelo. O direcionamento positivo leva $P(\text{impossível})$ a 1,0, enquanto o direcionamento negativo o leva a 0,0. A pureza direcional atinge 1,00 na camada de injeção, indicando uma intervenção altamente estruturada.
• Localização: O efeito é estritamente dependente da camada. Injetar o CAV treinado na PEZ nas camadas 6–11 não produz nenhuma mudança no julgamento de física medido na Camada 5, confirmando que a representação física está localizada na PEZ e nas camadas anteriores.
• Geometria: O CAV de física é ortogonal à direção de movimento (90,0°), um grau de separação maior do que anteriormente relatado (69–83°). Isso sugere que o direcionamento da física não perturba inerentemente as representações de movimento.
• Desemaranhamento: Diferentes princípios físicos (O1, O2, O3) ocupam direções distintas dentro do espaço da PEZ, com O2 e O3 sendo quase ortogonais, permitindo um controle potencial específico por princípio.

Significado e Alegações

O artigo afirma que o raciocínio físico no VideoMAE não é apenas legível (via sondas lineares), mas também diretamente direcionável no momento da inferência. Ao identificar uma Zona de Emergência da Física localizada e utilizar CAVs, os autores fornecem um método para controlar as expectativas físicas de um modelo sem retreinamento, ajuste fino ou alterações arquitetônicas.

O significado reside em:

• Controle Causal: Ir além da correlação para demonstrar que intervir em camadas específicas de representação altera causalmente os julgamentos de plausibilidade física do modelo.
• Interpretabilidade para Ação: Abridir a lacuna entre a interpretabilidade mecânica (encontrar onde o conhecimento está) e a engenharia de representação (usar esse conhecimento para controlar o comportamento).
• Segurança e Avaliação: O método oferece uma maneira de testar sistematicamente modelos de mundo gerando cenários fisicamente impossíveis sem exigir nova coleta de dados, o que é valioso para a avaliação de segurança da IA.

Os autores mantêm um escopo modesto, observando que, embora o método controle as representações internas do codificador, produzir quadros de vídeo no espaço de pixels direcionados requer acoplar o método a um decodificador, o que fica para trabalhos futuros. Eles também enfatizam que a existência de uma PEZ em outras arquiteturas (por exemplo, DINOv2, Stable Video Diffusion) permanece uma questão empírica aberta.