Resumo Técnico: Supervisão Geométrica Comportamental Alinha Modelos Fundamentais de Vídeo com a Percepção Social Humana

1. Declaração do Problema

Os modelos fundamentais de vídeo atuais, mesmo as arquiteturas auto-supervisionadas mais avançadas como o V-JEPA 2, falham em capturar como os humanos organizam informações sociais em cenas dinâmicas. Embora esses modelos se destaquem na classificação de ações (por exemplo, distinguir "dançar" de "cozinhar"), eles explicam sistematicamente menos as julgamentos de similaridade social humana em comparação com modelos de linguagem. Especificamente, embeddings de frases baseados em legendas (por exemplo, MPNet) consistentemente superam codificadores de vídeo pré-treinados na previsão de julgamentos de similaridade humana para clipes de vídeo sociais. Isso indica uma "lacuna de representação": os objetivos de pré-treinamento de vídeo perdem a estrutura relacional e afetiva inerente à percepção social humana. Além disso, os métodos de alinhamento existentes frequentemente dependem de dados fMRI caros ("ajuste cerebral") ou focam em imagens estáticas, deixando em aberto a questão de saber se a supervisão comportamental escalável pode induzir uma estrutura visual social semelhante à humana em modelos de vídeo.

2. Metodologia

2.1 Construção do Conjunto de Dados

Os autores construíram um benchmark de similaridade humana em larga escala para vídeo social dinâmico:

• Estímulos: 250 clipes de interação social naturalísticos de 3 segundos entre duas pessoas, do conjunto de dados Moments in Time.
• Tarefa: Um paradigma de paridade ímpar (OOO) de tripletos onde os participantes identificam o vídeo "ímpar" entre três, definindo implicitamente o par restante como mais similar.
• Escala: 49.484 julgamentos coletados de 245 participantes.
• Estrutura: Um algoritmo de cobertura de conjunto ganancioso garantiu que cada par de vídeos aparecesse em pelo menos um triplete. Os dados foram divididos em 200 vídeos de treinamento e 50 vídeos de teste (disjuntos em relação aos estímulos).
• Verdade Terrena: A similaridade humana é representada como uma Matriz de Similaridade Representacional (RSM) baseada na frequência de julgamentos de similaridade em pares.

2.2 Supervisão Geométrica Comportamental (BGS)

A contribuição central é a Supervisão Geométrica Comportamental (BGS), um objetivo de treinamento híbrido projetado para alinhar a geometria de embeddings de modelos de vídeo com julgamentos de similaridade humana.

• Arquitetura: Aplicada via Adaptação de Baixo RANK (LoRA) a quatro backbones heterogêneos de Vision Transformer (ViT): V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE e CLIP. Isso atualiza menos de 2% dos parâmetros.
• Função de Perda Híbrida ($L_{hybrid}$): Combina restrições locais e globais:
  1. Perda de Triplete ($L_{triplet}$): Impõe restrições locais onde a distância entre uma âncora e um par positivo é menor que a distância para um par negativo (ímpar) por uma margem $\gamma$.
  2. Perda RSA ($L_{RSA}$): Impõe geometria global alinhando a matriz de distância em pares do modelo com a RSM humana usando Análise de Similaridade Representacional (RSA). Este termo é aplicado 6 vezes por época em um subconjunto de vídeos para gerenciar a memória.
• Cronograma de Treinamento: O modelo é ajustado finamente por 50 épocas. O peso da perda RSA ($\beta$) é aumentado linearmente de 0,3 para 0,7, priorizando a correção do triplete local no início e a estrutura global posteriormente.

2.3 Controles e Baselines

Para isolar o mecanismo de melhoria, os autores compararam a BGS contra:

• Baselines Pré-treinadas: 12 codificadores de vídeo, 2 codificadores de imagem, 2 VLMs e 22 modelos de linguagem com embeddings de frases (usando legendas de vídeo).
• Ablações: Perda apenas de triplete, perda apenas de RSA e uma variante de triplete com orçamento correspondente.
• Controle de Destilação de Linguagem: Um modelo treinado com a mesma perda híbrida, mas usando embeddings de legendas do MPNet como alvo de supervisão em vez de julgamentos comportamentais humanos.

2.4 Métricas de Avaliação

• Primária: Correlação de Spearman ao quadrado ($R^2$) entre as RSMs do modelo e as RSMs humanas (teto de confiabilidade split-half $R^2 = 0,213$).
• Secundária:
  • Particionamento de Variância: Decomposição da variância explicada em componentes únicos de vídeo, únicos de linguagem e compartilhados.
  • Sondas Lineares: Teste de atributos sociais-afetivos emergentes (valência, excitação, domínio, intimidade, comunicação) sem supervisão explícita.
  • Generalização OOD: Transferência zero-shot para o conjunto de dados PHASE (interações sociais geométricas abstratas).
  • Reconhecimento de Ação: Preservação do desempenho no UCF101.
  • Análise de Atenção: Rolagem de atenção espacial para observar mudanças no foco.

3. Principais Resultados

3.1 Fechando a Lacuna de Desempenho

• Déficit Pré-treinado: Nenhum modelo de vídeo pré-treinado igualou o desempenho do melhor codificador de frases (MPNet, $R^2 = 0,134$). O melhor modelo de vídeo pré-treinado (X3D-M) atingiu apenas $R^2 = 0,124$.
• Sucesso da BGS: O ajuste fino com BGS melhorou significativamente o desempenho. O melhor modelo, V-JEPA 2.1 (destilado), atingiu $R^2 = 0,165$ (78% do teto de ruído), e o V-JEPA 2 (grande) atingiu $R^2 = 0,172$. Ambos superaram a baseline do MPNet.
• Necessidade do Objetivo Híbrido: A perda híbrida superou as variantes apenas de triplete ($R^2 = 0,158$) e apenas de RSA ($R^2 = 0,131$). Crucialmente, o controle de destilação de linguagem falhou em reproduzir esses ganhos ($R^2 = 0,123$), descartando a transferência simples de legendas como o mecanismo.

3.2 Estrutura Social-Afetiva Emergente

• Variância Única: O particionamento de variância revelou que os modelos ajustados finamente capturaram variância única nos julgamentos humanos que embeddings baseados em legendas não podiam ($R^2$ variância única de vídeo dobrou de 0,02 para 0,04).
• Atributos Não Supervisionados: Apesar de nunca terem sido treinados com rótulos de atributos, os modelos alinhados pela BGS desenvolveram representações linearmente decodificáveis de valência, excitação e domínio. Um controle de destilação de linguagem falhou em recuperar esses atributos em 4 de 5 dimensões.

3.3 Generalização e Preservação

• Transferência Zero-Shot: Os modelos alinhados pela BGS atingiram 81% de precisão no conjunto de dados PHASE (interações sociais abstratas), igualando os níveis de concordância humana e superando significativamente a baseline pré-treinada (55%). Isso demonstra generalização para estímulos fora da distribuição (OOD).
• Reconhecimento de Ação: O ajuste fino preservou (e melhorou ligeiramente para o V-JEPA 2.1) o desempenho de reconhecimento de ação no UCF101, indicando nenhuma esquecimento catastrófico das capacidades de pré-treinamento.

3.4 Mudanças Mecanísticas

• Reorganização da Atenção: A análise de rolamento de atenção mostrou uma mudança sistemática no foco espacial. Os modelos pré-treinados concentravam-se em regiões focais únicas (por exemplo, um tronco), enquanto os modelos ajustados finamente redistribuíram a atenção para regiões socialmente informativas: rostos, direções do olhar, mãos interagindo e ambos os agentes. Essa mudança ocorreu sem qualquer supervisão espacial durante o treinamento.

4. Significado e Alegações

O artigo alega que a percepção social em modelos de vídeo é uma propriedade latente que se torna acessível através de supervisão comportamental leve. As principais contribuições são:

1. Demonstração de uma Lacuna de Representação: O pré-treinamento de vídeo atual perde a estrutura visual-social, que é melhor capturada por modelos de linguagem até que um alinhamento comportamental específico seja aplicado.
2. Alinhamento Escalável via BGS: A Supervisão Geométrica Comportamental induz com sucesso uma estrutura de similaridade social semelhante à humana em backbones de vídeo diversos usando um sinal compacto (LoRA, <2% dos parâmetros) e dados comportamentais, sem os custos de infraestrutura do "ajuste cerebral" baseado em fMRI.
3. Além da Destilação de Linguagem: Os ganhos não são meramente devidos ao aprendizado a partir de legendas. A BGS captura estrutura visual-social única (por exemplo, olhar, dinâmicas de interação) que embeddings de linguagem perdem, e recupera dimensões sociais-afetivas interpretáveis sem rotulagem explícita.
4. Robustez: O método generaliza para interações sociais abstratas e fora da distribuição e preserva as capacidades padrão de reconhecimento de ação.

Os autores concluem que dados comportamentais relacionais oferecem uma forma distinta de alinhamento, orientando modelos de vídeo em direção a uma compreensão visual social semelhante à humana, moldando a estrutura geométrica dos embeddings para corresponder aos julgamentos de similaridade humana.