Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

Resumo Técnico: Diagnóstico e Superação da Cegueira de Direção de Movimento em Video-LLMs

Problema: Cegueira de Direção de Movimento
Apesar dos rápidos avanços na compreensão temporal de vídeo, os Modelos de Linguagem Grande para Vídeo (Video-LLMs) apresentam uma falha fundamental na percepção da direção de movimento assinada no plano da imagem. Em vídeos sintéticos simples onde um único objeto se move estritamente para a esquerda, direita, cima ou baixo, a maioria dos Video-LLMs performa perto do acaso aleatório (25%), mesmo quando identificam corretamente a aparência do objeto (por exemplo, cor). Os autores denominam esse fenômeno cegueira de direção de movimento.

Através de análise mecanística, os autores diagnosticam a causa raiz não como uma falta de percepção visual, mas como uma lacuna de ligação de direção. Eles demonstram que a informação da direção de movimento permanece linearmente acessível ao longo de todo o pipeline do Video-LLM — do codificador de visão, passando pelo projetor, até os estados ocultos do LLM. No entanto, o token de leitura final falha em vincular de forma confiável esse sinal interno à opção de resposta verbal correta (por exemplo, mapear o sinal percebido de "para a esquerda" para a opção de texto "Esquerda"). Essa lacuna persiste em arquiteturas e escalas diversas, indicando uma limitação estrutural na forma como esses modelos convertem sinais perceptivos em respostas de nível linguístico.

Metodologia
O artigo introduz um framework diagnóstico controlado e uma solução apenas de treinamento para abordar essa lacuna.

1. Família de Conjuntos de Dados MODIRECT:
   Para isolar e avaliar a compreensão da direção de movimento, os autores introduzem o MODIRECT, uma família de conjuntos de dados composta por três subconjuntos:

   • MODIRECT-INST: Um conjunto de dados de ajuste fino por instruções derivado do domínio sintético mais simples (Primitive-on-Syn), usado para treinar modelos em consultas relacionadas à direção.
   • MODIRECT-SYNBENCH: Um benchmark sintético controlado com um desenho fatorial $2 \times 2$ (Primeiro Plano: Primitive vs. Recorte; Fundo: Sintético vs. Real). Isso permite uma avaliação rigorosa do desempenho no domínio e da generalização fora do domínio (OOD).
   • MODIRECT-REALBENCH: Um benchmark do mundo real curado a partir de conjuntos de dados existentes (Something-Something-V2, KTH, TOMATO) para testar a transferibilidade para vídeos naturais sem supervisão de direção do mundo real durante o treinamento.

2. Análise Diagnóstica:
   Os autores empregam sondagem linear e análise de vetores de conceito (diferença de médias) para rastrear o sinal de direção de movimento.

   • Descobertas: Embora o ajuste fino por instruções no domínio de origem (Primitive-on-Syn) feche com sucesso a lacuna de ligação para aquele domínio específico, o desempenho degrada-se significativamente em domínios OOD complexos (por exemplo, Recorte-em-Real).
   • Causa Raiz da Falha OOD: A análise dos vetores de conceito de direção de movimento revela que, embora a orientação (direção no espaço de representação) se alinhe entre os domínios após o ajuste, a magnitude do sinal cai abruptamente em ambientes visuais complexos. O modelo aprende a estrutura correta da direção, mas o sinal torna-se muito fraco para ser lido de forma confiável pela cabeça de linguagem.

3. DeltaDirect:
   Para abordar o déficit de magnitude, os autores propõem o DeltaDirect, um objetivo auxiliar aplicado apenas durante o treinamento no nível do projetor.

   • Mecanismo: O DeltaDirect prevê vetores de movimento 2-D normalizados a partir de deltas de características de quadros adjacentes ($\delta_t = F_{t+1} - F_t$) antes que as características entrem no LLM.
   • Supervisão: Utiliza vetores de movimento analiticamente disponíveis de dados sintéticos como alvos de supervisão. A perda incentiva a saída do projetor a carregar um sinal de deslocamento assinado mais forte.
   • Inferência: O ramo auxiliar é descartado após o treinamento, deixando a arquitetura do modelo, o formato de entrada e o procedimento de decodificação inalterados.

Principais Contribuições

1. Identificação da Cegueira de Direção de Movimento: O artigo estabelece que os Video-LLMs falham em distinguir direções de movimento assinadas básicas, apesar de um forte reconhecimento de aparência, diagnosticando isso como uma lacuna de ligação de direção e não como uma falha de percepção.
2. Diagnóstico da Falha de Generalização: Através da análise de vetores de conceito, os autores mostram que o ajuste fino por instruções alinha as orientações de direção entre os domínios, mas falha em manter a magnitude do sinal em condições visuais complexas, levando a lacunas de generalização OOD.
3. MODIRECT e DeltaDirect: A introdução de uma família de conjuntos de dados controlados para direção de movimento e um objetivo orientado por diagnóstico no nível do projetor (DeltaDirect) que fortalece os sinais de movimento sem alterar a inferência.

Resultados

• Desempenho Sintético: No MODIRECT-SYNBENCH, o ajuste fino por instruções sozinho melhora a precisão de ~26% para ~79%. A adição do DeltaDirect aumenta ainda mais a média para 85,4%, com um ganho significativo de 11,2 pontos no domínio mais difícil (Recorte-em-Real).
• Transferência para o Mundo Real: Sem ver vídeos do mundo real durante o treinamento, o DeltaDirect melhora a precisão da direção de movimento no mundo real no MODIRECT-REALBENCH em 21,9 pontos sobre a linha de base padrão (de 43,1% para 65,0%).
• Compreensão Geral de Vídeo: Crucialmente, o DeltaDirect preserva ou melhora o desempenho em benchmarks padrão de compreensão geral de vídeo (por exemplo, MVBench, NExT-QA), demonstrando que a supervisão de movimento não sacrifica capacidades mais amplas de vídeo.
• Escalabilidade: A abordagem é eficaz em diferentes backbones (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) e regimes de treinamento (LoRA e Ajuste Fino Completo).

Significado e Alegações
O artigo alega que a falha dos Video-LLMs em direção de movimento não se deve à falta de dados visuais ou capacidade do modelo, mas a uma falha específica na vinculação de sinais perceptivos internos a saídas verbais. Ao localizar essa falha em um "déficit de magnitude" em domínios complexos, os autores argumentam que a supervisão orientada por diagnóstico é um caminho viável para fechar as lacunas entre percepção e linguagem. O DeltaDirect demonstra que supervisionar explicitamente vetores de movimento na interface visual-linguística pode melhorar significativamente a compreensão de movimento, mantendo ao mesmo tempo capacidades gerais de vídeo, sugerindo que Video-LLMs futuros podem se beneficiar de intervenções direcionadas semelhantes além da simples escalagem de modelos ou conjuntos de dados. O trabalho destaca a importância de benchmarks sintéticos controlados para diagnosticar primitivos perceptivos específicos que são frequentemente entrelaçados em avaliações do mundo real.