Resumo Técnico: VKnowU

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram proficiência em reconhecer objetos e atributos, mas frequentemente carecem de uma compreensão intuitiva e humana dos princípios físicos e sociais subjacentes que regem o mundo. Esta lacuna representa uma deficiência no conhecimento visual — uma camada semântica de alto nível, fundamentada na visão, que faz a ponte entre a percepção e o raciocínio. Embora os modelos atuais se destaquem na percepção detalhada através de recursos de múltiplas escalas ou entradas de alta resolução, eles lutam com o conhecimento intuitivo incorporado, necessário para um raciocínio mais profundo, como prever trajetórias físicas ou inferir intenções subjetivas. Consequentemente, os MLLMs frequentemente dependem de vieses linguísticos frágeis, levando a alucinações e baixo desempenho em tarefas que exigem uma verdadeira compreensão do mundo.

Metodologia

1. VKnowU: Um Benchmark Abrangente

Para medir quantitativamente a lacuna entre a precisão perceptiva e o raciocínio cognitivo, os autores introduzem o VKnowU, um benchmark de vídeo composto por 1.249 vídeos e 1.680 questões de múltipla escolha. O benchmark é estruturado em torno de oito dimensões principais de conhecimento visual, categorizadas em dois domínios:

• Centrado no Mundo (Físico):
  • Física Intuitiva: Julgar a plausibilidade física (ex: gravidade, permanência do objeto).
  • Aptidão do Objeto (Affordance): Determinar usos funcionais baseados em propriedades estruturais.
  • Material do Objeto: Identificar a composição do material via pistas intrínsecas ou comportamentais.
  • Consciência Espacial: Inferir posições relativas e navegação.
• Centrado no Humano (Psicológico/Social):
  • Antecipação de Eventos: Inferir eventos subsequentes prováveis baseados em normas sociais.
    বিস্তৃত Estado Mental: Inferir estados psicológicos internos e atmosferas afetivas.
  • Relação Social: Inferir relacionamentos interpessoais e papéis.
  • Intenção Subjetiva: Reconstruir objetivos subjacentes por trás de ações observadas.

Construção do Dataset:
Para garantir que o benchmark avalie estritamente o conhecimento visual em vez de vieses de linguagem ou pistas de áudio, os autores empregaram um rigoroso Pipeline de Reformulação de QA:

1. Minimizar a Dependência de Áudio: Questões resolvíveis via transcrições de áudio (similaridade > 0,3) foram descartadas.
2. Reduzir o Viés de Linguagem: Questões resolvíveis apenas por LLMs de texto (Pass@10 ≥ 0,5) foram excluídas.
3. Melhorar os Candidatos Errados: Os distratores foram reconstruídos para serem semanticamente plausíveis, mas incorretos, evitando estratégias de eliminação.
4. Verificação Humana: A revisão manual final garantiu a clareza e o alinhamento com competências específicas de conhecimento visual.

2. VideoKnow+: Um Modelo de Linha de Base para Conhecimento Visual

Para abordar os déficits identificados, os autores propõem o VideoKnow+, um modelo de linha de base projetado para integrar explicitamente o conhecimento visual. A abordagem segue um paradigma Ver–Pensar–Responder (See–Think–Answer):

• Saída Estruturada: O modelo é constrangido a gerar uma descrição visual autossuficiente ("Ver") antes de raciocinar ("Pensar") e responder ("Responder"). Isso força o modelo a ancorar seu raciocínio em evidências visuais percebidas.
• Aprendizado por Reforço (RL): O modelo é treinado usando GRPO (Otimização de Política Relativa de Grupo) com uma Recompensa de Conhecimento Visual ($r_v$) especializada. Um MLLM externo congelado atua como um verificador para determinar se a descrição visual gerada é suficiente para derivar a resposta sem raciocínio adicional.
• VKnowQA: Um novo corpus de treinamento de grande escala (VKnowQA-30K e VKnowQA-CS-12K) foi construído para suportar o treinamento do VideoKnow+, garantindo que não haja vazamento de dados com o benchmark de avaliação.

Resultados Principais

Avaliação de SOTA MLLMs no VKnowU

Os autores avaliaram 28 MLLMs de última geração (incluindo modelos de código aberto e proprietários como GPT-4o, Gemini-3.0 e InternVL3.5).

• Lacuna Geral: Mesmo o modelo com melhor desempenho (Gemini-3.0-Pro) alcançou 76,3%, ficando atrás do desempenho humano (93,0%) em 16,7%.
• Déficit Centrado no Mundo: A lacuna é mais pronunciada em tarefas físicas. Os modelos ficaram atrás dos humanos em 37,0% em Física Intuitiva e 32,7% em Consciência Espacial, com alguns modelos mal excedendo o acaso nessas categorias.
• Desempenho Centrado no Humano: Os modelos tiveram um desempenho relativamente melhor em tarefas centradas no humano (melhor: 81,9%), provavelmente devido à prevalência de narrativas sociais nos dados de ajuste fino de instrução.
• Análise de Escala: O aumento do tamanho do backbone do LLM (ex: de 4B para 8B) rendeu ganhos marginais no VKnowU (+1,3%) em comparação com benchmarks gerais, sugerindo que o desempenho é limitado pelo aterramento visual, e não pela capacidade de modelagem de linguagem.

Desempenho do VideoKnow+

O treinamento do VideoKnow+ no VKnowQA com a estrutura See–Think–Answer e recompensa de conhecimento visual gerou melhorias significativas:

• VKnowU: Alcançou uma melhoria de +3,7% sobre a linha de base (Qwen2.5-VL-7B).
• Generalização: Demonstrou ganhos consistentes em outros benchmarks de vídeo:
  • MVBench: +5,4%
  • Video-MME: +7,0%
  • MMVU: +5,7%
• Ablação: A combinação de Ajuste Fino Supervisionado (SFT) para o formato estruturado e GRPO com a recompensa de conhecimento visual ($r_v$) foi considerada a estratégia mais eficaz.

Significância e Alegações

O artigo afirma que o conhecimento visual é uma pedra angular ausente para o desenvolvimento de MLLMs generalizáveis. Os autores argumentam que:

1. Limitações Atuais: Os objetivos padrão de previsão do próximo token lutam para capturar dinâmicas físicas implícitas e nuances sociais apenas através de supervisão alinhada ao texto.
2. A Ponte: O conhecimento visual serve como uma camada intermediária crítica que reduz a dependção excessiva de vieses de linguagem e mitiga alucinações.
3. Aprendibilidade: Os resultados demonstram que o conhecimento visual é aprendível. Ao estruturar explicitamente o processo de raciocínio (Ver–Pensar–Responder) e recompensar o modelo por ancorar respostas em evidências visuais, os MLLMs podem alcançar uma compreensão mais robusta e semelhante à humana.
4. Ferramenta de Diagnóstico: O VKnowU fornece uma ferramenta de diagnóstico precisa que separa o aterramento físico do raciocínio social, revelando que estes são, em grande parte, subsistemas cognitivos independentes nos modelos atuais.

O trabalho posiciona a integração explícita do conhecimento visual como um passo necessário para avançar os MLLMs de meramente "ver" para verdadeiramente "compreender" os mundos físicos e sociais.