Resumo Técnico: ViMU - Avaliação da Compreensão Metáforica em Vídeos

1. Definição do Problema

Os modelos atuais de compreensão de vídeos focam predominantemente na compreensão visual literal, como reconhecimento de objetos, ações e relações temporais. No entanto, o verdadeiro significado de muitos vídeos reside frequentemente não no conteúdo explícito, mas no subtexto: ideias implícitas, recursos retóricos, sinais sociais e significados culturalmente fundamentados (por exemplo, ironia, ridicularização, crítica ou alusões políticas) que exigem inferência além do que é explicitamente mostrado.

Os benchmarks existentes falham em abordar essa lacuna efetivamente porque eles ou:

1. Alvo relações espaciais ou físicas ocultas em vez de significados fundamentados socialmente.
2. Focam estreitamente no humor não verbal.
3. Dependem de formatos de múltipla escolha onde as opções podem inadvertidamente revelar hipóteses plausíveis de subtexto, falhando em impor inferência sem pistas.

O artigo postula que a compreensão do subtexto de vídeos requer a integração de evidências multimodais, a recuperação de referências situadas culturalmente e a inferência da intenção comunicativa do criador sem pistas explícitas.

2. Metodologia: O Benchmark ViMU

Os autores introduzem o ViMU (Compreensão Metáforica em Vídeos), o primeiro benchmark projetado para avaliar sistematicamente as capacidades de compreensão de subtexto de modelos de ponta.

Construção do Conjunto de Dados

• Escala: 588 vídeos com 2.352 perguntas.
• Fonte: Curadoria de plataformas como YouTube, Bilibili e TikTok.
• Pipeline de Curadoria: Um processo multiestágio envolvendo:
  1. Extração de Evidências Multimodais: Quadros amostrados uniformemente e transcrições de áudio.
  2. Anotação de Taxonomia Baseada em LLM: Uso de modelos de ponta para separar conteúdo literal do significado pretendido, decompondo o subtexto em mecanismos retóricos e sinais de valor social.
  3. Geração de Perguntas sem Pistas: As perguntas são geradas para serem "sem pistas", o que significa que não revelam explicitamente a dimensão semântica (por exemplo, sarcasmo, viés) sendo testada, prevenindo aprendizado por atalhos.
  4. Validação Iterativa: Um ciclo iterativo onde LLMs e especialistas humanos refinam as perguntas para garantir dificuldade, implicitidade e alinhamento com o significado pretendido.
• Diversidade: O conjunto de dados cobre mais de 10 mecanismos retóricos (por exemplo, ironia, tom seco, isca e troca) e sinais de valor social (por exemplo, desprezo, violação de normas, sinalização política). As fontes de evidência incluem quadros, texto visível, padrões de edição, transcrições e tom de áudio.

Tarefas de Avaliação

O ViMU compreende quatro tarefas distintas para sondar aspectos complementares da compreensão de subtexto:

1. Interpretação Aberta (OE): Os modelos devem explicar o significado geral pretendido de um vídeo sem opções predefinidas.
2. Fundamentação de Evidências (EG): Uma tarefa de múltipla escolha onde os modelos selecionam os elementos multimodais específicos (por exemplo, tom de áudio, padrão de edição) que sustentam sua interpretação.
3. Identificação de Mecanismo Retórico (RM): Os modelos identificam os dispositivos retóricos usados para construir a mensagem a partir de uma taxonomia predefinida.
4. Identificação de Sinal de Valor Social (SV): Os modelos identificam a posição social subjacente ou a implicação normativa transmitida pelo vídeo.

3. Contribuições Principais

• Primeiro Benchmark Sistemático: O ViMU é o primeiro benchmark especificamente projetado para avaliar a compreensão metáforica em vídeos e a inferência de subtexto de maneira sem pistas.
• Taxonomia Estruturada: Introduz um framework bidimensional que separa como o significado é transmitido (mecanismos retóricos) do que significado social é expresso (sinais de valor social).
• Protocolo de Avaliação Abrangente: O benchmark inclui tanto tarefas abertas quanto de múltipla escolha, com foco específico em fundamentar interpretações em evidências multimodais observáveis.
• Curadoria Rigorosa: O conjunto de dados é construído para eliminar dependências de contexto externo e garantir que as perguntas não possam ser respondidas apenas por descrição superficial.

4. Resultados Experimentais

Os autores avaliaram 16 Modelos de Linguagem Multimodais Grandes (MLLMs) populares, incluindo modelos de pesos abertos e de código fechado.

• Desempenho Geral: Modelos de ponta lutam significativamente com a compreensão metáforica. A maioria dos modelos, incluindo os mais avançados de código fechado, alcança menos de 50% de desempenho geral nas quatro tarefas.
• Disparidade de Tarefas:
  • Os modelos performam relativamente melhor na Interpretação Aberta (OE) e na Fundamentação de Evidências (EG), com os melhores desempenhos (por exemplo, GPT-5.2) atingindo ~70%.
  • O desempenho cai drasticamente na Identificação de Mecanismo Retórico (RM) e na Identificação de Valor Social (SV), onde os melhores modelos frequentemente pontuam em torno de 20-30%.
• Comportamentos dos Modelos:
  • Conservadorismo: Os modelos tendem a ser conservadores na seleção de evidências, frequentemente subselecionando pistas necessárias em vez de alucinar extras.
  • Viés: Há uma tendência sistemática de superprever categorias genéricas ou "mais seguras" (por exemplo, "Literal/Direto" ou "Atitude Emocional") enquanto subpreveem categorias implícitas ou socialmente codificadas (por exemplo, "Enquadramento Social Implícito/Codificado" ou "Sinalização de Identidade/Ideológica").
  • Agrupamento Familiar: Modelos da mesma família exibem perfis de erro semelhantes, sugerindo vieses indutivos compartilhados na forma como organizam os rótulos da taxonomia.
  • Sem Superioridade Universal: Alto desempenho em tarefas gerais de compreensão de vídeo não garante sucesso em tarefas de subtexto metáforico. Além disso, alguns modelos de pesos abertos (por exemplo, Qwen3.5-27B) superam certos modelos de código fechado.

5. Significado e Alegações

O artigo alega que o ViMU expõe uma limitação fundamental nos sistemas atuais de compreensão de vídeo: a incapacidade de ir além da percepção literal para interpretar significados implícitos e fundamentados socialmente.

• Identificação da Lacuna: O benchmark demonstra que as capacidades de ponta na interpretação geral de vídeos não se traduzem automaticamente em compreensão precisa de postura implícita, enquadramento retórico ou significado socialmente codificado.
• Utilidade Diagnóstica: Ao fornecer análises detalhadas dos comportamentos dos modelos (por exemplo, erros de fundamentação de evidências, distorção da geometria da taxonomia), o ViMU oferece insights sobre fraquezas específicas, como a falha em recuperar padrões de evidência estruturada de múltiplas fontes.
• Direção Futura: Os autores sugerem que avançar em direção a uma interpretação de vídeo robusta e semelhante à humana exige modelar não apenas o que é mostrado, mas o que é pretendido. Eles posicionam o ViMU como uma ferramenta para guiar o desenvolvimento de modelos capazes de lidar com a complexidade do subtexto social e cultural em conteúdo de vídeo.

O artigo conclui com um aviso de que o conjunto de dados contém conteúdo potencialmente ofensivo e prejudicial, destinado exclusivamente a fins de avaliação para expor limitações dos modelos em segurança e compreensão social, e não como um recurso de treinamento.