MetaphorVU: Towards Metaphorical Video Understanding

Resumo Técnico: MetaphorVU: Rumo à Compreensão Metafórica de Vídeo

Declaração do Problema
Vídeos metafóricos são prevalentes em cenários do mundo real (por exemplo, redes sociais, comunicação pública) para transmitir ideias complexas, como crítica social, contemplação da vida e advocacy de valores. Compreender esses vídeos exige capacidades cognitivas de alta ordem, especificamente a habilidade de realizar mapeamento entre domínios — vinculando elementos visuais percebidos a conceitos abstratos subjacentes. Embora os Modelos de Linguagem Grandes Multimodais (MLLMs) tenham avançado significativamente em tarefas de percepção literal (reconhecimento de objetos, descrição de eventos), há uma falta de estudo sistemático sobre sua capacidade de compreender conteúdo metafórico em vídeo. Essa lacuna limita a avaliação das capacidades cognitivas de alta ordem dos MLLMs e impede sua aplicação confiável em cenários complexos do mundo real.

Metodologia
Para abordar essa lacuna, os autores propõem uma metodologia de três vertentes: a construção de um benchmark, uma avaliação sistemática de modelos existentes e o desenvolvimento de um framework de aprimoramento no momento da inferência.

1. Construção do MetaphorVU-Bench:

   • Taxonomia: Os autores projetaram a primeira taxonomia sistemática de metáforas em vídeo fundamentada na teoria da metáfora multimodal e nos estudos de vídeo. Ela categoriza metáforas em vídeo em oito tipos: Linguagem Corporal, Linguagem Atmosférica, Símbolo Cultural, Símbolo Naturalista, Montagem Causal, Montagem Analógica, Narrativa Surreal e Narrativa Performática.
   • Curadoria de Dados: O benchmark consiste em 860 vídeos obtidos de uma plataforma real de vídeos curtos (Kuaishou). O processo de seleção envolveu uma estratégia de filtragem em múltiplos estágios:
     • Filtragem inicial baseada no volume de comentários da audiência (>150 comentários).
     • Análise baseada em LLM de introduções de vídeo, resultados de ASR e comentários para identificar lógica metafórica.
     • Verificação baseada em MLLM para garantir consistência visual com a lógica inferida.
     • Filtragem humana final e identificação de tipos.
   • Anotação: Anotadores humanos forneceram "interpretações douradas" seguindo um formato fixo (especificando elementos visuais e seus significados implícitos) e atribuíram títulos. A validação cruzada e o controle rigoroso de qualidade (incluindo o silenciamento de vídeos para remover dicas de legendas) garantiram anotações de alta qualidade e confiáveis.

2. Avaliação Sistemática:

   • O benchmark foi utilizado para avaliar 11 MLLMs representativos (tanto de código fechado quanto de código aberto) e vários métodos aprimorados por raciocínio (pós-treinamento e escalonamento no momento da inferência).
   • Métricas: A avaliação utilizou um juiz LLM (DeepSeek-V3.2) para pontuar interpretações de texto livre contra referências douradas, avaliando a precisão na ancoragem de elementos visuais e na revelação de significados implícitos.

3. Framework MetaphorBoost:

   • Motivação: A análise de erros revelou que mais de 80% das falhas não foram devidas a erros de reconhecimento, mas a mapeamento entre domínios defeituoso (mapeamento ausente, superficial ou inadequado).
   • Construção do Grafo de Conhecimento: Os autores construíram o primeiro grafo de conhecimento metafórico contendo 54.687 nós e 200.268 arestas. Isso foi feito extraindo pares de conceitos metafóricos de conjuntos de dados textuais públicos de metáforas e conectando conceitos relacionados.
   • Aprimoramento no Momento da Inferência: O MetaphorBoost opera no momento da inferência. Primeiro, identifica palavras-chave visuais do vídeo, consulta o grafo de conhecimento metafórico (usando uma estratégia de múltiplos saltos) para recuperar conceitos-alvo relevantes e utiliza esses conceitos recuperados como andaimes cognitivos externos para guiar o MLLM na geração da interpretação final da metáfora.

Resultados Principais

• Lacuna de Desempenho: Os MLLMs atuais lutam significativamente com a compreensão metafórica de vídeo. Mesmo os modelos mais avançados (por exemplo, Gemini-3-Pro, GPT-5) alcançaram pontuações médias em torno de 64, ficando atrás de quase 20 pontos em relação ao desempenho humano (83,4).
• Análise de Falhas: A principal causa de falha é o mapeamento entre domínios defeituoso. Métodos existentes aprimorados por raciocínio (por exemplo, VideoRFT, Vision-R1) projetados para reconhecimento ou descrição de eventos produziram melhorias marginais ou negativas nesta tarefa.
• Eficácia do MetaphorBoost: O framework MetaphorBoost proposto alcançou melhorias consistentes de desempenho em múltiplos modelos base. Por exemplo, melhorou a pontuação média do Gemini-3-Pro de 63,8 para 66,1 e do Qwen2.5-VL-7B-Instruct de 33,8 para 37,9.
• Estudos de Ablação: Experimentos confirmaram que o conhecimento externo é crucial, que grafos de conhecimento estruturados superam a recuperação de texto simples e que conhecimento orientado a metáforas é mais eficaz do que conhecimento geral de senso comum (por exemplo, ConceptNet) para esta tarefa específica.

Significado e Alegações
O artigo alega fornecer o primeiro benchmark sistemático e abrangente dedicado à compreensão metafórica de vídeo, permitindo uma avaliação rigorosa das capacidades cognitivas de alta ordem em MLLMs. Os autores afirmam que seu trabalho identifica o mapeamento entre domínios como o gargalo crítico nos modelos atuais e demonstra que o aprimoramento da inferência com um grafo de conhecimento metafórico é uma estratégia eficaz para superar essa limitação. O artigo posiciona o MetaphorVU-Bench e o MetaphorBoost como recursos e métodos fundamentais para pesquisas futuras visando avançar as capacidades cognitivas dos MLLMs além da percepção literal.