🤖 AI

MultivationBench: A Benchmark for Multimodal Sequential Motivation Reasoning

O artigo apresenta o MultivationBench, um novo benchmark baseado em estruturas psicológicas que avalia a capacidade de modelos de linguagem de grande escala multimodais de realizar o raciocínio de motivação sequencial em narrativas visuais orientadas por histórias, revelando que os modelos atuais têm dificuldade em manter um raciocínio consistente através de contextos dinâmicos, apesar de suas capacidades de reconhecimento estático.

Autores originais: Kawai Chung, Chunkit Chan, Yauwai Yim, Yuxuan Liu, Haochen Shi, Weiqi Wang, Qing Zong, Tianshi Zheng, Yixuan Fu, Kai Chung Wong, Hao Liang, Yifan Gao, Xi Yang, Janet Hui-wen Hsiao, Yangqiu Song

Publicado 2026-07-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kawai Chung, Chunkit Chan, Yauwai Yim, Yuxuan Liu, Haochen Shi, Weiqi Wang, Qing Zong, Tianshi Zheng, Yixuan Fu, Kai Chung Wong, Hao Liang, Yifan Gao, Xi Yang, Janet Hui-wen Hsiao, Yangqiu Song

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um filme, mas em vez de apenas ver o que acontece, você está tentando adivinhar por que os personagens estão fazendo aquilo. Este é o cerne da "inteligência social", um superpoder que os humanos possuem e que nos permite compreender os sentimentos e objetivos ocultos por trás de nossas ações. Os cientistas chamam isso de "raciocínio de motivação". Não se trata apenas de ver alguém pegar um telefone; trata-se de descobrir se a pessoa está ligando para pedir ajuda, verificando as horas ou olhando para uma foto de um ente querido que se foi. Normalmente, não adivinhamos isso a partir de uma única imagem congelada. Assistimos à história se desenrolar, reunindo pistas ao longo do tempo. Se um personagem parece triste na cena um, e depois vê uma foto na cena dois, nossa suposição sobre sua motivação muda. Este artigo investiga se os cérebos de computador mais novos e superinteligentes (chamados de Modelos de Linguagem de Grande Escala Multimodais) conseguem realizar esse mesmo tipo de "trabalho de detetive de histórias". Embora esses computadores sejam ótimos em olhar para uma imagem e descrevê-la, ou ler uma história e responder perguntas, esta pesquisa faz uma pergunta mais difícil: eles conseguem acompanhar os sentimentos mutáveis de um personagem ao longo de uma história completa, tal como um humano faz?

Os pesquisadores por trás deste estudo, liderados por uma equipe da Universidade de Ciência e Tecnologia de Hong Kong e da Amazon, decidiram construir um teste gigante para descobrir. Eles criaram algo chamado MultivationBench. Pense nisso como uma enorme biblioteca de 1.000 histórias visuais curtas, como uma mistura de clipes de filmes e postagens de redes sociais, contendo mais de 4.000 momentos específicos onde um personagem faz algo. Mas este não é apenas um teste de "o que aconteceu"; é um teste de "por que aconteceu". Para tornar o teste justo e científico, a equipe utilizou dois famosos manuais psicológicos: a Hierarquia de Necessidades de Maslow (que classifica os desejos humanos desde a sobrevivência básica, como comida e segurança, até objetivos mais elevados, como amor e autoaperfeiçoamento) e os 16 Desejos Básicos de Reiss (que observa impulsos pessoais específicos, como curiosidade, honra ou família).

A equipe pediu aos modelos de computador que assistissem a essas histórias quadro a quadro. Em cada etapa, os modelos tinham que adivinhar a motivação do personagem baseando-se apenas no que haviam visto até aquele momento. A parte complicada? À medida que a história continuava, novas informações apareciam que mudavam completamente a razão de uma ação anterior. Por exemplo, um personagem pode alcançar um telefone e, a princípio, parece que ele está apenas checando uma mensagem (uma necessidade "Cognitiva"). Mas, mais tarde, a história revela que ele está olhando para uma foto de sua família enquanto se sente solitário em uma festa, o que significa que a verdadeira razão era, na verdade, sobre "Amor e Pertencimento". O computador teria que ser inteligente o suficiente para dizer: "Espere, eu estava errado antes; agora eu sei a verdadeira razão".

Os resultados foram um pouco de um choque para o mundo da tecnologia. O artigo descobriu que, embora esses modelos de IA avançados sejam decentes em adivinhar motivações em histórias curtas e simples, eles realmente têm dificuldade quando a história se torna mais longa. Das 1.000 histórias testadas, os modelos raramente conseguiam manter seu raciocínio consistente do início ao fim. De fato, ao serem solicitados a acertar cada uma das motivações em uma história inteira, os melhores modelos tiveram sucesso em menos de 1% das vezes. O estudo sugere que esses cérebos de IA são como estudantes que são ótimos em memorizar fatos, mas péssimos em entender o fluxo de um enredo. Eles tendem a ficar presos na primeira coisa que veem e falham em atualizar seu pensamento quando novas evidências chegam. Eles frequentemente "alucinam" razões que parecem plausíveis, mas que não são sustentadas pela história, ou perdem as razões emocionais mais profundas e complexas que exigem conectar os pontos através de toda a narrativa.

Os pesquisadores também compararam a IA com humanos reais. Os humanos, que eram estudantes de pós-graduação, foram significativamente melhores na tarefa, especialmente quando as histórias eram longas e complexas. Essa lacuna mostra que, embora a IA esteja ficando melhor em ver e ler, ela ainda carece do "cérebro social" necessário para entender como nossas motivações mudam e evoluem ao longo do tempo. O artigo conclui que ainda estamos longe de ter computadores que possam verdadeiramente compreender as razões confusas e mutáveis por trás do comportamento humano em uma história. É um lembrete de que entender por que as pessoas fazem o que fazem é muito mais difícil do que apenas saber o que elas fizeram.

Resumo Técnico: MultivationBench

Declaração do Problema

Os Grandes Modelos de Linguagem Multimodais (MLLMs) demonstraram um potencial significativo na inteligência social, mas sua capacidade de raciocínio motivacional sequencial permanece subexplorada. Os benchmarks existentes baseiam-se predominantemente em textos estáticos ou instantâneos visuais isolados. Esses cenários estáticos falham em capturar a natureza cumulativa dos impulsionadores comportamentais do mundo real, onde a motivação é um constructo latente inferido a partir de comportamentos e contextos em evolução ao longo do tempo. Os benchmarks atuais frequentemente recompensam palpites localmente plausíveis, mas não avaliam se um modelo consegue atualizar sua interpretação da motivação de um personagem à medida que uma narrativa se desenrola e novas evidências se acumulam. Consequentemente, há uma falta de ferramentas de avaliação rigorosas para determinar se os MLLMs podem realizar o raciocínio motivacional sequencial baseado em contexto multimodal acumulado.

Metodologia

Construção do Benchmark: MultivationBench

Para abordar essa lacuna, os autores introduzem o MultivationBench, um benchmark de larga escala projetado para testar o raciocínio motivacional sequencial multimodal dentro de narrativas visuais orientadas por histórias. A construção segue quatro princípios fundamentais: fundamentação psicológica, dinâmica humana sequencial, avaliação de consistência de longo prazo e integridade de dados.

Fontes de Dados: O conjunto de dados agrega 1.000 narrativas visuais únicas de três fontes: SSID (estilo redes sociais), StoryReasoning e MovieBench (narrativas cinematográficas), cobrindo diversos estilos narrativos e complexidades temporais.
Estruturas Psicológicas: O benchmark fundamenta os rótulos de motivação em dois frameworks complementares:
1. Hierarquia de Necessidades Expandida de Maslow (8 níveis): Captura categorias amplas e universais de necessidades humanas (ex: Fisiológica, Segurança, Amor e Pertencimento, Autorrealização).
2. 16 Desejos Básicos de Reiss: Captura diferenças individuais mais granulares no conteúdo motivacional (ex: Família, Curiosidade, Poder, Status).
Formulação da Tarefa: Para cada comportamento de personagem visualmente fundamentado dentro de uma história, o benchmark formula quatro tarefas:
1. Definição de Maslow: Classificar a motivação com base em rótulos teóricos padrão.
2. Motivação Prática de Maslow: Escolher opções específicas ao contexto derivadas da teoria de Maslow.
3. Definição de Reiss: Classificar a motivação com base nos 16 desejos de Reiss.
4. Motivação Prática de Reiss: Escolher opções específicas ao contexto derivadas da teoria de Reiss.
- Todas as tarefas são tratadas como problemas de predição multi-rótulo, pois um único comportamento pode ser sustentado por múltiplas motivações válidas.
Pipeline: Um pipeline IA-humano é empregado. MLLMs de alto desempenho extraem cadeias de comportamento e geram motivações candidatas, que são então refinadas através de revisão e validação automatizadas. Finalmente, anotadores humanos (estudantes de pós-graduação) verificam a fundamentação visual, a saliência psicológica e a consistência lógica, alcançando alta concordância entre anotadores (Fleiss's $\kappa$ variando de 74,87% a 80,99%).

Configuração Experimental

Os autores avaliaram oito MLLMs de última geração (incluindo modelos de código fechado como Grok-4.1, Gemini-3 e o4-mini, e modelos de código aberto como as famílias Llama-4 e Phi) em um cenário zero-shot.

Configurações: As avaliações foram conduzidas sob três modalidades: Multimodal Completo, Apenas Texto e Apenas Imagem.
Métricas:
- Correspondência Exata (Exact Match - EM): Precisão rigorosa ao nível de conjunto que exige que o conjunto de opções preditas coincida exatamente com a verdade fundamental (ground truth).
- F1 Baseado em Exemplos: Mede a concordância parcial ao nível de instância, recompensando a sobreposição enquanto penaliza falsos positivos e falsos negativos.
- Consistência: Uma métrica de consistência ao nível da história foi introduzida para medir a porcentagem de histórias onde um modelo responde a todas as perguntas corretamente, testando a continuidade psicológica ao longo de toda a narrativa.

Principais Resultados

Desempenho Geral

O MultivationBench apresenta um desafio significativo para todos os modelos avaliados. Embora os modelos mostrem forças variadas (ex: o Grok-4.1-Fast alcançou o maior F1 de 55,0%, enquanto o Phi-4-multimodal-instruct alcançou o maior EM de 39,2%), nenhum modelo se aproxima do desempenho humano. Anotadores humanos alcançaram um EM de 78,6% e F1 de 87,6% nas tarefas de Motivação Prática de Maslow, comparado ao melhor modelo com 30,7% de EM e 46,0% de F1 nas tarefas de Reiss.

Análise de Modalidade

Texto vs. Multimodal: Entradas apenas de texto preservaram uma parte relativamente grande do escore F1, mas causaram um declínio acentuado na precisão de EM. Isso sugere que, embora as narrativas de texto forneçam informações suficientes para uma recuperação parcial da motivação, as pistas visuais são críticas para refinar e revisar inferências para identificar o conjunto exato da verdade fundamental.
Apenas Imagem: O desempenho foi consistentemente inferior às configurações multimodais, destacando a necessidade de combinar o contexto visual e textual.

Comprimento da Narrativa e Consistência

Impacto do Comprimento: Os modelos geralmente melhoraram de narrativas curtas (2–5 imagens) para médias (6–9 imagens), mas declinaram no desempenho em narrativas longas (10+ imagens). Isso indica que os modelos atuais têm dificuldade em manter o raciocínio motivacional correto conforme o contexto se acumula além de um horizonte moderado.
Consistência ao Nível da História: Os resultados revelam uma desconexão crítica: mesmo o melhor modelo alcançou um escore de consistência ao nível da história de apenas 0,80%. Isso indica que os modelos raramente rastreiam as motivações dos personagens corretamente ao longo de toda uma história, falhando frequentemente em revisar interpretações anteriores quando novas evidências emergem.

Análise de Erros

Sobreinterpretação: Os modelos exibem um forte viés para a Sobreinterpretação (Falsos Positivos), alucinando motivações não suportadas pela verdade fundamental. Por exemplo, o Nemotron-Nano-12B-v2-vl cometeu mais de 31.000 Falsos Positivos comparado a ~7.000 Falsos Negativos. Isso sugere que os modelos têm dificuldade em descartar pistas anteriores menos relevantes conforme novas evidências se desenrolam.
Granularidade: O desempenho cai significamente ao passar da taxonomia de Maslow (mais grosseira) para a taxonomia de Reiss (mais fina). Os modelos performam melhor em rótulos inferíveis de pistas salientes únicas (ex: Comer, Segurança), mas lutam com motivações abstratas que exigem contexto acumulado (ex: Autorrealização, Independência).

Significância e Alegações

O artigo afirma que o MultivationBench é o primeiro benchmark anotado por humanos especificamente projetado para avaliar o raciocínio motivacional sequencial multimodal em narrativas visuais orientadas por histórias. Sua significância reside em:

Expor uma Lacuna Crítica: Revela que os atuais MLLMs possuem fortes capacidades de reconhecimento estático, mas carecem do raciocínio dinâmico necessário para uma compreensão social humana, especificamente a habilidade de atualizar inferências motivacionais ao longo do tempo.
Fundamentação Psicológica: Ao utilizar os frameworks de Maslow e Reiss, permite a avaliação tanto em níveis universais (grosseiros) quanto individuais (finos), indo além da detecção de intenção superficial.
Benchmarking de Consistência: Destaca que manter a continuidade psicológica através de uma narrativa completa é um grande desafio não resolvido, com modelos falhando em rastrear motivações consistentemente mesmo em histórias curtas.

Os autores concluem que, embora os MLLMs possam identificar motivações localmente plausíveis, eles lutam com o raciocínio sequencial e cumulativo necessário para uma inteligência social profunda. O benchmark serve como um teste de estresse para essas capacidades, indicando que o progresso futuro requer modelos que possam efetivamente integrar e revisar interpretações através de longos contextos multimodais.