Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach

Este artigo propõe uma nova abordagem aberta, multifacetada e escalável para a avaliação de emoções visuais em Modelos de Linguagem Multimodal (MLLMs), introduzindo uma tarefa de julgamento de declarações emocionais e um pipeline automatizado que revelam tanto os pontos fortes quanto as lacunas significativas na inteligência emocional desses modelos em comparação com humanos.

O essencial

Imagine que você tem um grupo de robôs superinteligentes (chamados de MLLMs) que conseguem ver fotos, ler textos e conversar como humanos. Eles são incríveis em muitas coisas, mas os cientistas estavam em dúvida: será que eles realmente "sentem" ou entendem as emoções nas fotos?

Até agora, a forma de testar isso era como um teste de múltipla escolha muito rígido. Era como perguntar a um robô: "Qual é a emoção desta foto? A) Tristeza, B) Alegria, C) Raiva". Se o robô dissesse "Alegria" e a resposta certa fosse "Alegria com um toque de nostalgia", o robô era marcado como errado. Isso não funcionava bem, porque emoções humanas são complexas e subjetivas.

Este novo artigo, apresentado na conferência ICLR 2026, propõe uma maneira muito mais inteligente e flexível de testar esses robôs. Vamos usar algumas analogias para entender como eles fizeram isso:

1. O Problema: O Teste de "Sim ou Não" vs. A Realidade

Antes, os testes eram como um jogo de "Verdadeiro ou Falso" onde as perguntas eram muito fechadas.

• O problema: Se você mostra uma foto de um bombeiro salvando alguém, um humano pode sentir "coragem", mas também "medo" ou "urgência". O teste antigo forçava o robô a escolher apenas uma palavra. Se ele explicasse o contexto, o teste dizia que ele estava errado.
• A solução dos autores: Em vez de perguntar "Qual é a emoção?", eles criaram um jogo de julgamento de frases. Eles escrevem uma frase sobre a foto (ex: "Esta imagem pode evocar coragem porque mostra um bombeiro em ação") e perguntam ao robô: "Esta frase faz sentido para esta foto?".
  • Analogia: É como se um professor dissesse a um aluno: "Aqui está uma frase sobre a história que lemos. Você concorda que ela está correta?". Isso permite que o robô mostre que ele entende o contexto, não apenas uma palavra-chave.

2. A Ferramenta Mágica: O "INSETS" (O Chef de Emoções)

Para criar milhares dessas frases de teste sem precisar de milhares de pessoas escrevendo à mão (o que seria caro e demorado), eles criaram um sistema automatizado chamado INSETS.

• Como funciona: Imagine que o INSETS é um chef de cozinha robótico.
  1. Ele pede a vários robôs diferentes que olhem para uma foto e digam o que sentem (como "alegria", "nostalgia", "tensão").
  2. Ele pega todas essas opiniões e as organiza em uma "prateleira de emoções" gigante e organizada (baseada em teorias psicológicas reais).
  3. Depois, ele usa essas emoções para escrever automaticamente milhares de frases de teste, criando cenários, personagens e contextos diferentes.
• O resultado: Eles criaram um banco de dados gigante (462.000 amostras) chamado INSETS-462k, que foi depois refinado por humanos para garantir qualidade.

3. O Grande Teste: O MVEI (A Prova Final)

Com esse banco de dados, eles criaram o MVEI, que é como uma Olimpíada de Inteligência Emocional para robôs. O teste não olha apenas se o robô acerta a palavra, mas se ele entende quatro coisas diferentes:

1. O "Tom" da foto: É algo feliz ou triste? (Polaridade)
2. O "Porquê": Por que a foto gera essa emoção? (Interpretação)
3. O Cenário: Como o lugar onde a foto foi tirada muda a emoção? (Contexto)
4. A Visão Pessoal: Uma pessoa de 30 anos sentiria a mesma coisa que uma criança? (Subjetividade)

4. O Que Eles Descobriram?

Eles testaram os robôs mais famosos do mundo (como o GPT-4o) contra humanos.

• O Resultado: Os robôs são muito bons em entender o básico. Eles sabem dizer se uma foto é triste ou feliz e conseguem explicar o motivo (ex: "está chovendo, por isso é triste").
• O Problema: Eles ainda não são humanos.
  • Eles têm dificuldade em entender que a mesma foto pode ser vista de formas diferentes por pessoas diferentes (subjetividade).
  • Eles ainda confundem um pouco quando a emoção é mista (feliz e triste ao mesmo tempo).
  • Comparação: Se a nota dos humanos fosse 92, os melhores robôs tiraram cerca de 78. Eles estão indo bem, mas ainda têm um longo caminho para percorrer.

5. Por que isso importa?

Os autores dizem que, para os robôs serem verdadeiramente inteligentes e úteis para nós (como em terapia, educação ou arte), eles precisam entender não apenas o que vemos, mas como nos sentimos ao ver.

Em resumo:
Este trabalho criou um novo "olho crítico" para testar a inteligência emocional dos robôs. Em vez de forçá-los a escolher uma única palavra, eles agora conversam com eles sobre o que sentem, permitindo que os robôs mostrem sua verdadeira compreensão (ou falta dela) das emoções humanas. É um passo gigante para fazer com que a tecnologia não apenas "veja" o mundo, mas "sinta" como nós.

Resumo técnico

1. O Problema

A avaliação da capacidade de Multimodal Large Language Models (MLLMs) de perceber emoções em imagens (Análise de Conteúdo de Imagem Afetiva - AICA) enfrenta inconsistências significativas. Estudos anteriores apresentam resultados divergentes em cenários zero-shot, variando de desempenho limitado a sucesso como anotadores de dados. Os autores argumentam que essa inconsistência decorre de quatro limitações fundamentais nos métodos de avaliação tradicionais:

• Restrições Estruturais: O uso de respostas "ground-truth" fixas para perguntas abertas ignora a subjetividade inerente à percepção emocional, penalizando respostas plausíveis que não correspondem exatamente a um rótulo pré-definido.
• Taxonomias Limitadas: A maioria dos benchmarks utiliza categorias emocionais restritas (ex: 8 categorias), falhando em capturar variações afetivas de alta granularidade.
• Negligência do Contexto: Os métodos focam apenas em atributos intrínsecos da imagem, ignorando fatores extravisuais cruciais, como o contexto da cena e a identidade/personalidade do observador.
• Escalabilidade e Custo: A dependência de anotações humanas massivas (votação majoritária) para garantir confiabilidade torna a criação de datasets laboriosa e difícil de escalar.

2. Metodologia

Para superar essas limitações, os autores propõem uma solução de dois componentes: uma nova tarefa de avaliação e um pipeline de anotação automatizada.

A. Tarefa: Julgamento de Declaração de Emoção (ESJ - Emotion Statement Judgment)

Em vez de pedir ao modelo para classificar uma imagem ou explicar uma emoção, a tarefa ESJ apresenta ao MLLM um par Imagem + Declaração e solicita que ele julgue se a declaração é Correta ou Incorreta em relação à imagem.
Esta abordagem permite avaliar quatro dimensões complementares baseadas em teorias de cognição afetiva:

1. Polaridade Sentimental: Julgar se a imagem evoca predominantemente emoções positivas, negativas ou mistas.
2. Interpretação Emocional: Verificar se a explicação causal fornecida na declaração é consistente com o estado emocional identificado.
3. Contexto da Cena: Avaliar a compreensão do modelo sobre como o contexto externo (ex: "um bombeiro salvando uma família") influencia a resposta emocional.
4. Subjetividade da Percepção: Testar se o modelo consegue prever como identidades específicas de observadores (ex: "um homem de 35 anos") podem alterar a percepção emocional.

B. Pipeline de Anotação: INSETS

Para gerar dados para a tarefa ESJ sem esforço humano massivo, os autores desenvolveram o INSETS (INtelligent ViSual Emotion Tagger and Statement Constructor):

1. Tagging de Emoção de Vocabulário Aberto: Utiliza múltiplos MLLMs para extrair descrições emocionais de imagens. As emoções extraídas são filtradas e mapeadas para um modelo hierárquico estendido (baseado na taxonomia de Parrott), criando um "Modelo Hierárquico de Vocabulário Aberto" (POM).
2. Construção de Declarações: Com base nas emoções rotuladas, o pipeline gera automaticamente declarações "corretas" e "incorretas" (através de estratégias de perturbação, como troca de interpretações ou contextos) para as quatro dimensões mencionadas acima.
3. Refinamento Humano: Um conjunto de dados automatizado massivo (INSETS-462k, com 462.369 amostras) é gerado. Uma amostra estratificada é refinada por especialistas humanos para criar o benchmark final.

3. Contribuições Principais

• Novo Paradigma de Avaliação: Introdução da tarefa ESJ, que substitui a classificação rígida por um julgamento de verdade, permitindo vocabulário aberto e avaliando a subjetividade e o contexto.
• Pipeline Escalável (INSETS): Um método automatizado que utiliza MLLMs para anotar imagens com rótulos de vocabulário aberto e construir declarações multifacetadas, reduzindo drasticamente a necessidade de anotação humana.
• Benchmark MVEI: Criação do Multifaceted evaluation of Visual Emotion Intelligence (MVEI), contendo 3.086 pares imagem-declaração de alta qualidade, cobrindo as quatro dimensões emocionais.
• Avaliação Abrangente: Análise sistemática de diversos MLLMs (abertos e fechados, incluindo GPT-4o) e comparação com o desempenho humano.

4. Resultados

• Desempenho dos MLLMs: Os modelos modernos (como InternVL2.5, GPT-4o, Qwen2-VL) demonstram competência considerável, superando modelos anteriores. No entanto, nenhum modelo atingiu o desempenho máximo em todas as dimensões.
• Gap Humano: Mesmo os melhores MLLMs (ex: GPT-4o) apresentam uma lacuna significativa em relação aos humanos. A precisão humana média no subset de 300 amostras foi de 91,6%, enquanto o melhor MLLM atingiu cerca de 78,3%.
• Pontos Fracos Específicos:
  • Polaridade Sentimental: Os modelos têm dificuldade em distinguir limites entre categorias (positivo, negativo, misto), muitas vezes dependendo excessivamente de pistas afetivas fornecidas.
  • Subjetividade da Percepção: Esta é a dimensão mais fraca. Os modelos falham em capturar como a identidade do observador molda a emoção, sugerindo uma limitação fundamental na compreensão da subjetividade individual.
• Adaptação do Modelo: Técnicas de adaptação (como Fine-tuning com LoRA ou Full Parameter) melhoraram significativamente o desempenho, especialmente na polaridade sentimental (ganho de +21,1% no Full Fine-tuning). No entanto, a dimensão de subjetividade mostrou melhorias modestas, indicando que é um desafio mais profundo que requer objetivos de pré-treinamento específicos.

5. Significado e Impacto

Este trabalho estabelece uma fundação crítica para o avanço da inteligência emocional em MLLMs. Ao demonstrar que os métodos de avaliação tradicionais são inadequados para a natureza aberta e subjetiva das emoções, o artigo propõe um novo padrão (MVEI) que é:

• Personalizável: Permite avaliar nuances específicas de emoção.
• Multifacetado: Vai além da simples classificação, incluindo contexto e subjetividade.
• Escalável: O pipeline INSETS permite a criação de grandes volumes de dados de avaliação sem o custo proibitivo de anotação humana massiva.

Os resultados indicam que, embora os MLLMs tenham progredido na compreensão básica de emoções, ainda há um longo caminho a percorrer para atingir a inteligência emocional humana, particularmente na compreensão da subjetividade e do contexto social. O benchmark e o código são disponibilizados publicamente para fomentar pesquisas futuras na área de AICA e desenvolvimento de MLLMs.