I Came, I Saw, I Explained: Benchmarking Multimodal LLMs on Figurative Meaning in Memes

Resumo Técnico: Benchmarking de Modelos de Linguagem Multimodais na Interpretação de Significado Figurado em Memes

1. Problema e Motivação

Os memes da internet são uma forma ubíqua de comunicação multimodal que combina texto e imagens para transmitir significados complexos, muitas vezes através de expressões figurativas (metáforas, ironia, sarcasmo, alusões, etc.). Embora os Modelos de Linguagem Multimodais (MLLMs) tenham avançado significativamente, permanece incerto como eles integram e interpretam informações visuais e textuais para identificar e explicar esses significados não literais.

A literatura atual carece de:

• Uma avaliação sistemática da capacidade dos MLLMs generativos de detectar e explicar significados figurados.
• Uma compreensão de como a manipulação controlada de modalidades (apenas texto vs. apenas imagem) afeta a detecção de diferentes tipos de figuras de linguagem.
• Critérios bem definidos para avaliar a qualidade e a fidelidade das explicações geradas pelos modelos.

2. Metodologia

Os autores propõem uma tarefa combinada de detecção e explicação para significados figurados em memes, avaliando oito MLLMs de última geração (famílias Aya, Gemma e Qwen, com tamanhos variados de 4B a 72B parâmetros).

Configuração Experimental:

• Datasets: Foram utilizados três conjuntos de dados públicos:
  • FigMemes: Focado em memes politicamente opinativos com 6 tipos de figuras de linguagem (alusão, exagero, ironia, antropomorfismo, metáfora, contraste).
  • Memotion 2: Focado na detecção de sarcasmo.
  • MET-Meme: Focado na distinção entre memes literais e metafóricos.
• Ablação de Modalidades: Para investigar a contribuição de cada modalidade, os autores criaram três condições de entrada:
  1. Meme Original: Texto e imagem completos.
  2. Apenas Texto: A imagem foi processada para remover o texto embutido (usando OCR e inpainting com LaMa), mantendo apenas o contexto visual.
  3. Apenas Imagem: O texto embutido foi removido da imagem, mantendo apenas o conteúdo visual.
• Prompting: Dois estratégias de prompt foram testadas em configuração zero-shot:
  1. Classificação binária/multirrótulo com explicação justificativa.
  2. Pontuação contínua (0-1) indicando o grau de figuratividade, seguida de explicação.
• Avaliação:
  • Automática: Métricas de F1, precisão e recall para detecção.
  • Humana: Uma avaliação manual de 90 memes (30 de cada dataset) focando em 7 critérios: relevância, consistência, correção, comprimento adequado, completude visual, completude textual e fidelidade (ausência de alucinações).

3. Principais Contribuições

1. Novo Benchmark: Introdução de uma tarefa que exige não apenas a classificação de memes figurativos, mas também a geração de explicações justificadas.
2. Análise de Modalidades: Investigação sistemática sobre como a remoção de texto ou imagem impacta a performance em diferentes tipos de figuras de linguagem.
3. Avaliação Humana de Explicações: Estabelecimento de critérios rigorosos para avaliar a coerência e a fidelidade das explicações dos modelos em relação ao conteúdo original do meme.
4. Código e Dados: Disponibilização pública do código e dos dados de avaliação.

4. Resultados Chave

A. Desempenho na Detecção (Classificação):

• Viés de Positividade: Todos os modelos exibem um forte viés em atribuir significado figurado a memes que são, na verdade, literais. Eles tendem a "super-rotular" a presença de ironia ou metáfora.
• Dependência de Modalidade Específica:
  • Ironia e Sarcasmo: São fortemente fundamentados visualmente. A remoção da imagem causa uma queda drástica no desempenho.
  • Metáfora: Requer uma interação complexa entre texto e imagem. A remoção de qualquer uma das modalidades resulta em uma queda significativa de performance, indicando que a metáfora depende da sinergia multimodal.
  • Alusão e Exagero: São mais dependentes do texto; a remoção do texto impacta mais o desempenho do que a remoção da imagem.
• Tamanho do Modelo: Modelos maiores geralmente performam melhor, mas as diferenças de desempenho global entre as famílias são marginais. O Qwen-72B obteve os melhores resultados gerais.

B. Avaliação Humana das Explicações:

• Fidelidade e Alucinações: Mesmo quando os modelos preveem o rótulo correto, suas explicações frequentemente falham em ser fiéis ao conteúdo.
  • Alucinações Visuais: Os modelos frequentemente descrevem elementos visuais que não existem ou interpretam erroneamente gestos e ações (ex.: interpretar um dedo levantado perto da boca como um silêncio forçado, quando na imagem o dedo está levantando o nariz do gato).
  • Falta de Nuance: Os modelos têm dificuldade em capturar nuances socio-psicológicas e comportamentais humanas (ex.: a ironia de gastar muito em um celular mas se irritar com um app de 99 centavos).
• Inconsistência: Há casos onde o modelo atribui um rótulo (ex.: "sarcástico") mas a explicação gerada contradiz esse rótulo ou não fornece evidências concretas.
• Subjetividade: Em alguns casos, modelos atribuíram rótulos diferentes da "verdade de referência" (gold label), mas forneceram explicações coerentes e bem fundamentadas, sugerindo que a interpretação de significado figurado possui uma subjetividade inerente que os rótulos de consenso majoritário podem não capturar totalmente.

5. Significado e Conclusão

O estudo revela que, embora os MLLMs atuais sejam capazes de detectar padrões superficiais de figuratividade, eles ainda carecem de uma compreensão profunda e fiel do contexto multimodal.

• Limitações Atuais: A principal falha não está no processamento textual, mas na extração e interpretação correta de informações visuais e no raciocínio sobre comportamentos humanos e contextos sociais.
• Implicações Futuras: A pesquisa aponta para a necessidade de desenvolver arquiteturas multimodais mais sofisticadas que garantam a fidelidade do raciocínio (reasoning faithfulness) e uma maior sensibilidade aos contextos sociopsicológicos complexos inerentes à comunicação via memes.
• Relevância: Este trabalho serve como um alerta contra a confiança cega nas explicações geradas por IA para tarefas que exigem interpretação cultural e figurativa, destacando que alta precisão de rótulo não garante uma compreensão genuína do conteúdo.