Social Norm Reasoning in Multimodal Language Models: An Evaluation

Este artigo avalia a capacidade de cinco Modelos de Linguagem Multimodal (MLLMs) de raciocinar sobre normas sociais em cenários baseados em texto e imagem, revelando que, embora o GPT-4o demonstre o melhor desempenho geral e supere os humanos no texto, todos os modelos apresentam dificuldades com normas complexas e têm desempenho inferior em imagens.

O essencial

🤖 O Robô que Precisa Aprender a "Ler" a Sala

Imagine que você está criando um robô social. Ele não é apenas uma máquina que faz tarefas; ele precisa andar por entre pessoas, entrar em salas, fazer fila no banco e ajudar idosos. Para isso, ele precisa entender as regras não escritas da sociedade (o que chamamos de "normas sociais").

Por exemplo:

• Você bate na porta antes de entrar? (Norma de obrigação)
• Você não joga lixo no chão do parque? (Norma de proibição)
• Você cede o lugar para um idoso? (Norma de cortesia)

O problema é que, até hoje, os robôs aprendiam essas regras como se estivessem decorando um livro de leis muito rígido. Se a situação fosse um pouco diferente do livro, o robô ficava confuso.

Os autores deste artigo (da Universidade de Otago, na Nova Zelândia) tiveram uma ideia brilhante: E se usássemos os "cérebros" superinteligentes das IAs modernas (os Modelos de Linguagem Multimodais) para ensinar os robôs a entender essas regras de forma natural?

Eles queriam saber: "Será que essas IAs conseguem olhar para uma foto ou ler uma história e entender o que é 'certo' ou 'errado' socialmente, assim como um humano faria?"

🧪 O Grande Teste: A Prova de Fogo

Para descobrir a resposta, eles criaram um "exame" gigante para 5 IAs famosas (incluindo o GPT-4o, o Gemini, o Qwen e outros).

O exame tinha duas partes:

1. A Parte dos Textos: 30 pequenas histórias (como contos de fadas modernos) descrevendo situações sociais.
2. A Parte das Imagens: As mesmas 30 histórias, mas transformadas em quadrinhos (como uma tirinha de jornal), para ver se a IA conseguia "ver" a cena.

O que eles perguntaram às IAs?
Eles não perguntaram apenas "isso é certo?". Eles foram mais fundo, como um professor de ética exigente:

• "Qual é a regra aqui?"
• "Quem quebrou a regra?"
• "O personagem foi elogiado por fazer o certo?"
• "O personagem foi punido por fazer o errado?"
• "E se alguém viu a punição e não fez nada, essa pessoa também deve ser punida?" (Isso é uma regra complexa chamada metanorma).

🏆 Os Resultados: Quem passou na prova?

Aqui estão as descobertas principais, explicadas de forma simples:

1. Ler é mais fácil do que Ver 📖 vs. 🖼️

As IAs foram muito melhores em entender as histórias escritas do que as histórias em quadrinhos.

• Analogia: É como se você fosse ótimo em ler um livro de instruções, mas quando alguém te mostra um desenho esquemático, você fica confuso. As IAs ainda têm dificuldade em "ler" as emoções e ações sutis apenas olhando para uma imagem.
• O Vencedor: O GPT-4o foi o campeão absoluto, acertando quase tudo tanto no texto quanto nas imagens. O Qwen-2.5VL (que é gratuito) foi o vice-campeão e uma ótima opção para quem não pode pagar pelo GPT-4o.

2. O "Nível Mestre" é Difícil 🧠

As IAs foram ótimas em regras simples (ex: "não jogar lixo"). Mas quando o teste envolveu metanormas (regras sobre regras, como punir quem não pune quem quebrou a regra), elas travaram.

• Analogia: É fácil para uma IA entender que "não pode pular a fila". Mas é muito difícil para ela entender que "se você viu alguém pular a fila e não fez nada, você também está errado". Isso exige um raciocínio de várias camadas, como um xadrez de três dimensões.

3. O Robô Mais "Burro" (e o Mais Caro) 📉

O modelo Meta LLaMa-4 Maverick teve o pior desempenho, especialmente nas imagens. Isso mostra que nem toda IA "inteligente" é boa em entender o mundo social visual.

💡 O Que Isso Significa para o Futuro?

Este estudo é como um "boletim escolar" para as IAs. Ele nos diz:

1. Robôs Sociais são Possíveis: Podemos usar essas IAs para criar robôs que entendem o que é "bom comportamento" em uma sala de espera ou em um parque, sem precisar programar cada regra manualmente.
2. Ainda Há Espaço para Crescer: As IAs ainda precisam aprender a "ler" melhor as imagens e a entender regras sociais mais complexas e sutis.
3. A Solução Gratuita: O modelo Qwen-2.5VL mostrou que não é necessário gastar milhões para ter um robô social inteligente; existem opções gratuitas que funcionam muito bem.

🚀 Conclusão Final

Imagine que você quer construir um robô que seja o "vizinho perfeito". Este artigo diz: "Olha, já temos os cérebros (as IAs) que conseguem entender a maioria das regras sociais, especialmente se você lhes der um texto para ler. Mas, se você quiser que elas entendam o que está acontecendo apenas olhando para uma foto, ainda precisamos treinar um pouco mais. E, cuidado com as regras muito complicadas, pois elas ainda confundem!"

É um passo gigante para que, no futuro, nossos robôs não sejam apenas máquinas frias, mas companheiros que realmente sabem como se comportar na nossa sociedade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Social Norm Reasoning in Multimodal Language Models: An Evaluation", apresentado em português:

1. Problema e Contexto

O artigo aborda a lacuna na capacidade dos sistemas multiagentes (MAS) de raciocinar sobre normas sociais em ambientes complexos e dinâmicos.

• Limitação Atual: A pesquisa em Sistemas Multiagentes Normativos (NorMAS) tradicionalmente depende de abordagens simbólicas (lógica deôntica) que exigem codificação manual das normas. Isso limita a escalabilidade e a adaptabilidade a cenários do mundo real.
• Oportunidade: Os Modelos de Linguagem Multimodais (MLLMs) oferecem a promessa de raciocínio contextual sensível, capaz de processar texto e imagens simultaneamente.
• Gap de Pesquisa: Embora existam estudos sobre raciocínio de normas em LLMs baseados apenas em texto, não havia investigações anteriores sobre a competência de MLLMs (que integram visão e texto) para identificar e raciocinar sobre normas sociais em situações complexas, como as que robôs sociais encontrariam.

2. Metodologia

Os autores desenvolveram um framework de avaliação abrangente para testar cinco MLLMs de última geração: GPT-4o, Gemini 2.0 Flash, Qwen-2.5VL (72B), Intern-VL3 (14B) e Meta LLaMa-4 Maverick.

• Conjunto de Dados:
  • Foram criadas 30 histórias baseadas em texto e 30 histórias baseadas em imagens (formato de tirinhas de quadrinhos de 4 painéis).
  • As histórias cobriam 5 normas sociais distintas: bater na porta, não jogar lixo, manter a fila, pontualidade e ceder o assento para idosos.
  • Cada cenário tinha 6 variantes para testar nuances de raciocínio:
    • V1 & V2: Adesão à norma (sem e com elogio).
    • V3, V4a, V4b: Violação da norma (sem sanção, com conselho gentil, com bronca).
    • V5: Metanorma (punição de quem não pune o violador).
• Tarefa de Avaliação:
  • Os modelos responderam a 8 perguntas para cada história (mistura de respostas descritivas e sim/não).
  • As perguntas avaliavam: identificação da norma, sujeito, adesão/violação, existência de elogios/sanções e compreensão de metanormas.
• Ground Truth (Verdade Terrena):
  • Estabelecida por dois avaliadores humanos (autores) com consenso.
  • Validada por dois avaliadores externos, alcançando concordância quase perfeita (Kappa de Cohen > 0.90).
• Geração de Imagens: As tirinhas foram geradas pelo próprio GPT-4o a partir das descrições textuais, garantindo consistência semântica entre texto e imagem.

3. Contribuições Principais

1. Primeira Avaliação Multimodal de Normas: Introduz o primeiro framework sistemático para avaliar a capacidade de raciocínio normativo de MLLMs, indo além dos cenários puramente textuais.
2. Benchmarks Diversificados: Criação de um conjunto de dados com 60 histórias (30 texto + 30 imagem) cobrindo múltiplas dimensões de normas (proibição, obrigação, metanormas) e consequências sociais (elogio, sanção, punição secundária).
3. Análise Comparativa Rigorosa: Comparação direta entre o desempenho de modelos proprietários e open-source (ou gratuitos) em tarefas de raciocínio social complexo.

4. Resultados

Os resultados foram analisados através de testes estatísticos (t-test pareado, teste de Friedman, Nemenyi) e visualização de dados (boxplots).

• Desempenho Geral (Texto vs. Imagem):
  • Os MLLs performaram significativamente melhor em texto (Média = 95%) do que em imagens (Média = 84%).
  • Isso sugere que as capacidades de inferência textual dos modelos atuais ainda superam sua compreensão visual de contextos sociais.
• Ranking dos Modelos:
  • GPT-4o: O melhor desempenho em ambas as modalidades (98,75% em texto, 92,5% em imagem).
  • Qwen-2.5VL: O segundo melhor, destacando-se como a melhor opção gratuita (97,5% em texto, 85,41% em imagem).
  • Meta LLaMa-4 Maverick: O desempenho mais baixo, especialmente em imagens (76,66%).
• Dificuldade por Categoria de Norma:
  • Normas Simples (Adesão/Violação): Os modelos tiveram alta precisão.
  • Metanormas (Categoria 3 - Variante V5): Foi a tarefa mais desafiadora, com precisão mediana de apenas 75%. Os modelos falharam ao raciocinar sobre múltiplos níveis de hierarquia (identificar violação -> identificar quem pune -> identificar quem não pune).
  • Cenários Específicos: "Jogar lixo" e "Bater na porta" foram os mais fáceis; "Ceder o assento" e "Manter a fila" apresentaram maior variabilidade e dificuldade, possivelmente devido à ambiguidade visual nas tirinhas.

5. Significado e Implicações

• Viabilidade para Agentes Sociais: O estudo valida o potencial de usar MLLMs como "motores" de raciocínio normativo para robôs sociais e assistentes virtuais, permitindo que eles operem em ambientes humanos sem a necessidade de codificação manual rígida de regras.
• Limitações Atuais: A dificuldade em entender metanormas e a queda de desempenho em imagens indicam que, embora promissores, os modelos ainda precisam evoluir para lidar com a complexidade de interações sociais multilayered e ambiguidades visuais.
• Direções Futuras: Os autores sugerem a expansão para análise de vídeo (multimodalidade completa com áudio), uso de técnicas como Tree-of-Thought para raciocínio complexo, e a aplicação em agentes corporificados (robôs físicos) para validação no mundo real.
• Acesso Aberto: A descoberta de que o Qwen-2.5VL (gratuito) performa de forma competitiva com o GPT-4o é crucial para a democratização da pesquisa em robótica social e sistemas multiagentes.

Em resumo, o paper demonstra que os MLLMs atuais são ferramentas viáveis para o raciocínio social básico, mas ainda enfrentam desafios significativos na compreensão de normas complexas e na interpretação visual de nuances sociais, estabelecendo uma base sólida para o desenvolvimento de agentes autônomos socialmente inteligentes.