💬 NLP

Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

Este artigo demonstra que, embora os Grandes Modelos de Linguagem (LLMs) repliquem qualitativamente a estrutura das inferências sociais humanas, eles variam significativamente na calibração da magnitude dessas inferências, sendo que estratégias de prompt baseadas na teoria pragmática — especificamente aquelas que combinam a consideração de estados de conhecimento do falante e motivações comunicativas — melhoram a precisão quantitativa, embora não a resolvam completamente.

Autores originais: Roland Mühlenbernd

Publicado 2026-04-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Roland Mühlenbernd

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🤖 O "Ator" que Entende a Piada, mas Exagera o Tom: O que os Modelos de IA Realmente Pensam?

Imagine que você está ensinando um ator robótico (uma Inteligência Artificial) a interpretar um papel em uma peça de teatro. O objetivo é que ele aja exatamente como um humano real em situações sociais.

Este artigo é como um "teste de direção" para ver se esses robôs (chamados de Modelos de Linguagem Grandes ou LLMs) não apenas entendem a história, mas também conseguem capturar a intensidade correta das emoções humanas.

1. O Problema: Entender a Direção, mas Perder a Intensidade

Os pesquisadores descobriram algo fascinante e um pouco preocupante:

O que eles fazem bem (A Estrutura): Os robôs entendem perfeitamente a "direção" da coisa. Se um humano diz "O carro custou $500" (exato) versus "O carro custou cerca de $500" (aproximado), o robô sabe que, em uma situação séria (como um seguro), a resposta exata faz a pessoa parecer mais competente. Eles acertam o "norte".
Onde eles falham (A Magnitude): O problema é o "volume" da voz. Enquanto um humano pode achar que a resposta exata é um pouco melhor, o robô muitas vezes acha que é 10 vezes melhor. Eles entendem a lógica, mas exageram (ou diminuem) a força da opinião. É como se o robô soubesse que o personagem deve estar feliz, mas começa a gritar de alegria como se tivesse ganhado na loteria, quando deveria apenas dar um sorriso.

2. A Ferramenta de Medição: O "Régua Social"

Para medir isso, os autores criaram duas novas réguas (métricas):

A Régua da Direção: Verifica se o robô acertou o sentido (positivo ou negativo).
A Régua do Calibrador: Verifica se o robô acertou a força da opinião.
Analogia: Imagine que você está ajustando o volume de uma música. Todos os robôs sabem qual botão é o "Volume" (Estrutura), mas alguns deixam o som muito baixo e outros estouram os alto-falantes (Calibração).

3. O Experimento: O Caso da Bicicleta

Para testar isso, eles usaram um cenário simples:

Cenário A (Alta Precisão): Alguém precisa declarar o valor de uma bicicleta roubada para o seguro. Aqui, ser exato é importante.
Cenário B (Baixa Precisão): Um amigo pergunta casualmente quanto custou a bicicleta. Aqui, ser aproximado é normal e amigável.

Eles pediram a três modelos de IA famosos (GPT, Claude e Gemini) para julgar a "competência" da pessoa que respondeu.

O Resultado:

Todos os robôs acertaram que, no seguro, a resposta exata é melhor.
Mas, no seguro, o Gemini exagerou tanto a competência da pessoa que a resposta exata parecia um super-herói, enquanto a resposta aproximada parecia um vilão. O GPT foi o mais equilibrado, mas ainda assim não era perfeito.

4. A Solução Tentada: "Dicas de Ator" (Prompting)

Os pesquisadores tentaram ensinar os robôs a pensarem como humanos, usando duas dicas baseadas na teoria da comunicação humana:

Dica 1: "Pense nas Alternativas" (Alternative-Aware):
- O que é: "Lembre-se que o falante poderia ter dito outra coisa."
- O que aconteceu: Funcionou para alguns, mas para o robô que já exagerava (Gemini), isso foi como colocar gasolina no fogo. Ele começou a exagerar ainda mais, comparando as opções de forma muito drástica.
- Analogia: É como dizer a um ator: "Pense em todas as outras linhas que você poderia ter dito". Às vezes, isso faz o ator ficar tão focado na comparação que a atuação fica forçada.
Dica 2: "Pense no Que o Outro Sabe" (Knowledge-and-Motives):
- O que é: "Pense no que a pessoa sabia e por que ela escolheu falar assim."
- O que aconteceu: Essa foi a melhor dica! Ao forçar o robô a considerar que a pessoa pode não ter certeza do valor exato, o robô suavizou seus julgamentos. Ele deixou de gritar e começou a falar num tom mais humano.
- Analogia: É como dizer ao ator: "Lembre-se que seu personagem pode estar nervoso ou não saber a resposta exata". Isso traz mais empatia e realismo.
A Mistura (Combined):
- Juntar as duas dicas funcionou bem para todos, mas não foi perfeito. Às vezes, a primeira dica (pensar em alternativas) atrapalhava a segunda (pensar nas intenções), criando uma confusão no "cérebro" do robô.

5. A Conclusão Final

O artigo nos diz duas coisas importantes:

Os robôs são ótimos em lógica, mas ruins em "sentimento" quantitativo. Eles sabem o que pensar, mas têm dificuldade em saber quanto pensar.
A teoria humana ajuda, mas não é mágica. Dar dicas sobre como os humanos pensam (pragmática) melhora a performance, mas não conserta totalmente o problema. Os robôs ainda precisam aprender a calibrar a "intensidade" das suas opiniões.

Resumo em uma frase:
Os robôs de IA entendem a piada social, mas muitas vezes riem (ou choram) muito mais alto do que um humano faria; e ensiná-los a pensar como nós ajuda a baixar o volume, mas ainda não deixa a voz perfeitamente natural.

Título: Significado Social em Modelos de Linguagem de Grande Escala: Estrutura, Magnitude e Prompting Pragmático

Autor: Roland Mühlenbernd (Leibniz-Centre General Linguistics, Berlim)

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades crescentes de raciocínio pragmático e social, conseguindo recuperar implicaturas conversacionais e simular julgamentos humanos em experimentos sociais. No entanto, a avaliação atual foca predominantemente na agreement direcional ou categórica (se o modelo identifica a implicação correta ou classifica alternativas da mesma forma que humanos).

O artigo identifica uma lacuna crítica: muitos aspectos da avaliação social humana são inerentemente graduais. Um modelo pode reproduzir a direção qualitativa de um efeito (ex: "falantes precisos são vistos como mais competentes") mas falhar sistematicamente na magnitude desse efeito (ex: exagerar ou atenuar a força da inferência). A maioria dos trabalhos anteriores relata essa discrepância como uma observação descritiva, sem métricas principistas para quantificá-la.

Questões de Pesquisa:

Os LLMs aproximam o significado social humano não apenas qualitativamente, mas também quantitativamente?
Estratégias de prompting informadas pela teoria pragmática podem melhorar essa aproximação?

2. Metodologia

Base Experimental e Dados

O estudo utiliza como benchmark o Experimento 1 de Solt et al. (2025), focado na imprecisão numérica.

Cenário: Participantes humanos avaliam falantes em diálogos onde a precisão numérica (ex: "$500" vs. "cerca de $500") varia entre contextos de alta precisão (ex: reclamação de seguro) e baixa precisão (ex: conversa casual).
Medidas: Avaliações em escala Likert de 7 pontos sobre traços sociais (competência, conhecimento, utilidade, etc.).
Efeitos de Referência: O estudo humano estabeleceu 10 efeitos significativos (5 efeitos principais e 5 interações forma × contexto) que servem como padrão-ouro.

Modelos Avaliados

Três modelos de ponta (frontier LLMs) acessados via API:

GPT (gpt-4o-mini)
Claude (claude-sonnet-4-20250514)
Gemini (gemini-2.5-pro)

Condições de Prompting

Quatro regimes de prompting foram testados, baseados em duas premissas pragmáticas (Raciocínio sobre Alternativas e Estados de Conhecimento/Motivos do Falante):

Minimal (MIN): Instruções padrão, servindo como linha de base.
Alternative-Aware (ALT): Adiciona um exemplo chain-of-thought (CoT) que força o modelo a raciocinar sobre alternativas linguísticas disponíveis.
Knowledge-and-Motives-Aware (KMA): Instrui o modelo a considerar múltiplos estados de conhecimento e motivos comunicativos do falante antes de avaliar.
Combined (COM): Integra ambas as extensões acima.

Métricas de Avaliação Propostas

O artigo introduz duas novas métricas para distinguir fidelidade estrutural de calibração de magnitude:

Effect Size Ratio (ESR): A razão entre a magnitude do efeito do modelo ( $|\Delta M|$ ) e a do humano ( $|\Delta H|$ ). $ESR = 1$ indica calibração perfeita; $>1$ indica exagero; $<1$ indica atenuação.
Calibration Deviation Score (CDS): A média absoluta do desvio do ESR em relação a 1, resumindo o erro de calibração global sobre os 10 efeitos significativos.
Métricas Estruturais: Directional Agreement Score (DAS) e Interaction Sensitivity Score (ISS) para verificar se a direção dos efeitos é correta.
Métricas Globais: Correlação de Spearman ( $\rho$ ), Coeficiente de Correlação de Concordância (CCC) e Erro Quadrático Médio (RMSE).

3. Resultados Principais

Dissociação Estrutura-Magnitude

Alinhamento Estrutural Perfeito: Todos os modelos, em todas as condições, alcançaram DAS = 1.0 e ISS = 1.0. Eles reproduzem perfeitamente a direção qualitativa das inferências sociais humanas (quem é avaliado melhor e como os contextos interagem).
Falhas de Calibração: Há uma dissociação clara. Embora a ordem de classificação seja preservada (alta correlação de Spearman), os modelos distorcem a escala.
- GPT: Apresentou a melhor calibração geral, com desvios moderados (RMSE ~0.55–0.81).
- Claude: Mostrou calibração intermediária, mas altamente sensível ao prompting.
- Gemini: Exibiu inflação severa de magnitude, frequentemente exagerando os efeitos humanos por fatores de 2 a 3 vezes (RMSE > 1.0).

Impacto do Prompting

KMA (Conhecimento e Motivos): Foi a condição mais consistente para reduzir o exagero em modelos propensos a inflação (Claude e Gemini). Para o Gemini, o CDS caiu de 1.480 (MIN) para 0.848 (KMA).
ALT (Consciência de Alternativas): Produziu efeitos mistos e, às vezes, adversos. Em modelos já mal calibrados (como o Gemini), focar explicitamente em alternativas linguísticas amplificou a inflação da magnitude (CDS aumentou significativamente).
COM (Combinado): Foi a única intervenção que melhorou consistentemente todas as métricas sensíveis à calibração (CCC, RMSE, CDS) em todos os modelos simultaneamente em comparação com o prompt mínimo. No entanto, para modelos com grandes déficits de calibração (Gemini), o KMA isolado ainda superou o COM em termos de calibração de magnitude fina, sugerindo que o exemplo de chain-of-thought do ALT pode interferir parcialmente com as instruções de incerteza epistêmica.

4. Contribuições Chave

Novas Métricas de Avaliação: Introdução do ESR e CDS, que operacionalizam a distinção entre fidelidade estrutural (direção) e calibração de magnitude (força do efeito), permitindo diagnósticos mais finos do comportamento de LLMs.
Evidência de Dissociação: Demonstração robusta de que LLMs aprendem "o que" inferir (estrutura) mas falham em "quão forte" inferir (magnitude), variando conforme a arquitetura do modelo.
Validação da Teoria Pragmática: Evidência empírica de que instruções de prompting baseadas em teorias pragmáticas (especificamente a ativação conjunta de raciocínio sobre alternativas e estados de conhecimento) podem modular o comportamento do modelo, embora com limitações e dependências de arquitetura.
Análise de Arquitetura: Revelação de que diferentes modelos (GPT vs. Claude vs. Gemini) possuem perfis de calibração distintos, sugerindo que a "falha de calibração" não é um problema universal uniforme, mas dependente da arquitetura e do treinamento.

5. Significado e Conclusão

O estudo conclui que os LLMs atuais capturam a estrutura inferencial do significado social humano, mas distorcem variavelmente a força inferencial. A teoria pragmática oferece uma alça útil, mas incompleta, para melhorar essa aproximação.

Implicação Teórica: A melhoria consistente sob a condição Combined sugere que a inferência pragmática humana genuína pode exigir a operação simultânea de raciocínio sobre alternativas e sobre estados de conhecimento do falante (alinhado ao framework Rational Speech Act - RSA).
Limitações: O estudo foca em um único domínio (imprecisão numérica) e em modelos proprietários. A generalização para outros domínios pragmáticos e arquiteturas de pesos abertos permanece a ser explorada.
Futuro: A pesquisa aponta para a necessidade de objetivos de calibração durante o treinamento (training-time), além de intervenções em tempo de inferência (inference-time), para fechar a lacuna entre estrutura e magnitude.

Em suma, o trabalho fornece ferramentas críticas para avaliar se os LLMs são apenas "bons em adivinhar a resposta certa" ou se realmente simulam a nuance probabilística e graduada do raciocínio social humano.