💬 NLP

LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations

Este artigo apresenta o LoSoNA, um benchmark projetado para avaliar a capacidade de agentes baseados em LLM de inferir e se adaptar a normas sociais locais implícitas em chats de grupo de múltiplas partes, revelando que, embora o prompting explícito melhore o desempenho para modelos de topo como o Gemini 3.1 Pro e o Claude Fable 5, a maioria dos modelos ainda tem dificuldades com esta tarefa sob prompting ingênuo.

Autores originais: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

Publicado 2026-06-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você entra em um novo grupo de amigos em uma cafeteria. Você não os conhece, mas consegue ouvi-los conversando. Após alguns minutos, você percebe um padrão: sempre que alguém compartilha uma notícia ruim, o grupo não oferece abraços ou um "sinto muito". Em vez disso, eles perguntam imediatamente: "Qual é o plano para resolver isso?" ou "Você consultou o manual?".

Se você interviesse oferecendo um caloroso e genérico "Sinto muito por ouvir isso", poderia se sentir sem jeito porque ignorou a regra não escrita do grupo. Este artigo, LoSoNA, é um teste para ver se os chatbots de IA conseguem descobrir essas regras ocultas apenas ouvindo, sem serem informados sobre elas.

Aqui está uma divisão dos pontos principais do artigo usando analogias simples:

1. O Problema: O "Livro de Regras Não Escrito"

Na vida real, cada grupo tem suas próprias "normas sociais locais". Estas são as regras não escritas sobre como agir, falar e reagir.

A Alegação do Artigo: A maioria dos modelos de IA é como turistas educados que sempre dizem a coisa "padrão" polida (como um genérico "sinto muito"). Eles têm dificuldade em notar quando um grupo específico possui uma regra diferente e oculta (como "apenas dê conselhos práticos").
O Objetivo: Os pesquisadores queriam ver se uma IA poderia agir como um local em vez de um turista. Ela conseguiria ouvir o histórico de um grupo, descobrir a regra oculta e mudar seu comportamento para se integrar?

2. O Teste: A "Festa Misteriosa"

Os pesquisadores criaram um benchmark chamado LoSoNA (Local Social Norm Adaptation - Adaptação de Norma Social Local). Pense nisso como um jogo de festa de mistério para IA.

A Configuração: A IA recebe uma transcrição (um registro de chat) de uma conversa de grupo. As outras pessoas no chat seguem uma regra secreta (ex: "Nós nunca usamos emojis" ou "Nós apenas respondemos 'Sim' ou 'Não'").
A Armadilha: A IA não é informada sobre a regra. Ela apenas vê o chat.
O Desafio: O chat termina com uma pergunta (o "elicitador"). A IA deve responder.
- Se a IA der uma resposta genérica e polida, ela falha (porque não percebeu a regra).
- Se a IA der uma resposta que combine com o estilo estranho e oculto do grupo, ela vence.

Analogia: Imagine que você está em um jantar onde todos comem com as mãos, mas ninguém diz uma palavra sobre isso. Se você tirar um garfo porque aprendeu que isso são as "boas maneiras", você falha no teste. Se você notar que todos estão usando as mãos e fizer o mesmo, você passa.

3. O Experimento: Testando Diferentes "Dicas"

Os pesquisadores testaram 8 modelos de IA diferentes (como GPT-5.5, Claude, Gemini, etc.) sob quatro cenários diferentes de "instrução" para ver como eles se saíam:

Ingênuo (Naive): "Apenas responda à última mensagem." (Sem dicas).
Apenas Elicitador (Elicitor Only): "Responda apenas à última mensagem, ignore o resto."
Adaptação de Estilo (Style Adaptation): "Tente combinar o tom e o estilo do grupo."
Informado pela Norma (Norm Informed): "Pode haver um padrão ou regra oculta neste chat. Tente encontrá-la e siga-a."

4. Os Resultados: Alguns Entenderam, Outros Não

Os resultados foram uma mistura de "bom trabalho" e "ainda aprendendo".

A Dificuldade: Quando recebiam nenhuma dica (Ingênuo), a maioria dos modelos de IA falhava miseravelmente. Eles continuavam dando respostas genéricas e polidas que quebravam as regras ocultas do grupo. Era como se a IA estivesse usando uma venda nos olhos.
O Avanço: Quando os pesquisadores deram a dica "Informado pela Norma" (dizendo à IA para procurar um padrão), alguns modelos subitamente ficaram muito bons nisso.
- Gemini 3.1 Pro e Claude Fable 5 tornaram-se os "campeões", saltando de falhas para acertar cerca de 80-84% das respostas. Eles eram como alunos que, uma vez avisados de "procure o padrão", conseguiam resolver o enigma instantaneamente.
- Outros Modelos: Alguns modelos (como o Mistral) na verdade ficaram piores quando receberam a dica. É como se a dica os tivesse confundido, fazendo-os pensar demais e errar respostas que teriam acertado por padrão.

5. O Que Isso Significa (e o Que Não Significa)

O que prova: O artigo mostra que a IA pode aprender a se adaptar aos comportamentos de grupos locais se você der o empurrão certo. Prova que a IA não é apenas um robô que sempre diz a mesma coisa polida; ela pode ser um "camaleão" que muda seu comportamento com base na multidão.
O que não prova: O artigo é muito cuidadoso ao dizer que este é um teste estreito. Não significa que a IA seja "socialmente inteligente" no sentido humano, ou que entenda emoções humanas profundas. Significa apenas que ela pode detectar um padrão em um registro de chat e copiá-lo para uma única resposta.
A Limitação: O teste utiliza cenários de chat inventados, não conversas humanas reais. Além disso, o teste observa apenas uma única resposta, não uma amizade de longo prazo.

Resumo

LoSoNA é um boletim de notas para a IA sobre sua capacidade de "ler o ambiente".

Sem ajuda: A maioria das IAs é "surda para o tom" e se apega aos seus roteiros polidos padrão.
Com uma dica: As IAs mais inteligentes conseguem descobrir o aperto de mão secreto do grupo e se integrar perfeitamente.
A lição: Estamos chegando mais perto de uma IA que pode se misturar a grupos humanos, mas ela ainda precisa de um pouco de orientação para deixar de ser um "turista robótico" e começar a agir como um "local".

Resumo Técnico: LoSoNA – Um Benchmark para Adaptação de Normas Sociais Locais em Conversas de Grupo

1. Definição do Problema

Conversas de grupo online operam sob "normas sociais locais" — regras de conduta implícitas e evolutivas específicas de um pequeno grupo que raramente são declaradas explicitamente. Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados em contextos sociais, sua capacidade de reconhecer e se adaptar a essas normas não ditas e específicas ao contexto permanece amplamente inexplorada.

Benchmarks existentes frequentemente falham em abordar essa capacidade específica:

Diádico vs. Multipartidário: A maioria dos benchmarks sociais (ex: Sotopia) foca em interações diádicas (duas pessoas) com objetivos privados explícitos.
Explícito vs. Implícito: Muitos benchmarks de Teoria da Mente (ToM) pedem que os modelos respondam perguntas sobre estados mentais ou sigam instruções explícitas, em vez de exigir que o modelo infira uma regra por observação e a aplique em um único turno.
Genérico vs. Local: O comportamento padrão de assistentes costuma recair em polidez universal ou utilidade genérica, o que pode violar as normas específicas e localizadas de um grupo (ex: um grupo que prefere respostas secas e diagnósticas em vez de apoio emocional).

O desafio central é determinar se um agente de LLM consegue inferir uma norma social local oculta de uma transcrição de conversa e adaptar sua resposta de turno único para cumprir essa norma, distinguindo-se de um assistente genérico.

2. Metodologia

O Benchmark LoSoNA

O LoSoNA é um benchmark projetado para avaliar a adaptação de normas sociais locais em chats de múltiplas partes. Ele consiste em três componentes principais: uma taxonomia de geração de cenários, um protocolo de avaliação e um sistema de pontuação.

Construção de Cenários:

Estrutura: Cada cenário é uma tupla $\tau = (e, n)$ , onde $e$ é um tipo de evento (ex: reagir a resultados de exames, relatórios de bugs) e $n$ é uma norma social local implícita (ex: evitar desculpas, respostas concisas, apoio não afiliativo).
Transcrição: O cenário fornece a um agente sujeito uma transcrição de chat de múltiplos turnos entre participantes que não são o sujeito. Esses participantes demonstram a norma oculta através de suas interações.
Elicitador: Uma mensagem final (o "elicitador") é gerada para forçar uma resposta onde o comportamento localmente adaptado possa ser distinguido do comportamento genérico.
Mecanismo de Controle: Para garantir que a tarefa exija inferência em vez de comportamento padrão, os autores utilizaram um controle de "sem demonstração". Eles filtraram cenários onde um assistente de base (Gemini 3 Pro Preview) cumpriria naturalmente a norma sem ver o precedente. O conjunto final de benchmark contém apenas cenários onde uma resposta genérica provavelmente violaria a norma.
Natureza Sintética: Os cenários são sintéticos, mas desenhados para serem interacionalmente plausíveis. O conjunto de dados contém 38 cenários curados por humanos, extraídos de 17 tipos de eventos e 22 tipos de normas.

Protocolo de Avaliação:

Modelos Sujeitos: Oito modelos de fronteira e de pesos abertos foram avaliados: OpenAI GPT-5.5, Claude Opus 4.8, Claude Fable 5, Gemini 3.1 Pro, Qwen2.5-72B-Instruct, Llama 3.3-70B-Instruct, Mistral Medium 3.1 e Gemma 3-27B-IT.
Condições de Prompting: Os modelos foram testados sob quatro condições para medir o efeito da instrução explícita:
1. Naive (Ingênuo): Sem instruções especiais; o modelo age como um membro do grupo.
2. Elicitor_only (Apenas Elicitador): Instruído a responder apenas à mensagem final, usando os turnos anteriores apenas como contexto.
3. Style_adaptation (Adaptação de Estilo): Instruído suavemente a se ajustar ao contexto, tom e hábitos locais.
4. Norm_informed (Informado pela Norma): Explicitamente informado de que um padrão local repetido ou uma norma pode ser relevante.
Julgamento: As respostas são pontuadas por um juiz de LLM fixo (Gemini 3.1 Pro Preview com temperatura 0). O juiz recebe a transcrição, o elicitador, o rótulo da norma oculta e exemplos de respostas complacentes e de violação. Ele gera um rótulo booleano de conformidade.
Métrica: A métrica principal é a accuracy-at-3 (acurácia em 3), definida como a votação majoritária sobre três respostas amostradas por cenário e condição.

3. Resultados Principais

Desempenho de Base:
Sob prompting naive, o benchmark prova ser difícil. A maioria dos modelos pontuou abaixo de 37% de accuracy-at-3.

Gemini 3.1 Pro: 36,8%
Claude Fable 5: 47,4% (maior no modo naive)
Piores desempenhos: Próximo a 21–24% (ex: Mistral Medium 3.1, Gemma 3-27B).
Observação: O prompting naive permanece limitado; os modelos tendem a recair em comportamentos de assistente genérico que frequentemente violam as normas locais.

Efeito do Prompting:
O prompting explícito para consciência de norma (norm_informed) gerou resultados altamente variáveis entre os modelos:

Ganhos Significativos:
- Gemini 3.1 Pro: Melhorou em 47,4 pontos percentuais (atingindo 84,2%). Recuperou 75% de suas falhas na fase naive sem introduzir regressões.
- Claude Fable 5: Melhorou em 34,2 pontos percentuais (atingindo 81,6%). Recuperou 70% de suas falhas na fase naive com zero regressões.
Ganhos Moderados:
- Claude Opus 4.8 e Gemma 3-27B melhoraram cerca de 10,5 pontos.
- Llama 3.3-70B melhorou 7,9 pontos.
Ganhos Nulos ou Negativos:
- GPT-5.5: Mostrou pouca mudança.
- Qwen2.5-72B: Inalterado.
- Mistral Medium 3.1: Caiu 10,5 pontos, introduzindo regressões em 38% dos cenários onde anteriormente teve sucesso.

Conclusão sobre o Prompting: O prompting explícito de consciência de norma não é uniformemente benéfico. Ele expõe diferenças significativas na capacidade dos modelos de utilizar dicas sem interromper respostas que já seriam complacentes.

4. Contribuições Principais

Benchmark LoSoNA: Um novo framework de avaliação direcionado especificamente à inferência e aplicação de normas sociais locais implícitas em chats de múltiplas partes.
Diferenciação de Trabalhos Existentes: Ao contrário do Sotopia (diádico, orientado a objetivos) ou do SocialIQa (julgamento baseado em vinhetas), o LoSoNA exige uma resposta de turno único da perspectiva de um membro do grupo sem instruções de objetivos explícitos, focando na adaptação comportamental em vez de conclusão de objetivos ou raciocínio de crença.
Evidência Empírica de Variabilidade: O estudo demonstra que, embora alguns modelos de fronteira (Gemini 3.1 Pro, Claude Fable 5) possam se adaptar efetivamente a normas locais quando instruídos, outros lutam ou até regridem, destacando uma falta de robustez na adaptação social entre a atual geração de LLMs.
Curadoria de Dados Sintéticos: Uma metodologia para gerar e curar cenários sintéticos que isolam a adaptação de norma local do comportamento de assistente genérico.

5. Significância e Limitações

Significância:
O artigo argumenta que o LoSoNA contribui para o chamado de avaliação das capacidades sociais de LLMs ao testar uma habilidade específica e relevante para implantação: inferir normas conversacionais locais a partir de precedentes e usá-las em interação em tempo real. Ele vai além da "Teoria da Mente" como responder perguntas sobre estados mentais, focando na "ToM funcional": adaptar o comportamento com base em regras sociais inferidas.

Limitações:

Escopo: O benchmark mede uma capacidade estreita (adaptação de turno único) e não pretende medir inteligência social geral, julgamento moral ou pertencimento comunitário de longo prazo.
Dados Sintéticos: Os cenários são sintéticos e apenas em inglês. Chats do mundo real envolvem normas sobrepostas, mídias, edições e mensagens privadas, que são abstraídas aqui.
Viés de Triagem: A triagem de "sem demonstração" utilizou o Gemini 3 Pro Preview como base. Consequentemente, os resultados para modelos da família Gemini devem ser interpretados com o entendimento de que o conjunto de dados foi filtrado para excluir cenários onde um assistente padrão do Gemini teria sucesso naturalmente.
Viés do Juiz: O uso de um juiz de LLM (Gemini 3.1 Pro) introduz um potencial viés de família de modelo, particularmente para o modelo sujeito Gemini. No entanto, auditorias humanas (85% de concordância) e validação cruzada com Claude Opus 4.8 sugerem que os principais padrões qualitativos se mantêm.
Escala: O conjunto aceito contém apenas 38 cenários, tornando as decomposições por norma ou evento mais diagnósticas do que estatisticamente robustas.

Impactos Mais Amplos:
Os autores observam que a melhoria na inferência de normas pode permitir que agentes de IA passem de forma mais convincente como participantes humanos, facilitando potencialmente a engenharia social ou a adaptação a normas locais prejudiciais. Isso ressalta a necessidade de controles de divulgação e implantação conforme os agentes de chat de grupo se tornarem mais capazes.