Resumo Técnico: SCENE – Reconhecimento de Normas Sociais e Sanção em Grupos de Chat

Declaração do Problema

Os grupos de chat online operam com base em padrões comportamentais implícitos (normas) que não são explicitamente declarados, mas são aplicados por meio de sanção social quando violados. Embora agentes de Modelos de Linguagem de Grande Escala (LLM) estejam cada vez mais implantados em contextos sociais, sua capacidade de inferir essas normas ocultas, reconhecer quando foram sancionados por violá-las e adaptar seu comportamento de acordo permanece amplamente inexplorada. Benchmarks existentes frequentemente focam em interações diádicas com objetivos explícitos (por exemplo, Sotopia) ou julgamentos estáticos de uma única vez (por exemplo, SocialIQa), falhando em capturar a natureza dinâmica e multiparte da inferência de normas no mundo real, onde os agentes devem aprender com a observação e a reação em vez de instruções explícitas.

Metodologia

Os autores introduzem o SCENE, um benchmark projetado para avaliar a inferência de normas implícitas e a adaptação comportamental em ambientes de chat multiparte.

1. Geração de Cenários e Taxonomia

O SCENE gera cenários de chat de grupo sintéticos, mas interacionalmente plausíveis, baseados em uma estrutura de quintuplo $\tau = (e, n, \ell, s, p)$:

• Evento ($e$): O contexto do chat (por exemplo, resultados de exames, relatórios de bugs, planejamento de eventos).
• Norma ($n$): Uma norma implícita oculta que governa o comportamento (por exemplo, "registro de humor sombrio" vs. "suporte afiliativo"). As normas são organizadas em pares opostos para testar se os modelos se adaptam ao contexto local ou dependem de comportamentos padrão de assistente.
• Elicitor ($\ell$): O gatilho que posiciona o agente sujeito para agir (por exemplo, ser explicitamente abordado, um espaço aberto).
• Sanção ($s$): O modo de sanção social utilizado pelo grupo após uma violação (por exemplo, ignorar em silêncio, reações corretivas, chamada explícita).
• Precedente ($p$): Se o sujeito observa um ciclo prévio de violação e sanção antes de agir.

O sistema filtra 21.952 tuplas válidas de um produto cartesiano de 13 eventos, 14 normas, 7 elicitores, 6 modalidades de sanção e 2 estados de precedente.

2. Pipeline de Geração em Duas Etapas

Para garantir que o agente sujeito não seja exposto à norma prematuramente, a geração ocorre em duas etapas usando LLMs:

1. Etapa Cega à Norma: Gera a estrutura do chat (cenário, participantes, contexto) sem mencionar a norma.
2. Etapa Consciente da Norma: Preenche campos ocultos, incluindo a norma específica, instruções comportamentais para personas roteirizadas e scripts de sanção.

3. Tempo de Execução e Agentes

• Agente Sujeito: O modelo em avaliação, inicializado com um briefing em primeira pessoa, mas desconhecedor da avaliação ou da norma oculta.
• Personas Roteirizadas: 3 a 4 agentes impulsionados por LLMs que simulam o grupo. Eles são restringidos pela norma oculta e instruídos a sancionar violações usando a modalidade específica atribuída.
• Orquestrador: Gerencia a alternância de turnos e as condições de término.
• Espaço de Ação: Os agentes podem enviar uma mensagem, reagir com um emoji ou permanecer em silêncio. Esse espaço limitado foca a avaliação na forma interacional em vez do conteúdo factual.

4. Métricas de Avaliação

O SCENE avalia três capacidades principais usando métricas comportamentais derivadas da transcrição do chat:

• Taxa de Reparo: A frequência com que o sujeito realiza um "reparo de salvaguarda de face" (desculpa, retratação ou troca de registro) dentro de 1 a 3 turnos após uma sanção.
• Adaptação (Dependente de Evidência): Medida via $\rho$ de Spearman entre o número de demonstrações prévias da norma ($X$) e a taxa de violações subsequentes ($Y$). Uma correlação negativa indica que o agente está aprendendo com o comportamento observado do grupo.
• Conformidade sob Normas Opostas: Testa se o modelo pode alternar entre normas conflitantes (por exemplo, tratamento formal vs. informal) ou se recorre a um estilo fixo.

Uma Auditoria de Fidelidade é realizada post hoc para garantir que as personas roteirizadas aderiram à norma e entregaram as sanções conforme pretendido, filtrando episódios inválidos.

Principais Resultados

Os autores avaliaram seis modelos de fronteira e de pesos abertos (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1 e Gemma 2-27B) em 6.000 episódios.

1. Resposta à Sanção: Modelos fechados de fronteira superaram significativamente os modelos de pesos abertos. O Claude Opus 4.7 alcançou uma taxa de reparo de 84,3%, e o Gemini 3.1 Pro alcançou 79,7%. Modelos de pesos abertos ficaram significativamente atrás (variando de 57,6% a 71,9%). Chamadas diretas elicitararam taxas de reparo mais altas do que a ridicularização paródica.
2. Adaptação à Norma: Apenas os dois modelos de fronteira mostraram correlações negativas de Spearman estatisticamente significativas ($\rho \approx -0,33$ e $-0,24$), indicando que reduziram com sucesso as violações após observar demonstrações prévias. Modelos de pesos abertos mostraram correlações indistinguíveis de zero, sugerindo uma falta de adaptação dependente de evidências.
3. Vieses Padrão: Os modelos exibiram comportamentos padrão fortes que sobrepuseram as normas locais. Por exemplo, todos os modelos violaram normas de tratamento formal significativamente mais frequentemente do que as informais, sugerindo um viés de classe ampla em direção a registros casuais.
4. Fidelidade: As personas roteirizadas instanciaram com sucesso os testes pretendidos na grande maioria dos episódios, com apenas 2,1% dos episódios contendo violações por parte das personas roteirizadas.

Significado e Alegações

O artigo posiciona o SCENE como um passo necessário em direção à avaliação dinâmica e interacional das capacidades sociais de LLMs, indo além de benchmarks estáticos de Teoria da Mente (ToM) que testam o raciocínio em terceira pessoa.

• Adaptação em Primeira Pessoa: Os autores argumentam que a verdadeira inteligência social em agentes não se trata de responder perguntas sobre estados mentais, mas de adaptar o comportamento em tempo real com base nas sanções observadas.
• Lacuna nas Capacidades: Os resultados destacam uma lacuna substancial entre modelos fechados de fronteira e modelos de pesos abertos na adaptação social, sugerindo que os modelos de pesos abertos atuais lutam para inferir regras sociais implícitas apenas a partir da interação.
• Limitações: Os autores reconhecem que o SCENE testa uma forma estreita de adaptação social dentro de episódios curtos, sintéticos e apenas textuais. Não mede julgamento moral geral, pertencimento a comunidades de longo prazo ou a capacidade de lidar com normas sobrepostas conflitantes encontradas em grupos do mundo real.
• Riscos: O artigo observa que uma inferência de normas aprimorada poderia facilitar a engenharia social ou permitir que agentes espelhem comportamentos tóxicos de grupo se o registro local recompensar isso, enfatizando a necessidade de divulgação e controles de implantação.

Em resumo, o SCENE fornece um ambiente controlado para medir se os LLMs conseguem "ler o ambiente", reconhecer quando foram socialmente corrigidos e ajustar seu comportamento de acordo, revelando que, embora os modelos de fronteira estejam começando a dominar isso, a capacidade ainda não é universal em todo o campo.