Resumo Técnico: Tendências Persuasivas e de Conformidade Predizem a Tomada de Decisão em Grupo em Humanos e Modelos de Linguagem

Definição do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implementados em cenários de tomada de decisão em grupo ao lado de outros LLMs e humanos. No entanto, os mecanismos que impulsionam sua influência permanecem obscuros. Especificamente, não se sabe se o impacto de um LLM é impulsionado primariamente pela expressão orientada à persuasão (argumentação ativa e assertividade) ou pela acomodação orientada à conformidade (escuta e adaptação aos outros). Embora a pesquisa de redes sociais ofereça duas perspectivas sobre influência — aqueles com canais de comunicação de saída amplos versus aqueles que agregam informações de entrada — não está estabelecido qual orientação comportamental gera melhores resultados grupais em sistemas de LLM. Além disso, há uma necessidade de determinar se essas tendências comportamentais intrínsecas são mensuráveis e se correlacionam com o desempenho da tarefa, particularmente em configurações envolvendo informação assimétrica e objetivos ocultos.

Metodologia

Os autores propõem um framework de dois estágios para isolar e avaliar essas tendências:

1. DecisionQE: Medindo Tendências Intrínsecas

Para separar as tendências comportamentais individuais de fatores de confusão da dinâmica de grupo interativa (como a atribuição de papéis), os autores desenvolveram o DecisionQE, um framework baseado em questionários.

• Estrutura: O framework avalia os modelos em seis domínios relacionados à decisão: comunicação pública, tomada de decisão cotidiana, marketing e persuasão, apresentação e expressão, comunicação interpessoal, e negociação e interação estratégica.
• Pontuação: Utiliza 70 itens derivados da literatura psicológica. As respostas são pontuadas em um continuum de 0 (conformista) a 100 (persuasivo).
• Estabilidade: Os modelos foram avaliados ao longo de cinco execuções repetidas para garantir a estabilidade de seus perfis de tendência.

2. Jogo do Lobisomem (Werewolf): Testbed Interativo

Os autores utilizaram o jogo do Lobisomem como um testbed interativo para validar como essas tendências medidas afetam a influência social e os resultados grupais sob informação assimétrica.

• Configuração: Os jogos envolveram oito jogadores (dois lobisomens, quatro aldeões, uma bruxa, um vidente). Os lobisomens conheciam seus companheiros de equipe e visavam eliminar os aldeões; os aldeões visavam identificar e eliminar os lobisomens.
• Variáveis: O estudo manipulou as atribuições de papéis para criar configurações específicas:
  • Alocação Aleatória: Para avaliar a correlação geral de desempenho.
  • Alocação Controlada: Seis configurações (Reversa, Alta, Baixa) atribuíram papéis informativos (Lobisomem, Vidente, Bruxa) a modelos em diferentes posições no continuum persuasivo-conformista para testar efeitos dependentes de papel.
• Integração Humano-LLM: Para verificar a consistência comportamental, os autores realizaram experimentos onde um participante humano substituiu um LLM em um papel "bom" (aldeão/vidente/bruxa) ou de "lobo", interagindo com sete LLMs.

Principais Contribuições

1. Quantificação de Tendências Comportamentais: O artigo introduz um método padronizado (DecisionQE) para medir e categorizar LLMs ao longo de um espectro persuasivo-conformista, demonstrando que diferentes modelos ocupam posições distintas e estáveis nesse continuum.
2. Desacoplamento de Tendência e Desempenho: O estudo estabelece que pontuações de persuasão mais altas não se traduzem automaticamente em melhores resultados grupais. Em vez disso, modelos orientados à conformidade frequentemente demonstram desempenho superior em tarefas cooperativas.
3. Efeito Dual da Conformidade: A pesquisa revela uma natureza "dual" da conformidade: ela apoia a cooperação quando os modelos estão em papéis honestos (aldeões), mas aumenta o ocultamento e o sucesso quando os modelos estão em papéis adversários (lobisomens).
4. Consistência Humano-LLM: Os achados mostram que os padrões dependentes de papel observados em grupos apenas de LLM persistem em interações mistas entre humanos e LLMs, sugerindo que essas tendências são um eixo comportamental compartilhado para analisar tanto a tomada de decisão mediada por humanos quanto por IA.

Resultados

Perfis de Tendência

• Variação: Os modelos avaliados mostraram variação substancial em suas pontuações de tendência. Por exemplo, Kimi K2 e Gemini 3.5 pontuaram mais alto (mais persuasivos), enquanto Doubao 1.5 e GLM 4 pontuaram mais baixo (mais conformistas).
• Estabilidade: Os desvios padrão dentro dos modelos foram baixos (0,6–2,1 pontos), indicando perfis comportamentais estáveis através de avaliações repetidas.

Desempenho no Jogo (Alocação Aleatória)

• Taxas de Vitória: Modelos com tendências persuasivas mais fortes alcançaram taxas de vitória geral menores (40,28%–51,39%). Por outro lado, modelos moderadamente conformistas e conformistas alcançaram taxas de vitória maiores (54,17%–56,94%).
• Sobrevivência e Identificação: Modelos conformistas sobreviveram por mais rodadas (3,10–3,24 rodadas vs. 2,94–3,15) e alcançaram maior precisão na identificação de papéis (43,75%–52,78% vs. 35,42%–41,67%).

Resultados Dependentes de Papel

• Sucesso do Time Bom: Configurações onde modelos persuasivos foram designados para papéis de lobisomem (forçando-os a serem agressivos) e modelos conformistas para papéis bons (H1, R1) resultaram nas maiores taxas de vitória do time bom (90,00%).
• Sucesso do Time de Lobos: Configurações onde modelos conformistas foram designados para papéis de lobisomem (R2, L1) resultaram nas maiores taxas de vitória do time de lobos (45,00%).
• Interpretação: O comportamento persuasivo aumenta a visibilidade e a iniciativa, o que auxilia na mobilização de um grupo, mas atrai escrutínio em jogos de papéis ocultos. O comportamento de conformidade permite que os modelos se misturem, facilitando a coordenação em papéis honestos, mas melhorando o ocultamento em papéis adversários.

Experimentos Humano-LLM

• Alinhamento Comportamental: Participantes humanos geralmente pontuaram mais próximos do extremo conformista do espectro do que os LLMs avaliados, embora com maior variância.
• Consistência de Resultado: Quando humanos jogaram papéis bons, a taxa de vitória da equipe (70%) e os dias de sobrevivência aproximaram-se da condição H1 (apenas LLM). Quando humanos jogaram papéis de lobo, a taxa de vitória do time de lobos (80%) alinhou-se com a condição R2, confirmando que os padrões dependentes de papel mantêm-se em grupos mistos.

Significância e Alegações

O artigo afirma que as interações em grupo de LLMs servem como um cenário observacional controlável para a pesquisa sociológica, revelando padrões mensuráveis de tendências comportamentais intrínsecas que vão além do simples raciocínio de tarefa.

• Implicações de Segurança: Os autores argumentam que as avaliações de segurança devem incorporar tendências comportamentais intrínsecas. Embora saídas agressivas ou manipuladoras sejam facilmente sinalizadas, modelos orientados à conformidade podem representar um risco único em cenários adversários. Seu estilo cooperativo e de baixa saliência pode mascarar objetivos inseguros, tornando-os mais difíceis de detectar durante a triagem.
• Mudança de Avaliação: Os achados sugerem que sistemas de LLM confiáveis requerem avaliações de segurança "conscientes de tendência". Os modelos devem ser avaliados não apenas pela segurança de saídas isoladas, mas sobre como suas tendências intrínsecas (persuasiva vs. conformista) afetam a visibilidade e a detectabilidade de riscos em configurações interativas de múltiplos turnos.
• Lente Sociológica: O estudo postula que os LLMs podem servir como uma lente para observar a interação mediada pela linguagem, demonstrando que "ouvintes influentes" (agentes conformistas) podem moldar os resultados do grupo tão efetivamente quanto, ou mais efetivamente do que, os persuasores ativos, dependendo do contexto e dos objetivos.