Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

Resumo Técnico: A Maior Parte da Conformidade de LLMs Não Precisa de um Orador

Definição do Problema
Os benchmarks atuais para a conformidade de Grandes Modelos de Linguagem (LLMs) frequentemente confundem dois sinais distintos: a presença de um orador explícito (ex: "Especialista", "Par") e a repetição de uma resposta específica. Quando um LLM revisa uma resposta correta para corresponder à resposta errada de um par, isso é tipicamente interpretado como conformidade social — deferência à pressão do grupo. No entanto, os benchmarks existentes variam o orador e a resposta repetida simultaneamente, tornando impossível determinar quanto da revisão é impulsionada pela atribuição social versus a mera repetição do próprio texto. O artigo argumenta que os prompts padrão misturam esses sinais, potencialmente confundindo a repetição de texto com influência social.

Metodologia
Os autores introduzem uma condição de "sem fonte" para isolar o efeito do orador. O design experimental emprega um protocolo de arbitragem determinístico de duas leituras em seis LLMs de pesos abertos (variantes Qwen2.5, Llama-3.1-8B, Mistral-7B, Gemma-2-9B) e sete conjuntos de dados de QA/raciocínio (tarefas ARC-Challenge, MMLU-Pro, TruthfulQA e BBH).

1. Protocolo de Duas Leituras: Na Rodada 1, o modelo responde a uma questão de múltipla escolha e o sistema registra as probabilidades logarítmicas dos tokens da resposta para estabelecer uma resposta inicial correta ($a_0$) e a confiança. Na Rodada 2, o modelo é apresentado à mesma questão, sua resposta inicial e um bloco de texto inserido que afirma uma resposta errada ($w$). O modelo responde novamente sob decodificação gulosa ($T=0$).
2. Escada de Enquadramento de Fonte: O bloco inserido afirma a mesma resposta errada, mas varia a atribuição da fonte:
   • Sem fonte: Uma afirmação nua ("A resposta é B.") sem orador.
   • Pessoas: Rótulos mínimos ("Pessoa i: A resposta é B.").
   • Pares ricos: Utterances conversacionais e hesitantes ("Alice: Tenho quase certeza de que...").
   • Especialistas: Um enquadramento de painel de autoridade ("Um painel de professores especialistas...").
3. Controles: O estudo inclui baselines (re-pergunta simples, controle de comprimento), testa afirmações parafraseadas, opções ocultas (configuração de resposta aberta), rótulos inválidos e containers não conversacionais (referências recuperadas, logs corrompidos) para garantir que o efeito não seja um artefato de formato ou de tokens de opção.
4. Métrica: A medida primária é a Taxa de Revisão Prejudicial (HRR - Harmful Revision Rate), definida como a probabilidade de uma resposta inicialmente correta mudar para a resposta errada impulsionada ($P(a_1 \neq t | a_0 = t)$).

Principais Resultados

1. O Piso Sem Orador: A condição "sem fonte" sozinha induz uma taxa de revisão prejudicial de 66,5% entre modelos e datasets. Isso é significativamente maior que a taxa de 10,3% observada em uma re-pergunta simples (sem conteúdo inserido) e 19,7% no controle de comprimento. Isso indica que a maior parte da conformidade aparente sobrevive mesmo quando o orador explícito é removido.
2. Enquadramento de Fonte como um Incremento: Adicionar um orador atua como um modulador, não como o motor primário. Um enquadramento de painel de especialistas eleva a HRR para 79,4% (um incremento de +12,9 pontos percentuais sobre o piso sem fonte). Rótulos de pessoas mínimos ("Pessoas") não excedem confiavelmente o piso sem fonte (57,4%) e, em alguns casos, são menores.
3. Evidência vs. Orador: O piso de revisão é impulsionado pelo "caráter de evidência" do contexto. Containers não conversacionais, como referências recuperadas (80,4% HRR) ou logs corrompidos (67,7%), impulsionam taxas de revisão comparáveis ou superiores a painéis de especialistas. Por outro lado, enquadrar o texto como uma "string aleatória não relacionada" reduz a taxa para 52,0%.
4. Repetição Mimica a Maioria: Uma única afirmação repetida (uma "voz" repetida 6 vezes) pode rivalizar com a pressão de múltiplos oradores distintos. Em experimentos de dose-resposta, uma afirmação ecoada única (N=1) causou 91,6% de revisão, enquanto 6 oradores distintos causaram 62,7%.
5. Erroneidade Confiante: Quando os modelos mudam, eles o fazem com confiança. A probabilidade média final para a resposta errada é 0,92 (0,95 sob enquadramento de especialista). A recalibração simples de temperatura não recupera a resposta original, e os modelos raramente identificam a pista inserida em suas autoexplicações, em vez disso racionalizando a mudança através do conteúdo da tarefa.

Significância e Alegações
O artigo alega que o "piso livre de orador" é uma propriedade robusta do próprio texto da resposta, não uma peculiaridade de formatos de múltipla escolha ou pistas sociais. Os autores argumentam que os benchmarks existentes erroneamente atribuíram a maior parte da revisão à influência social, quando ela é na verdade impulsionada pela repetição do conteúdo afirmado.

A lição metodológica é que os benchmarks de conformidade devem primeiro medir a taxa de revisão após a remoção do orador. O "componente social" deve ser medido estritamente como o incremento acima deste piso livre de orador. Essa distinção tem implicações diretas para:

• Avaliação: Benchmarks devem reportar o piso sem fonte e o incremento atribuído à fonte separadamente.
• Sistemas Multi-Agentes: O acordo entre agentes não deve ser tratado como evidência independente se eles compartilam um modelo, prompt ou contexto recuperado, pois afirmações repetidas podem mimetizar a pressão da maioria.
• Pipelines de Recuperação: Afirmações repetidas ou com rótulo de fonte em contextos não confiáveis devem ser tratadas como uma superfície de manipulação, em vez de corroboração independente.

Os autores concluem que, embora a atribuição de fonte importe, ela modula um grande piso pré-existente de revisão impulsionada pelo texto, em vez de criar o efeito de conformidade do zero.