Resumo Técnico: Quem Muda de Ideia? Contra-argumentos Próprios e Entre Modelos Revelam a Instabilidade de Resposta em LLMs

Declaração do Problema

Os benchmarks de acurácia padrão para Grandes Modelos de Linguagem (LLMs) medem o quão próximos os modelos chegam de respostas corretas, mas falham em avaliar a estabilidade da resposta: se um modelo mantém uma resposta correta quando desafiado por um contra-argumento plausível e coerente para uma opção incorreta. Pesquisas existentes sobre "sicofancia" frequentemente confundem o conteúdo de um contra-argumento com pressão social explícita (ex: prompts como "Tem certeza?" ou "Acho que você está errado"). Isso torna difícil isolar se as mudanças de resposta são impulsionadas pela força do argumento em si ou pela tendência do modelo de se curvar ao desacordo percebido. Há uma necessidade de um protocolo controlado que isole o conteúdo argumentativo de pistas sociais para medir a estabilidade da resposta como uma dimensão distinta do desempenho do modelo.

Metodologia

Os autores introduzem um protocolo controlado de dois estágios avaliado no benchmark MMLU (Massive Multitask Language Understanding) através de 57 disciplinas e sete modelos de fronteira (incluindo GPT-5.1, Llama-3.1/3.3, Gemma-4 e variantes Qwen3.5).

Estágios do Protocolo

1. Estágio I (Coerção): Um modelo é instruído a gerar um argumento de $k$ sentenças ($R$) apoiando uma opção incorreta específica ($x$) para uma questão de múltipla escolha ($q$). Se o modelo recusar, o item é excluado.
2. Estágio II (Desafio): Em uma nova sessão, o modelo alvo responde a $q$ normalmente. Se a resposta inicial for correta, o modelo é desafiado com o argumento $R$ gerado no Estágio I. O modelo então fornece uma resposta final.

Variáveis Experimentais

O protocolo varia três fatores para testar seu impacto na estabilidade:

• Comprimento do Argumento ($k$): Testado nos comprimentos de 1, 3, 5 e 10 sentenças.
• Atribuição:
  • CÉGO (BLIND): O argumento é apresentado anonimamente.
  • PRÓPRIO (SELF): O modelo é informado de que o argumento foi gerado por si mesmo em uma sessão anterior.
  • ENTRE MODELOS (CROSS): O argumento é gerado por um outro modelo (modelo de origem $\neq$ modelo alvo).
• Origem: Comparação de desafios gerados pelo próprio modelo versus desafios entre modelos.

Métricas

A métrica primária é a Taxa de Mudança de Resposta (AFR - Answer Flip Rate), definida como a probabilidade de um modelo abandonar uma resposta inicialmente correta após ser apresentado a um contra-argumento. O estudo também introduz:

• Delta de Autoatribuição (SAD): A diferença nas taxas de mudança entre as condições SELF e BLIND.
• Porosidade Epistêmica (EP): O quão facilmente um modelo é convencido por outros.
• Autoridade Epistêmica (EA): O quão persuasivos são os argumentos errados de um modelo quando usados para desafiar outros.

Principais Contribuições

1. Protocolo Controlado: Um método para avaliar a estabilidade da resposta sob desafios de apenas argumentação, separando o conteúdo argumentativo de desacordos sociais explícitos.
2. Estudo Empírico Sistemático: Uma análise de como as taxas de mudança variam conforme o comprimento do argumento, atribuição, modelo de origem e domínio da disciplina através de sete modelos de fronteira.
3. Dataset MAXFLIP: Um conjunto de desafios curado construído ao agrupar os argumentos entre modelos mais eficazes para cada questão, projetado para amplificar a instabilidade para fins de benchmarking.

Resultados

1. Instabilidade ao Nível do Modelo

As taxas de mudança variam dramaticamente entre os modelos, indo de 17,5% (Qwen3.5-35B) a 97,3% (Llama-3.1-8B). Essa dispersão de 80 pontos indica que a estabilidade é uma propriedade do modelo não capturada apenas pela acurácia.

• Escala vs. Família: Dentro da família Qwen, a estabilidade melhora monotonicamente com a escala. No entanto, isso não se sustenta entre famílias; o Llama-3.1-8B (8B) é significativamente menos estável que o Qwen3.5-9B (9B), e o Llama-3.3-70B (70B) muda de ideia quase duas vezes mais do que o Qwen3.5-9B.
• Comprimento do Argumento: O efeito do comprimento é dependente do modelo. Modelos de médio porte (ex: Qwen3.5-4B/9B) mudam de ideia significativamente com argumentos mais longos (+9,5 a +10,5 pp), enquanto modelos mais estáveis mostam tendências de queda não significativas.

2. Efeito de Autoatribuição

Atribuir um contra-argumento ao próprio output do modelo aumenta consistentemente as taxas de mudança em todos os modelos (média de +7,1 pp). O efeito é mais pronunciado em modelos de médio porte (ex: +18,7 pp para Qwen3.5-4B), sugerindo que os modelos estão mais inclinados a deferir ao seu próprio raciocínio anterior do que a um conteúdo anônimo.

3. Dinâmica Entre Modelos (Cross-Model)

• Alvo vs. Origem: A identidade do modelo sendo desafiado explica 76,7% da variância nas taxas de mudança, enquanto a identidade do modelo de origem explica apenas 12,0%.
• Assimetria: Alguns modelos são "importadores líquidos" (facilmente convencidos, ex: Llama-3.1-8B), enquanto outros são "exportadores líquidos" (produzem argumentos errados altamente persuasivos, ex: GPT-5.1). Curiosamente, os modelos mais estáveis tendem a produzir os argumentos errados mais eficazes.
• MAXFLIP: Selecionar o único argumento mais eficaz entre modelos por questão (MAXFLIP) aumenta as taxas de mudança para todos os modelos em comparação com os desafios padrão gerados pelo próprio modelo, com ganhos de até +23,6 pp para modelos de médio porte.

4. Estratificação de Domínio

As taxas de mudança variam significamente por domínio de disciplina. Disciplinas STEM (ex: matemática elementar, física) são as mais robustas (taxas de mudança mais baixas, ~20–35%), enquanto Humanidades, Saúde e Ciências Sociais (ex: disputas morais, estudos de segurança) são as mais vulneráveis (taxas de mudança mais altas, até ~80%).

5. Recusa vs. Robustez

A taxa de recusa de um modelo em gerar um argumento errado no Estágio I (Taxa de Recusa de Coerção) está apenas fracamente relacionada à sua robustez no Estágio II. Alta recusa não prevê alta estabilidade; por exemplo, o Llama-3.1-8B tem a maior taxa de recusa (41,3%), mas também a maior taxa de mudança (97,3%).

Significância e Alegações

O artigo afirma que a estabilidade da resposta é uma dimensão distinta e crítica da avaliação de LLMs que as métricas de acurácia padrão ignoram. Os autores argumentam que:

• Modelos que alcançam alta acurácia podem ainda ser altamente instáveis quando confrontados com contra-argumentos plausíveis.
• A autoatribuição atua como uma pista persuasiva poderosa, fazendo com que os modelos abandonem respostas corretas com mais frequência quando desafiados pelo seu próprio raciocínio anterior.
• Existe dependência de domínio, com modelos sendo significativamente mais frágeis em domínios de ciências sociais e humanidades em comparação com domínios formais de STEM.
• O MAXFLIP fornece um recurso para testar a robustez dos modelos, revelando que o agrupamento de argumentos entre modelos cria desafios adversariais mais fortes do que qualquer fonte única.

Os autores enfatizam que seu trabalho foca na medição e caracterização desse modo de falha em um ambiente controlado, em vez de propor mitigações específicas ou alegar modelar todas as formas de persuasão em interações abertas. Eles disponibilizam o protocolo, os registros de desafio e o MAXFLIP para apoiar futuras avaliações de estabilidade junto aos benchmarks padrão.