Self-Anchoring Calibration Drift in Large Language Models: How Multi-Turn Conversations Reshape Model Confidence

Resumo Técnico: Self-Anchoring Calibration Drift (SACD) em LLMs

1. O Problema

A calibração em Modelos de Linguagem de Grande Porte (LLMs) refere-se ao alinhamento entre a confiança expressa pelo modelo e sua precisão real. Embora a superconfiança em respostas de "única rodada" (single-turn) seja bem documentada, este artigo identifica uma lacuna crítica: o comportamento de LLMs em conversas de múltiplas voltas (multi-turn).

O autor propõe o fenômeno da Deriva de Calibração de Auto-ancoragem (SACD). A hipótese central é que, ao construir respostas iterativamente sobre seus próprios outputs anteriores, o modelo pode distorcer sistematicamente sua confiança expressa, independentemente da evidência factual. Diferente da "sycophancy" (sycophancy), onde o modelo concorda com o usuário, a SACD ocorre quando o modelo usa suas próprias afirmações passadas como contexto autoritário, levando a uma deriva de confiança (seja para cima ou para baixo) que não reflete uma atualização real do conhecimento.

2. Metodologia

O estudo emprega um desenho experimental fatorial misto para isolar os efeitos da auto-ancoragem de outras variáveis de confusão (como dificuldade da pergunta ou variância do modelo).

• Modelos Avaliados: Três modelos de ponta (frontier models):
  • Claude Sonnet 4.6
  • Gemini 3.1 Pro
  • GPT-5.2
• Corpus de Dados: 150 perguntas divididas igualmente em três domínios:
  1. Fatos: Questões verificáveis com respostas objetivas.
  2. Técnicas: Raciocínio aplicado em matemática, programação ou lógica formal.
  3. Abertas: Temas interpretativos ou avaliativos sem uma única resposta correta.
• Condições Experimentais:
  • Condição A (Linha de Base): Pergunta única em contexto fresco.
  • Condição B (Auto-ancoragem Multi-turn): A mesma pergunta inicial é seguida por 4 prompts de elaboração "neutros" (ex: "Pode detalhar mais?"), mantendo o histórico completo da conversa.
  • Condição C (Controle de Repetição Independente): A mesma pergunta inicial é feita 5 vezes em contextos totalmente independentes e frescos (para medir o ruído de teste-reteste e a melhoria natural de calibração).
• Métricas Principais:
  • Score de Deriva de Confiança (CDS): Diferença entre a confiança expressa na Volta 5 e na Volta 1.
  • Erro de Calibração Esperado (ECE): Medida da discrepância agregada entre confiança expressa e precisão real.

3. Contribuições Principais

1. Definição Formal de SACD: Estabelece uma definição teórica bidirecional para a deriva de confiança causada pela auto-ancoragem, distinguindo-a de outros efeitos de diálogo.
2. Evidência Empírica Heterogênea: Demonstra que a SACD não é um fenômeno uniforme; sua direção e magnitude dependem criticamente da arquitetura e do treinamento do modelo específico.
3. Descoberta de "Supressão de Melhoria Natural": Identifica que, em alguns casos (especificamente no Gemini), a SACD não se manifesta como uma mudança ativa de confiança, mas sim como a inibição de uma melhoria natural de calibração que ocorreria em contextos independentes.
4. Reprodutibilidade: O código e os dados completos foram disponibilizados como software de código aberto.

4. Resultados Chave

Os resultados contradisseram parcialmente a hipótese pré-registrada de que a confiança aumentaria uniformemente em todas as conversas. O padrão observado foi complexo e dependente do modelo:

• Claude Sonnet 4.6 (Supressão de Confiança):
  • Exibiu uma deriva negativa significativa (CDS = -0.032, p = .029).
  • O modelo tornou-se menos confiante ao longo das voltas, especialmente em domínios abertos.
  • Houve um aumento significativo no erro de calibração (ECE) ao longo das voltas.
• GPT-5.2 (Escalada de Confiança):
  • Mostrou uma tendência oposta, com deriva positiva (CDS = +0.007) em domínios abertos, embora não estatisticamente significativa em todos os testes, mas com um aumento drástico no ECE (de 0.355 para 0.629 na Volta 5).
  • Indica uma tendência a se tornar excessivamente confiante ao reiterar suas próprias afirmações.
• Gemini 3.1 Pro (Estagnação da Calibração):
  • Não mostrou deriva significativa de confiança (CDS ≈ 0).
  • Descoberta Crítica: Na Condição C (repetição independente), o erro de calibração do Gemini caiu drasticamente (de 0.327 para ~0.005), indicando que o modelo poderia se auto-corrigir. No entanto, na Condição B (auto-ancoragem), o ECE permaneceu estagnado em ~0.333.
  • Interpretação: A SACD no Gemini manifesta-se como a supressão da melhoria natural de calibração, impedindo o modelo de aprender com a repetição da pergunta.
• Moderação por Domínio:
  • O efeito foi nulo em perguntas factuais (CDS ≈ 0 para todos), onde a verdade objetiva ancora a confiança.
  • Os efeitos mais fortes ocorreram exclusivamente em perguntas abertas, onde não há uma "verdade de base" clara para ancorar a resposta.

5. Significado e Implicações

• Natureza Multiforme da SACD: A deriva de calibração não é um bug universal, mas um comportamento emergente que varia conforme o treinamento (RLHF, objetivos de otimização). Pode ser supressão ativa (Claude), escalada ativa (GPT) ou bloqueio de auto-correção (Gemini).
• Risco em Sistemas de Diálogo: Em cenários de alto risco (médico, legal, estratégico) onde as consultas são frequentemente abertas e iterativas, a confiança expressa pelo modelo pode ser um indicador enganoso, distorcida pelo histórico da conversa e não pela precisão real.
• Recomendações Práticas:
  • A monitorização de confiança deve ocorrer ao longo de toda a conversa, não apenas na resposta inicial.
  • A implementação de "resetos de contexto" periódicos pode interromper a dinâmica de auto-ancoragem e restaurar a calibração.
  • Políticas de calibração adaptativas devem focar especificamente em domínios abertos.

Em conclusão, o artigo alerta que as avaliações de LLMs baseadas apenas em interações de única rodada são insuficientes para garantir a confiabilidade em sistemas de diálogo reais, onde a auto-ancoragem pode degradar a precisão ou mascarar a incerteza de maneiras imprevisíveis e específicas de cada modelo.