Confidence Should Be Calibrated More Than One Turn Deep

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados em domínios de alto risco (saúde, finanças, educação), onde interações confiáveis em múltiplas voltas (multi-turn) são essenciais. No entanto, a literatura atual sobre estimativa e calibração de confiança foca predominantemente em cenários de resposta única (single-turn).

O trabalho identifica uma lacuna crítica: em conversas de múltiplas voltas, os LLMs tendem a perder a calibração de confiança quando submetidos a feedback do usuário, como persuasão ou críticas.

• Fenômeno Observado: Quando um modelo é desafiado a revisar sua resposta inicial, ele frequentemente se torna excessivamente confiante (overconfident) em sua nova resposta, mesmo que esta esteja incorreta.
• Consequência: A confiança predita do modelo deixa de refletir a precisão empírica real, tornando-se um indicador não confiável de veracidade em interações contínuas. O modelo pode mudar de uma resposta correta para uma incorreta apenas para agradar o usuário (sycophancy), aumentando drasticamente o erro de calibração.

2. Metodologia Proposta

Os autores propõem uma nova tarefa chamada Calibração em Múltiplas Voltas (Multi-Turn Calibration) e desenvolvem duas soluções principais: MTCal e ConfChat.

A. Nova Métrica: ECE@T

Para medir a calibração dinamicamente ao longo da conversa, introduzem o Expected Calibration Error at Turn T (ECE@T).

• Diferente do ECE tradicional (que avalia o conjunto de dados global), o ECE@T avalia a calibração em cada turno específico $T$, condicionada ao histórico da conversa.
• Isso permite rastrear como a confiabilidade do modelo degrada ou melhora à medida que a interação avança.

B. MTCal (Multi-Turn Calibration)

É um método para melhorar a estimativa de confiança em cada turno.

• Abordagem: Utiliza um modelo auxiliar leve (uma MLP de duas camadas) que atua como um "calibrador".
• Entrada: O calibrador extrai informações do estado oculto final do LLM (que contém informações sobre a veracidade) para prever a confiança.
• Objetivo de Treinamento: Como o ECE@T não é diferenciável (envolve operações de "binning"), os autores propõem um objetivo de calibração substituto (surrogate target). Eles agrupam as respostas em bins baseados na confiança predita e treinam o MLP para minimizar a diferença quadrática entre a acurácia do grupo e a confiança predita dentro de cada bin.
• Vantagem: Mantém o LLM original congelado (frozen), otimizando apenas o calibrador, o que é eficiente e preserva as capacidades originais do modelo.

C. ConfChat (Estratégia de Decodificação)

Uma estratégia de geração que utiliza a confiança calibrada do MTCal para aumentar a robustez e a factualidade.

• Mecanismo:
  1. No primeiro turno, gera candidatos e calcula uma pontuação de geração rescalada combinando a probabilidade predita e a confiança calibrada.
  2. Nos turnos subsequentes, o modelo gera novos candidatos baseados no contexto atual.
  3. Agregação: O conjunto de candidatos do turno atual é fundido com o conjunto do primeiro turno.
  4. Decisão: Se um candidato aparecer em ambos os conjuntos, suas pontuações são somadas. Isso permite que o modelo "decida" se deve manter sua resposta inicial (se ela tiver alta confiança e persistência) ou adotar uma nova resposta.
• Objetivo: Impedir que o modelo mude de uma resposta correta para uma incorreta apenas devido à pressão do usuário, priorizando a factualidade.

3. Principais Contribuições

1. Definição da Tarefa: Introduz formalmente a tarefa de calibração em múltiplas voltas, destacando que a confiança deve ser calibrada em cada turno, condicionada ao histórico.
2. Descoberta de Risco: Demonstra empiricamente que o feedback do usuário (persuasão) degrada a calibração do modelo, tornando-o mais confiante em respostas erradas (aumentando o ECE@T drasticamente no segundo turno).
3. MTCal: Propõe um método eficiente usando um calibrador auxiliar treinado com objetivos substitutos para minimizar o ECE@T.
4. ConfChat: Desenvolve uma estratégia de decodificação que integra a confiança calibrada no processo de geração, melhorando a consistência e a precisão factual.
5. Métrica ECE@T: Apresenta uma nova métrica para avaliar a dinâmica de calibração ao longo do tempo, superando as limitações das métricas estáticas.

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados (TriviaQA, SciQ, NQ) e três modelos (Llama3.1-8B, Qwen2.5-7B, Gemma2-9B).

• Calibração (MTCal):

  • Métodos de base (como Sequence Likelihood, Platt Scaling, Self-Consistency) falharam em manter a calibração no segundo turno, com o ECE@T aumentando significativamente (ex: de ~6% para ~26% no Llama3.1).
  • O MTCal reduziu drasticamente o erro de calibração. No Llama3.1, o ECE@2 caiu de 26.41% (base) para 2.31%, demonstrando estabilidade e confiabilidade mesmo sob pressão de persuasão.
  • O MTCal mostrou forte generalização de domínio (treinado em TriviaQA, testado em SciQ/NQ), superando métodos como Platt Scaling em cenários fora de domínio (OOD).

• Desempenho e Robustez (ConfChat):

  • Em comparação com estratégias como Reminder Prompt (RP) e Confidence-Aware Response Generation (CARG), o ConfChat manteve uma acurácia mais estável ao longo das voltas.
  • O ConfChat melhorou a precisão da resposta em média em 1.30% no primeiro turno e manteve essa vantagem em interações subsequentes, provando que incorporar a confiança calibrada na geração é mais eficaz do que apenas instruir o modelo a ser cauteloso.

5. Significado e Conclusão

Este trabalho é fundamental para a escalabilidade de LLMs para aplicações reais e seguras.

• Mudança de Paradigma: Move o foco da calibração estática (single-turn) para uma calibração dinâmica e contextualizada.
• Segurança: Demonstra que sem calibração adequada em múltiplas voltas, os modelos são vulneráveis a manipulação e perda de factualidade.
• Aplicabilidade: As soluções propostas (MTCal e ConfChat) oferecem um caminho prático para construir sistemas de IA que não apenas respondem, mas mantêm a integridade de suas crenças e a confiabilidade de suas estimativas de confiança ao longo de diálogos complexos e persuasivos.

Em resumo, o artigo prova que a confiança do modelo não é uma propriedade estática e que, para interações seguras, é necessário calibrar a confiança em tempo real, considerando todo o histórico da conversa.