Resumo Técnico: Grandes Modelos de Linguagem são Superconfiantes em Suas Próprias Respostas

Definição do Problema

Embora os modelos de linguagem de base (pré-treinados) geralmente exibam probabilidades bem calibradas para a previsão do próximo token, os LLMs ajustados por instrução (pós-treinados) sofrem de uma descalibração significativa. Eles tendem a ser superconfiantes, atribuindo pontuações de confiança elevadas a respostas incorretas. Pesquisas anteriores estabeleceram que os processos de pós-treinamento (Ajuste Fino Supervisionado e Aprendizagem por Reforço com Feedback Humano) degradam a calibração, mas a contribuição específica do template de chat — o formato conversacional usado para interagir com esses modelos — permanece subexplorada. Além disso, não está claro se a descalibração decorre do próprio algoritmo de treinamento ou do estilo de prompting conversacional, e se métodos específicos de elicitação de confiança podem mitigar esse problema sem necessidade de retreinamento.

Metodologia

Os autores conduziram uma investigação abrangente através de seis famílias recentes de LLMs de pesos abertos (Llama 3.1, Qwen3 e Gemma 3), utilizando tanto versões base quanto ajustadas por instrução de várias escalas (4B a 70B). A avaliação foi realizada no benchmark MMLU, um conjunto de dados de 57 disciplinas de múltipla escolha.

A pesquisa procedeu em quatro fases distintas:

1. Desacoplamento de Treinamento e Formato: Os autores isolaram os efeitos do ajuste por instrução e do template de chat comparando três variantes de modelos:

   • Modelos base (pré-treinados, sem ajuste por instrução).
   • Modelos ajustados por instrução invocados sem o template de chat.
   • Modelos ajustados por instrução invocados com o template de chat padrão.
     A calibração foi medida usando o Erro de Calibração Esperado (ECE) e o Score de Brier, derivados diretamente dos logits do modelo.

2. Elicitação de Confiança Explícita: Para determinar se a descalibração persiste quando os modelos são explicitamente questionados sobre sua certeza, os autores testaram três métodos de elicitação de confiança:

   • P(True): Pedir ao modelo para prever a probabilidade de um token "True" para uma determinada resposta.
   • Porcentagem Verbalizada: Pedir uma pontuação de confiança de 0 a 100%.
   • Linguística Verbalizada: Pedir ao modelo para selecionar um nível de confiança qualitativo de uma escala Likert (ex: "muito baixo" a "muito alto").

3. Teste da Hipótese de "Viés de Propriedade": Os autores hipotetizaram que os LLMs exibem um "viés de propriedade", sendo significativamente mais confiantes em respostas que eles mesmos geram em comparação com respostas idênticas fornecidas por um usuário. Para testar isso, eles promoveram os modelos com o mesmo par de pergunta e resposta, variando apenas a fonte da resposta:

   • Condição Assistente: A resposta foi apresentada como parte da própria resposta do modelo.
   • Condição Usuário: A resposta foi apresentada como parte da entrada do usuário.
     O modelo foi então solicitado a avaliar a correção da resposta fornecida.

4. Estratégia de Mitigação Proposta: Com base nos achados, os autores propuseram uma estratégia de tempo de inferência: enquadrar a própria resposta do modelo como entrada do usuário durante a elicitação de confiança para contornar o viés de propriedade.

Principais Resultados

1. Vetores de Descalibração

• Ajuste por Instrução: O ajuste por instrução prejudica fundamentalmente a calibração. Em média, aumentou o ECE em 13,1% e o score de Brier em 6,5% em comparação aos modelos base, apesar de melhorar a acurácia em 3,7%.
• Template de Chat: O template de chat agrava ainda mais o problema. Embora tenha proporcionado um ganho modesto de acurácia (+1,1%), aumentou o ECE em adicionais 2,74% e o score de Brier em 1,5%.
• Conclusão: Embora o ajuste por instrução seja a fonte primária de descalibração, o formato de chat conversacional exacerba significativamente o problema.

2. Métodos de Elicitação de Confiança

Solicitar explicitamente a confiança não resolveu a descalibração subjacente. Modelos ajustados por instrução permaneceram significativamente piores calibrados do que os modelos base em todos os três métodos de elicitação (P(True), Porcentagem Verbalizada e Linguística Verbalizada), confirmando que o processo de pós-treinamento é a causa raiz.

3. Evidência de Viés de Propriedade

Os experimentos confirmaram um forte "viés de propriedade":

• Superconfiança: Os modelos atribuíram confiança significativamente maior a respostas que eles próprios geraram (Condição Assistente) em comparação com respostas idênticas fornecidas pelo usuário (Condição Usuário).
• Magnitude: A diferença na confiança foi substancial. Para o método Linguístico Verbalizado, os modelos mostraram um aumento médio de confiança de 26,8% quando a resposta era sua própria. Mesmo para o método P(True), o aumento médio foi de 15,8%.
• Impacto na Calibração: Este viés levou a métricas de calibração piores. O aumento médio no ECE para respostas geradas pelo assistente foi de 9,8% (P(True)) e até 26,1% (Linguística) em comparação com as respostas fornecidas pelo usuário.
• Significância Estatística: Essas diferenças foram estatisticamente significativas (p < 0,01) na vasta maioria dos modelos e métodos.

4. Eficácia da Estratégia Proposta

Ao reestruturar a resposta do modelo como entrada do usuário durante a elicitação de confiança, os autores demonstraram que:

• Redução da Superconfiança: A estratégia reduz significativamente a superconfiança inerente do modelo.
• Melhoria na Calibração: Esta abordagem melhora a calibração em até 26% sem qualquer retreinamento.
• Estreitamento da Lacuna: Ela reduz efetivamente a lacuna de calibração entre modelos base e ajustados por instrução, permitindo às vezes que modelos ajustados alcancem uma calibração comparável ou até superior à dos modelos base em configurações específicas.

Significância e Alegações

O artigo afirma identificar um mecanismo fundamental por trás da descalibração de LLMs ajustados por instrução: um viés de propriedade, onde os modelos são inerentemente superconfiantes em seus próprios outputs. Este achado contrasta com a "sicofancia" (onde modelos se alinham com as crenças do usuário), sugerindo, em vez disso, uma forma de auticonsistência onde o modelo assume que sua própria geração implica correção.

A principal contribuição é uma estratégia simples de tempo de inferência, que não requer retreinamento, modelagem de recompensa complexa ou modelos auxiliares. Ao simplesmente alterar a estrutura do prompt para apresentar a resposta do modelo como uma consulta do usuário, os praticantes podem melhorar significativamente a confiabilidade das estimativas de confiança. Isso oferece uma solução prática e de baixo custo para implantar IAs mais seguras e confiáveis em aplicações de alto risco onde a quantificação precisa de incerteza é crítica.