Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

Resumo Técnico: Descalibração Estável em Grandes Modelos de Linguagem

Definição do Problema
Erros de alta confiança (alucinações) em Grandes Modelos de Linguagem (LLMs) são frequentemente interpretados como evidência de uma "inferência interna frágil" — a ideia de que uma pequena perturbação no prompt ou no contexto faz com que o modelo mude sua resposta. Este artigo desafia essa visão singular ao propor a descalibração estável: um estado onde um modelo produz uma resposta incorreta e confiante que permanece localmente estável sob pequenas perturbações. O autor argumenta que, se os erros de alta confiança forem estáveis em vez de frágeis, eles podem não ser distinguíveis de respostas corretas de alta confiança apenas via análise de sensibilidade, embora ainda representem riscos significativos para sistemas de tomada de decisão. A questão central é: o que pode ser inferido sobre esses erros usando respostas de confiança mensuráveis e sondagens internas pequenas, dado que as explicações mecanísticas internas completas são frequentemente inacessíveis?

Metodologia
O estudo emprega uma abordagem multifacetada combinando um conjunto de auditoria rotulado, diagnósticos de nível de saída e sondagem de sensibilidade interna em três modelos de pesos abertos (Llama-3.1-8B, DeepSeek-R1 e Qwen2.5-7B).

1. Conjunto de Dados de Auditoria: Um conjunto congelado de 532 itens fatuais binários em 11 domínios (ex: epidemiologia médica, estatísticas sociais, história) foi utilizado. Os itens foram avaliados sob três políticas distintas:

   • C0 (Resposta Forçada): O modelo deve responder "Sim" ou "Não".
   • C1 (Abstenção Cautelosa): O modelo pode se abster se o item estiver subespecificado.
   • C2 (Abstenção Autocrítica): O modelo realiza uma verificação explícita de autocrítica antes de decidir, podendo se abster.

2. Diagnóstico de Nível de Saída ($H_{proxy}$): O autor introduz uma pontuação de auditoria consciente de rótulos projetada para classificar domínios por risco. Esta pontuação combina dois sinais:

   • Variação de Confiança: O desvio padrão da confiança relatada ($P(\text{correto})$) entre as três políticas.
   • Massa de Excesso de Confiança com Erro (OCW - Overconfident-Wrong): Um indicador binário onde a linha de base C0 está errada, mas reporta confiança > 0.8.
   • A pontuação é definida como $H_{proxy}(d) = \frac{1}{|D_d|} \sum_{i \in D_d} [\text{Std}_{c \in \{C0,C1,C2\}}(p_{i,c}) + \lambda \cdot \text{OCW}(i)]$.
   • Esta métrica é explicitamente rotulada como um diagnóstico de auditoria retrospectivo, não um estimador de tempo de implantação para dados não rotulados.

3. Sondagem de Sensibilidade Interna: Para testar a hipótese da "fragilidade", o autor injetou ruído Gaussiano ($\sigma=0.01$) no espaço de embeddings dos três modelos de pesos abertos. Eles mediram o movimento dos estados ocultos do último token ($S_\ell$) através das camadas. Isso foi realizado em itens pré-classificados pelos logs de auditoria C0 como sendo ou Corretos Confiantes (CC) ou Errados com Excesso de Confiança (OCW). O estudo também testou o efeito do prompting autocrítico nesta sensibilidade.

Principais Contribções

1. Abstração Teórica: O artigo postula a "descalibração estável" como uma hipótese de incerteza válida. Usando uma abstração de malha fechada linear-Gaussiana, demonstra que a estabilidade local (perturbações amortecidas) e a correção não precisam coincidir; um sistema pode convergir para um estado estável que é sistematicamente errado.
2. Pontuação de Auditoria para Intervenção: O autor propõe o $H_{proxy}$ como uma ferramenta prática para identificar domínios onde a autocrítica consciente da abstenção (C2) tem maior probabilidade de reduzir a perda consciente da política. A pontuação correlaciona-se com onde a intervenção ajuda, distinguindo domínios que parecem seguros em média, mas que são arriscados sob mudanças de política.
3. Discrepância Interna vs. Saída: O estudo fornece evidência empírica de que, embora o prompting autocrítico induza a estabilização local (reduzindo a sensibilidade do estado oculto em todas as camadas), ele não cria uma lacuna de sensibilidade clara entre itens errados com excesso de confiança e itens corretos com confiança.

Resultos

• Descobertas de Nível de Saída: A pontuação $H_{proxy}$ mostra uma forte correlação positiva (Spearman $\rho = 0.71$) com o ganho alcançado pela política autocrítica (C2) sobre a linha de base de resposta forçada (C0). Domínios como epidemiologia médica e estatísticas sociais mostraram os maiores benefícios com C2, enquanto domínios de entretenimento e literatura mostraram pouco ou nenhum benefício. No entanto, as linhas de base rotuladas diretas (taxa de erro C0 e risco Brier) classificaram os domínios de forma ainda mais forte, confirmando que o $H_{proxy}$ é um diagnóstico estruturado e não um preditor superior de desempenho bruto.
• Descobertas Internas:
  • Estabilização: O prompting autocrítico reduziu consistentemente a sensibilidade do estado oculto camada por camada nos três modelos, apoiando a visão de que tais prompts induzem estabilização local.
  • Sem Lacuna de Fragilidade: Crucialmente, a diferença de sensibilidade entre os grupos OCW e CC foi negligenciável (lacuna padronizada $\approx 0.13$ desvios padrão agrupados ou menos, com intervalos de confiança incluindo zero). Isso sugere que os erros de excesso de confiança definidos pela auditoria não são unicamente frágeis em comparação com as respostas corretas sob as perturbações testadas.
  • Robustez: Varreduras de ruído mais densas e verificações de reescrita semântica confirmaram que a ausência de uma lacuna de fragilidade não foi um artefato das configurações específicas de perturbação.

Significância e Alegações
O artigo conclui com uma lição prática e modesta, em vez de uma redução mecanística completa. A principal significância é que comportamentos relacionados à incerteza relevantes para decisões podem ser estudados através de respostas de confiança mesmo quando os mecanismos internos permanecem parcialmente compreendidos.

• Descalibração Estável como Risco: As descobertas sugerem que erros de alta confiança podem ser "estáveis e descalibrados" em vez de "frágeis". Um sistema pode parecer robusto porque suas respostas são localmente estáveis, mas ainda assim produzir respostas erradas confiantes em domínios de alto impacto.
• Papel dos Diagnósticos: A pontuação de auditoria proposta destina-se à avaliação periódica rotulada para triagem de riscos e alocação de intervenções (ex: abstenção, recuperação, revisão humana) onde a massa de erro com excesso de confiança está concentrada. Não foi projetada como um filtro de segurança em tempo real ou um estimador livre de rótulos.
• Limitações: O autor reconhece que o estudo utiliza um conjunto de auditoria congelado e curado pelo próprio autor, que pode não se generalizar para conjuntos de dados maiores ou geração aberta. O resultado de "sem lacuna clara" é específico para a sonda atual e não descarta a instabilidade em outros contextos, mas desafia a suposição de que a fragilidade é a assinatura primária das alucinações de alta confiança.

Em resumo, o trabalho desloca o foco de visualizar erros de alta confiança apenas como sinais de instabilidade para reconhecê-los como potenciais descalibrações estáveis, necessitando de estratégias de auditoria que olhem além da simples análise de sensibilidade.