Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

Resumo Técnico: Saturação de Confiança Verbal em LLMs de Pesos Abertos (3–9B)

Título Original: Verbal Confidence Saturation in 3–9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen
Autor: Jon-Paul Cacioli (Abril de 2026)

1. O Problema (Contexto e Motivação)

Atualmente, é comum utilizar a "elicitação de confiança verbal" (pedir ao modelo que declare sua confiança em uma escala numérica ou categórica) para estimar a incerteza de Grandes Modelos de Linguagem (LLMs). A premissa é que o valor verbalizado reflete um sinal interno que distingue respostas corretas de incorretas.

No entanto, este estudo investiga se esse sinal é realmente útil para fins de aplicação prática (como tomada de decisão ou filtragem de erros). O problema central não é se os modelos estão "calibrados" (se a confiança corresponde à precisão), mas sim se o sinal possui validade psicométrica mínima para discriminar itens individualmente. Se um modelo atribui 95% de confiança a quase todas as respostas, independentemente de estarem certas ou erradas, o sinal está "saturado" e perdeu sua capacidade de discriminação.

2. Metodologia

O estudo foi pré-registrado (OSF) e utilizou uma abordagem rigorosa de triagem psicométrica:

• Modelos: Oito modelos de pesos abertos (3–9B parâmetros), incluindo famílias como Llama 3, Mistral, Qwen 2.5, Gemma 2 e o modelo de raciocínio DeepSeek-R1-Distill.
• Tarefa: 524 itens do dataset TriviaQA.
• Condições de Elicitação:
  1. Numérica (NUM): Solicitação de uma porcentagem de 0 a 100.
  2. Categórica (CAT): Classificação em uma escala ordinal de 10 classes.
• Protocolo de Validade: Em vez de apenas medir a calibração, o autor aplicou um "screen" (triagem) baseado em critérios clínicos (como MMPI-3), avaliando:
  • Degenerescência: Se a distribuição de respostas colapsou em uma única categoria.
  • Índices de Erro: Taxa de confiança alta em respostas incorretas ($L$) e taxa de confiança baixa em respostas corretas ($F_p$).
• Configuração Técnica: Decodificação greedy (temperatura = 0) em hardware de consumo para isolar o comportamento padrão da interface.

3. Principais Contribuições

• Protocolo de Triagem Psicometria: Introdução de um método para classificar sinais de confiança como Inválidos, Indeterminados ou Válidos antes de qualquer tentativa de calibração.
• Identificação do Fenômeno de Saturação: Demonstração de que, em modelos pequenos (3–9B), a confiança verbalizada frequentemente colapsa no "teto" (valores próximos a 100%), tornando-a inútil para distinguir acertos de erros.
• Descoberta do Efeito de Contaminação de Raciocínio: Observação de que, em modelos de raciocínio (como DeepSeek-R1), o comprimento do rastro de pensamento tem uma correlação negativa com a confiança verbalizada.

4. Resultados Principais

• H1 (Saturação) - Confirmada: A média de confiança $\ge 95\%$ nos modelos instruídos foi de 91,7%. Quase todos os modelos exibiram um comportamento de "teto".
• H2 (Validade) - Confirmada: Todos os sete modelos instruídos foram classificados como "Inválidos" na condição numérica. Eles falharam em discriminar itens devido à degenerescência do sinal.
• H4 (Resgate por Formato) - Não Confirmada: A mudança para a escala categórica não resolveu o problema. Pelo contrário, causou um colapso no desempenho da tarefa (a acurácia caiu para níveis próximos de 0% em vários modelos), sugerindo que o prompt categórico interfere na capacidade de resposta do modelo.
• H5 (Independência de Logprob) - Confirmada: A probabilidade do token (log-probability) não foi um preditor útil da confiança verbalizada ($R^2 < 0.01$), indicando que o sinal verbalizado e o sinal probabilístico interno operam de forma desconectada nesta escala de modelos.
• Efeito de Raciocínio: No modelo DeepSeek-R1, quanto mais longo o raciocínio, menor a confiança verbalizada ($\rho = -0.36$), o que é consistente com a dificuldade do item.

5. Significância e Implicações

O estudo conclui que não se deve confiar na confiança verbalizada de modelos pequenos (3–9B) para aplicações críticas (como sistemas de segurança ou roteamento de tarefas) sem uma triagem prévia.

A principal lição é que a informação de incerteza pode existir internamente no modelo (como mostra a correlação com a dificuldade dos itens), mas ela não sobrevive à interface de saída sob métodos de elicitação mínimos. O autor alerta que a saturação é uma falha de validade da interação "modelo-prompt-tarefa", e não necessariamente uma ausência de conhecimento de incerteza dentro do modelo.