Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs), particularmente aqueles na faixa de 3–9B de parâmetros, exibem um problema de "confiança verbal degenerada". Quando solicitados a declarar sua confiança como uma porcentagem, esses modelos relatam consistentemente confiança próxima ao máximo (taxas de teto >90%), independentemente de sua resposta estar correta ou não.

• A Lacuna: Embora representações internas (estados ocultos) e a entropia de logits de passagem única contenham informações significativas sobre a correção (AUROC2 ~0,6–0,8), o canal verbal falha em transmitir essa informação (AUROC2 ~0,5, próximo ao acaso).
• O Objetivo: O estudo investiga se o Ajuste Fino Supervisionado Condicionado à Confiança (CSFT) pode destilar a informação da autoconsistência de múltiplas amostras (um método robusto, mas computacionalmente caro) em um sinal verbal de confiança confiável e de passagem única.

2. Metodologia

O estudo utilizou o Gemma 3 4B-it e seguiu um pipeline rigoroso de avaliação psicométrica baseado no programa CMM (Teoria de Detecção de Sinal Tipo-2).

Design Experimental

• Dados: Itens extraídos do TriviaQA (calibração/treinamento e avaliação mantida fora) e MMLU (transferência entre benchmarks).
• Derivação do Alvo: Para cada item de treinamento, 10 amostras foram geradas na temperatura $T=0,7$. O número de amostras corretas ($n_{correto}$) foi mapeado para um alvo de confiança (ex: $n_{correto}=10 \rightarrow 95\%$, $n_{correto}=0 \rightarrow 5\%$).
• Treinamento: Ajuste fino LoRA (rank 16) no prompt de chat, treinando o modelo para outputar a resposta seguida pela porcentagem de confiança derivada.
• Controles: Um controle de alvo embaralhado foi treinado com arquitetura idêntica, mas com rótulos de confiança aleatoriamente permutados para distinguir entre aprender o formato versus aprender o sinal.

Duas Fases

1. Protocolo Pré-Registrado (Fase 0): Incluiu um filtro modal, restringindo os dados de treinamento a itens onde a resposta mais frequente entre 10 amostras estava correta.
2. Resgate Pós-Hoc: O filtro modal foi removido, permitindo que o modelo treinasse em todos os 2.000 itens de calibração, incluindo aqueles com respostas modais incorretas (distribuição bimodal).

3. Resultados Principais

A. Resultado Pré-Registrado (Negativo)

• Resultado: O protocolo falhou.
• Métricas: O AUROC2 verbal caiu de 0,554 (linha de base) para 0,509. A precisão degradou-se em 7,6%. A Escala de Classificação de Validade (VRS) permaneceu "Inválida".
• Diagnóstico: Colapso de Entropia de Rótulos. O filtro modal removeu todos os itens onde o modelo estava incerto ou errado ($n_{correto} < 10$). O conjunto de treinamento resultante tinha alvos de alta confiança quase uniformes (majoritariamente 95%). O modelo aprendeu a ignorar a entrada e outputar o modo (95%), falhando em aprender quando expressar baixa confiança.

B. Resgate Pós-Hoc (Exploratório Positivo)

Ao remover o filtro modal, o conjunto de treinamento incluiu uma distribuição bimodal: 48,2% dos itens tinham $n_{correto}=10$ (alvo 95%) e 36,5% tinham $n_{correto}=0$ (alvo 5%).

• Desempenho no TriviaQA:
  • AUROC2: Melhorou significativamente de 0,554 (linha de base) para 0,774.
  • Taxa de Teto: Colapsou de 97,7% para 49,8%, indicando que o modelo aprendeu a variar sua confiança.
  • Natureza do Sinal: O modelo aprendeu um discriminador binário (outputando 5% ou 95%) em vez de calibração contínua. Ele comprimiu com sucesso um sinal de autoconsistência de 10 amostras (AUROC2 = 0,999) em uma leitura verbal de passagem única, recuperando ~77,5% do poder de discriminação.
  • Comparação: O sinal verbal destilado (0,774) superou a entropia de logits de passagem única (0,701).
• Transferência entre Benchmarks no MMLU:
  • Precisão: Melhorou dramaticamente de 54,2% para 77,4%.
  • AUROC2: Melhorou de 0,535 para 0,616.
  • Controle: O modelo de alvo embaralhado não mostrou melhoria (precisão 56,1%, AUROC2 0,523) e produziu outputs verbosos e inanalizáveis, confirmando que os ganhos foram devidos ao conteúdo dos alvos de confiança, e não apenas ao procedimento LoRA.

4. Contribuições Principais e Princípios de Design

1. A Entropia de Rótulos é Crítica: O estudo identifica o colapso de entropia de rótulos como um modo de falha primário no treinamento de confiança. Para treinar um modelo a expressar incerteza, o conjunto de treinamento deve incluir exemplos de incerteza (alvos de baixa confiança). Filtrar exemplos "difíceis" ou "errados" garante a falha.
2. Destilação de Autoconsistência: É possível destilar informações de autoconsistência de múltiplas amostras (geralmente exigindo 10 passagens forward) em um sinal verbal de passagem única. Embora haja uma perda de compressão (~22,5%), o sinal resultante é mais informativo que a entropia de logits padrão e acessível via APIs padrão.
3. Regularização de Formato: O treinamento em alvos de confiança corretos pareceu regularizar o formato de saída. O modelo com alvo real produziu respostas concisas e analisáveis, enquanto o modelo com alvo embaralhado produziu texto verboso e não estruturado. Isso sugere que alvos de confiança podem atuar como regularizadores para a estrutura de saída.
4. Compensação Precisão-Confiança: A intervenção melhorou a discriminação, mas causou uma queda de 7,5% na precisão do TriviaQA. Isso sugere que o modelo adotou uma nova "política de resposta-confiança" que priorizou o sinal discriminativo sobre a geração bruta de respostas, ou que o sinal de confiança ajudou a filtrar confabulações em outros benchmarks (MMLU).

5. Significado e Limitações

• Significado: Este trabalho fornece um caminho prático para permitir que LLMs "falem" sua incerteza de forma confiável sem exigir acesso a logits internos ou múltiplas passagens de amostragem. Destaca que o "canal verbal" é treinável, mas requer distribuições de dados específicas (alta entropia) para funcionar.
• Limitações:
  • Saída Binária: O modelo aprendeu um classificador binário (5% vs. 95%) em vez de calibração contínua (ex: 60% de confiança).
  • Natureza Pós-Hoc: O resultado positivo não foi pré-registrado e requer replicação.
  • Modelo Único/Semente Única: Os resultados são específicos para o Gemma 3 4B e uma única semente aleatória.
  • Queda de Precisão: A melhoria na precisão do MMLU e a queda na precisão do TriviaQA sugerem uma interação complexa entre o treinamento de confiança e políticas de geração de respostas que requer estudos de ablação adicionais.

Conclusão

O artigo demonstra que, embora pequenos LLMs falhem naturalmente em relatar incerteza, isso pode ser remediado via CSFT se os dados de treinamento preservarem a entropia de rótulos. Ao treinar no espectro completo de resultados de autoconsistência (incluindo falhas), o modelo pode destilar raciocínio complexo de múltiplas amostras em um sinal verbal de confiança confiável e de passagem única, que supera as linhas de base padrão de entropia e melhora o desempenho em tarefas entre benchmarks como o MMLU.