GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models

1. O Problema

A confiabilidade de Grandes Modelos de Linguagem (LLMs) é crítica para aplicações de alto risco (como saúde e finanças). Métodos existentes para elicitar confiança (avaliar o quão certo o modelo está) apresentam limitações significativas:

• Métodos Pós-Geração: Exigem uma etapa adicional de avaliação após a geração da resposta (usando prompts repetidos ou modelos auxiliares), o que aumenta a latência e o custo computacional.
• Confiança Verbalizada: Quando o modelo expressa confiança em linguagem natural (ex: "provável", "não tenho certeza"), a calibração é frequentemente ruim. Os modelos tendem a ser excessivamente confiantes (overconfident) e as expressões verbais são vagas, não quantificáveis e difíceis de padronizar.
• Necessidade: Há uma lacuna para um método que elicie confiança de forma contínua, calibrada e em tempo real (on-the-fly) durante a geração, sem custo computacional adicional significativo, permitindo aplicações como Test-Time Scaling (escalonamento no tempo de teste).

2. Metodologia: GrACE

O GrACE (Generative Approach to Confidence Elicitation) propõe uma abordagem generativa onde o próprio modelo aprende a expressar sua confiança interna de forma calibrada durante o processo de geração.

• Token Especial <CNF>: O método introduz um novo token especial <CNF> no vocabulário do modelo. O modelo é treinado para gerar este token no final de sua resposta.
• Elicitação de Confiança Latente: A confiança não é um número verbalizado, mas sim derivada da similaridade entre o último estado oculto do modelo (no momento da geração do token <CNF>) e o embedding do próprio token <CNF>.
  • Matematicamente, a confiança $c$ é calculada como: $c = \text{softmax}(E \cdot z_L)_{<CNF>}$, onde $z_L$ é o estado oculto final e $E$ é a matriz de embeddings. Isso aproveita a geometria nativa do modelo.
• Treinamento e Calibração:
  • Para garantir que a confiança seja calibrada (ou seja, que uma confiança de 80% corresponda a 80% de acurácia), o método utiliza um conjunto de calibração.
  • Os dados de treinamento são agrupados (binning) com base em uma pontuação de confiança não calibrada inicial (obtida via um linear probe).
  • A acurácia empírica de cada grupo é usada como o alvo de confiança ($t_i$) para os exemplos naquele grupo.
  • O modelo é fine-tuned (ajustado) minimizando o Erro Quadrático Médio (MSE) entre a confiança gerada e esse alvo calibrado, enquanto mantém a utilidade do modelo através de uma perda de Supervised Fine-Tuning (SFT) na geração original (excluindo o token <CNF> da perda SFT).
• Eficiência: Apenas o módulo LoRA e o embedding do token <CNF> são ajustados, tornando o custo de treinamento baixo e generalizável.

3. Contribuições Principais

1. Mecanismo de Elicitação Escalável: Propõe um método que gera confiança calibrada e discriminativa em tempo real durante a geração, eliminando a necessidade de modelos auxiliares ou etapas de pós-processamento.
2. Estratégias para Test-Time Scaling (TTS): Integra a confiança do GrACE em duas estratégias de TTS:
   • GrACE-SC (Self-Consistency): Usa a confiança como peso no voto majoritário, melhorando a precisão da decisão final.
   • GrACE-ES (Early Stopping): Usa a confiança para interromper a amostragem assim que uma resposta com confiança acima de um limiar é encontrada, reduzindo drasticamente o número de amostras necessárias sem perder precisão.
3. Desempenho Superior: Demonstra superioridade sobre métodos state-of-the-art (como Apricot e P(True)) em métricas de calibração (ECE, Brier Score) e capacidade discriminativa (AUROC).

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de geração aberta (TriviaQA, SciQ) e em tarefas de raciocínio (MathQA, ARC-Challenge) com diversos modelos base (Phi-3, Llama-2, Llama-3, Qwen2.5).

• Calibração e Discriminação: O GrACE superou os métodos concorrentes. Em Llama-3.1-8B no TriviaQA, obteve um ECE de 5.94% (vs 9.80% do Apricot) e um AUROC de 81.03% (vs 74.44% do Apricot).
• Generalização: O método mostrou forte capacidade de generalização para domínios não vistos (Out-of-Distribution), mantendo desempenho estável onde outros métodos (como Apricot) sofreram quedas significativas de AUROC devido à dependência de semântica específica.
• Eficiência no Test-Time Scaling:
  • Precisão: O GrACE-SC melhorou a acurácia em comparação ao Self-Consistency padrão (ex: +2.6% no MathQA).
  • Eficiência: O GrACE-ES reduziu o número médio de amostras necessárias. No dataset ARC_C, 80,1% das consultas foram resolvidas com apenas uma amostra (parando precocemente), mantendo ou melhorando a acurácia.
• Custo: A abordagem não requer inferência adicional de modelos auxiliares, reduzindo a latência e o custo computacional em comparação a métodos pós-geração.

5. Significado e Impacto

O GrACE representa um avanço significativo na segurança e eficiência de LLMs. Ao permitir que o modelo "saiba o que sabe" de forma calibrada e em tempo real, ele viabiliza:

• Implantação Segura: Sistemas que podem rejeitar respostas de baixa confiança automaticamente em aplicações críticas.
• Otimização de Recursos: Redução drástica do custo computacional em inferência através de early stopping inteligente, sem sacrificar a qualidade da resposta.
• Viabilidade Prática: Oferece uma solução que equilibra alta precisão, boa calibração e baixo overhead computacional, superando as limitações das abordagens atuais de confiança verbal ou pós-processada.

Em resumo, o GrACE transforma a elicitação de confiança de um processo externo e custoso em uma capacidade intrínseca e eficiente do modelo, facilitando a adoção de LLMs em cenários onde a confiabilidade é não negociável.