Resumo Técnico: TrAC – Consistência de Resposta Condicionada ao Rastro para Quantificação Eficiente de Incerteza em LLMs

1. Formulação do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram rastros de raciocínio fluentes que culminam em respostas incorretas. Métodos existentes de quantificação de incerteza (UQ) lutam para classificar esses outputs de forma confiável sem incorrer em altos custos computacionais ou exigir juízes externos. As abordagens atuais dividem-se em três categorias, cada uma com limitações:

• Métodos Passivos de Rastro Único: Baseiam-se em sinais de confiança ao nível de token de uma resposta completada, mas falham em testar ativamente se o contexto de raciocínio sustenta a resposta final.
• Métodos Baseados em Amostragem: Estimam a confiança por meio do acordo entre múltiplos rastros gerados (ex: Self-Consistency). Estes exigem múltiplas gerações completas, aumentando a latência e perdendo a resolução de classificação quando todas as amostras convergem para a mesma resposta (potencialmente incorreta).
• Métodos Ativos Baseados em Prefixo: Sondam rastros parciais para estudar a estabilização da resposta, primariamente para interrupção precoce (early stopping) em vez de avaliar a correção de uma resposta completada.

O problema central abordado é a estimativa da correção de uma única resposta gerada ($y = (r, a)$, onde $r$ é o rastro de raciocínio e $a$ é a resposta) usando apenas sinais de tempo de inferência, sem gerar novos rastros completos ou acessar respostas de referência.

2. Metodologia: Estrutura TrAC

Os autores propõem o TrAC (Trace-Conditioned Answer Consistency), uma estrutura de UQ supervisionada por correção que combina sinais ativos e passivos ancorados a um único rastro de raciocínio completado. A estrutura consiste em três componentes principais:

2.1 Componente Ativo: Elicitação Condicionada ao Prefixo (PCE)

A PCE sonda ativamente o compromisso do modelo com sua resposta original sem gerar uma nova trajetória de raciocínio.

• Procedimento: Dado um rastro completado $r$, o modelo anexa uma deixa fixa (ex: "A resposta final é") e realiza a decodificação gulosa para reelicitar um sufixo de resposta curto $\tilde{a}$.
• Sinais Extraídos:
  • Acordo ($e$): Um indicador binário de se $\tilde{a}$ corresponde à resposta original $a$ (após normalização).
  • Verossimilhança ($\ell, \ell_{min}, \ell_{head}$): Log-probabilidades do sufixo de resposta reelicidado, normalizadas pelo comprimento, capturando a força do suporte probabilístico.
  • Confiança ($c_1$): A log-probabilidade do primeiro token da resposta reelicidada.
• Racional: Se o rastro de raciocínio sustenta robustamente a conclusão, o modelo deve reproduzir a resposta original com alta verossimilhança. Se a conclusão for instável, a resposta reelicidada pode diferir ou receber um suporte fraco.

2.2 Componente Passivo: Perfil de Incerteza do Rastro (TUP)

O TUP resume a incerteza ao nível de token já disponível da geração original, não exigindo decodificação adicional.

• Sinais Extraídos:
  • Perfil Sensível à Posição: Log-probabilidades de tokens e entropia top-$k$ são agrupadas por posição normalizada para capturar a forma da trajetória de incerteza desde o início do rastro até a resposta.
  • Estatísticas Globais: Inclui média, desvio padrão, log-probabilidade mínima, tendências de inclinação ($R^2$) e estatísticas de cauda (ex: média da log-prob dos últimos $W$ tokens).
• Racional: Isso fornece uma representação de dimensão fixa de como a incerteza evolui ao longo do processo de raciocínio.

2.3 Pontuação Unificada e Fusão de Consenso

• Pontuação: Uma cabeça de regressão logística leve integra as características ativas da PCE ($\phi_A$) e as características passivas do TUP ($\phi_P$) em um escore de correção escalar $u_{TrAC}$.
• Fusão de Consenso (Opcional): Quando $K$ rastros já estão disponíveis, a estrutura pode incorporar estatísticas de consenso entre rastros (fração de voto $q_K$ e entropia $h_K$) juntamente com os sinais de PCE/TUP dentro do rastro para refinar ainda mais a pontuação.

3. Principais Contribuições

1. Conceitual: A formulação da consistência de resposta condicionada ao rastro como um novo sinal de incerteza ativo. Isso envolve a reelicitação de uma resposta a partir de um rastro completado para testar a reprodutibilidade, distinta da auto-verificação explícita ou do consenso entre rastros.
2. Técnica: A proposta do TrAC, uma estrutura que combina PCE (reelicitação ativa) e TUP (perfilamento passivo de rastro). Alcança uma UQ de alto desempenho usando apenas um rastro de raciocínio completo e uma curta sonda de resposta em cache.
3. Empírica: Avaliação extensiva em cinco benchmarks de raciocínio matemático (GSM8K, MATH500, Minerva, OlympiadBench, AIME) e três famílias de LLMs (Qwen, Phi, Ministral), demonstrando desempenho superior sobre as linhas de base existentes.

4. Resultados Experimentais

Os autores avaliaram o TrAC contra baselines de rastro único (ex: Self-certainty, P(True)) e baselines de amostragem (ex: Self-Consistency com 8 amostras, SC@8).

• Desempenho vs. SC@8: O TrAC melhora o macro AUROC em 1,8% e reduz o AURC em 3,4% em comparação ao SC@8. Crucialmente, o TrAC alcança isso usando apenas um rastro de raciocínio completo mais uma curta sonda, enquanto o SC@8 exige oito gerações completas.
• Latência: O TrAC adiciona apenas 2% de latência medida em relação a uma única geração (custo de 1,02×), comparado ao custo de aproximadamente 2,4× do SC@8.
• Melhoria do Consenso: Quando oito amostras já estão disponíveis, aumentar o SC@8 com o sinal de reelicitação do TrAC (TrAC + CF) melhora o macro AUROC em 4,3% e reduz o AURC em 8,3%. Isso demonstra que a reelicitação fornece informação mesmo quando o consenso entre rastros está saturado (ex: votos unânimes, porém incorretos).
• Estudos de Ablação:
  • Complementaridade: Combinar PCE e TUP produz resultados significativamente melhores do que qualquer um dos componentes isoladamente.
  • Dependência do Rastro: A reelicitação é mais eficaz quando condicionada ao rastro específico completado; o uso de rastros embaralhados ou sondas apenas com a pergunta degrada o desempenho.
  • Robustez da Decodificação: O sinal permanece informativo sob decodificação gulosa e várias configurações de temperatura.
  • Eficiência de Rótulos: O sinal ativo mantém alto desempenho mesmo com apenas 25% dos rótulos de calibração.

5. Significância e Alegações

O artigo alega que a reelicitação de resposta é um sinal de incerteza de baixo overhead que permanece informativo mesmo quando a confiança passiva é enganosa ou quando múltiplas amostras convergem para uma resposta incorreta.

• Eficiência: O TrAC estabelece um novo ponto de operação na fronteira precisão-latência, oferecendo a qualidade de classificação de um consenso de oito amostras ao custo de uma única geração.
• Conteúdo de Informação: O estudo demonstra que a reelicitação ativa captura informações distintas tanto da confiança de token passiva quanto da auto-verificação explícita. Ela aborda especificamente o problema do "erro unânime", onde métodos de amostragem falham.
• Implantação: A estrutura suporta predição seletiva, roteamento de casos incertos para revisão humana e alocação adaptativa de computação sem exigir um modelo juiz separado ou respostas de referência durante a inferência.

Os autores concluem que a consistência de resposta condicionada ao rastro complementa tanto as estatísticas de tokens passivas quanto o consenso entre amostras, fornecendo um mecanismo robusto para a quantificação de incerteza em tarefas de raciocínio verificáveis.