Resumo Técnico: Medição de Confiança de Caixa-Preta via Trajetórias de Raciocínio

Declaração do Problema

A estimativa confiável de confiança é um pré-requisito para a implantação segura do raciocínio em Cadeia de Pensamento (CoT) através de APIs baseadas apenas em texto, onde o acesso a logits, estados ocultos ou mecanismos internos de recuperação não está disponível. A linha de base de caixa-preta dominante, a auto-consistência (amostragem de $K$ CoTs e uso da concentração de votos como sinal de confiança), sofre de três limitações primárias:

1. Custo Linear: Requer a amostragem de $K$ traços, tornando-se linearmente dispendiosa em função de $K$.
2. Cegueira Geométrica: Ignora a geometria interna do traço de raciocínio, tratando o traço meramente como um meio para uma resposta final.
3. Resolução Discreta: Produz uma pontuação de confiança discreta ($k/K$), que carece de resolução em $K$ pequeno e não consegue classificar efetivamente empates.

Este artigo investiga um sinal alternativo: a trajetória do próprio CoT. Os autores propõem medir como o embedding de um traço de raciocínio converge em direção a âncoras de resposta externas, visando derivar uma pontuação de confiança contínua a partir do texto sozinho, sem acesso aos internals do modelo.

Metodologia

A estrutura proposta decompõe a confiança de caixa-preta em três canais complementares: Cobertura (C), Geometria (G) e Verbalização (V).

1. O Canal Geométrico (G)

Este canal mede o "comprometimento espacial dentro do traço" de um CoT em direção a uma âncora de resposta externa.

• Construção da Trajetória: Um CoT é embutido como uma trajetória de janelas deslizantes sobrepostas ($W=30$ palavras, passo $S=15$) usando um modelo de embedding fixo $\phi$.
• Âncoras Externas: No protocolo cego, o gerador raciocina sem ver a lista de opções. Os textos das opções são embutidos externamente como âncoras fixas.
• Pontuação: O método calcula a distância cosseno da penúltima janela deslizante do traço para cada âncora de opção. A "escolha" é a âncora com a distância média mínima.
• Calibração: Um modelo softmax de um parâmetro mapeia essas distâncias para uma probabilidade de confiança:
  $$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\hat{\beta}_{\text{all}} D_{j'})}$$
  onde $\hat{\beta}_{\text{all}}$ é ajustado via máxima verossimilhança. Um $\hat{\beta}$ fortemente negativo indica que âncoras mais próximas são mais propensas a estar corretas.
• Seleção da Janela Penúltima: A análise empírica revela que o sinal de calibração atinge o pico na janela penúltima. A janela final frequentemente contém a verbalização literal da resposta, o que se alinha com a resposta escolhida pelo modelo em vez da resposta dourada, causando a inversão do sinal ($\hat{\beta}$ positivo) em benchmarks específicos como GPQA Diamond.

2. A Decomposição de Três Canais

Para abordar o teto estrutural onde um traço pode nunca alcançar a hipótese correta, os autores introduzem um regime aberto com uma configuração de Propositor/Juiz:

• Cobertura (C): Um prior mediado por um juiz que mede se a hipótese correta é alcançável de alguma forma. Utiliza um LLM propositor para gerar um pool de hipóteses e um LLM juiz para avaliar a alcançabilidade. Isso atua como um sinal de dificuldade da questão.
• Geometria (G): Como definido acima, mas usando hipóteses geradas pelo propositor como âncoras em vez de opções fixas do conjunto de dados.
• Verbalização (V): O gerador recebe seu próprio CoT e é solicitado a fornecer uma autoavaliação numérica (0–100) de sua confiança.

Fusão: Os três canais são fundidos via regressão logística para produzir uma pontuação final de confiança.

Principais Contribuições

1. Pontuação de Confiança de Trajetória de Caixa-Preta: Um método para mapear $(\text{text}, \text{embedder}, \text{anchor set})$ para uma pontuação de confiança contínua usando um softmax de um parâmetro sobre embeddings de janelas deslizantes. O sinal e a significância da inclinação ajustada ($\hat{\beta}$) replicam-se em três diferentes embutidores (Gemini, OpenAI, E5), três raciocinadores e três benchmarks.
2. Assinatura de Comprometimento de Traço Tardio: Os autores identificam uma assinatura mecânica onde o sinal geométrico é mais profundo (mais negativo $\hat{\beta}$) na janela penúltima e se inverte na janela terminal no GPQA Diamond. Isso valida a janela penúltima como uma posição de pontuação robusta que captura o comprometimento com a resposta antes da verbalização literal.
3. Decomposição Assimétrica de Três Canais:
   • Cobertura (C) e Geometria (G) carregam sinais independentes em quase todas as configurações (18/18 e 16/18 combinações, respectivamente).
   • Verbalização (V) contribui com sinal residual único em apenas 6/18 configurações, atuando como um canal metacognitivo gateado em vez de um pilar universal.
   • A fusão de C+G+V em $K=4$ melhora Pareto a auto-consistência em $K=8$ em todas as seis configurações de conjunto fechado (mediana $\Delta \text{AUC} = +0.075$).

Resultados

O artigo avalia o método em MedQA-USMLE, GPQA Diamond e MMLU-Pro usando Gemini 3.1 Pro e Claude Sonnet 4.6.

• Sinal Geométrico: O recurso geométrico único (G) alcança um AUC de predição seletiva de 0,71–0,82 em protocolos cegos, superando significativamente a auto-consistência em 9/10 combinações de benchmark-modelo quando o orçamento é igualado.
• Ganho de Fusão: A pontuação fundida C+G+V em $K=4$ supera a auto-consistência em $K=8$ (SC@8) em todas as seis configurações de conjunto fechado.
  • Mediana $\Delta \text{AUC} = +0.075$ (Stouffer $z = 5.67, p = 7.1 \times 10^{-9}$).
  • O ganho persiste mesmo quando a resposta escolhida é fixada na escolha majoritária do SC@8, confirmando que a melhoria deve-se a uma melhor calibração, e não à troca de respostas.
• Robustez:
  • Os resultados mantêm-se através de diferentes embutidores (incluindo E5-large-v2).
  • A troca do LLM juiz (GPT-5-mini para Claude Sonnet 4.6) deixa o AUC apenas de Geometria inalterado ($|\Delta| \le 0.013$) e desloca o AUC apenas de Cobertura em no máximo $\pm 0.02$, indicando que os sinais não são artefatos de um único fornecedor.
  • O método é robusto ao design de âncoras; o uso de âncoras de opção do conjunto de dados é crítico, enquanto âncoras derivadas da própria saída do modelo colapsam para desempenho próximo ao acaso.

Significado e Alegações

O artigo alega que a confiança de CoT de caixa-preta pode ser lida mais confiavelmente a partir da convergência geométrica de um traço no espaço de embedding do que a partir do acordo de votos amostrais, alcançando isso com menor custo de amostragem e sem acesso a logits ou estados ocultos.

Principais conclusões enfatizadas pelos autores:

• Estrutura sobre Amostragem: A confiança é um sinal estruturado composto por canais distintos (alcançabilidade, comprometimento, auto-relato) em vez de um único escalar.
• Insight Mecanístico: O sinal geométrico atinge o pico antes do modelo verbalizar literalmente sua resposta, sugerindo que o "comprometimento com a resposta" é uma fase distinta na trajetória de raciocínio que pode ser detectada via dinâmicas do espaço de embedding.
• Eficiência Prática: A fusão de C+G+V em $K=4$ fornece melhor calibração que SC@8 enquanto reduz o custo total da API em aproximadamente 51% (devido a menos chamadas de geração e à eficiência da passagem de embedding).
• Limitações: Os autores notam modestamente que o canal de Cobertura é mediado por um juiz LLM (introduzindo potenciais priores do juiz), a Verbalização não é universalmente útil, e nenhuma pontuação dentro do traço pode recuperar uma hipótese correta se o modelo nunca a propôs (o "teto estrutural").

O trabalho fornece um primitivo de confiança em nível de traço para pipelines que exigem acesso de caixa-preta, permitindo abstenção mais segura e predição seletiva em domínios de alto risco, como suporte à decisão clínica.