Resumo Técnico: Quantificando a Consistência em Raciocínio Lógico de LLMs via Incerteza Estrutural

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente exibem um modo de falha em raciocínio dedutivo de múltiplas etapas onde chegam à mesma conclusão incorreta através de caminhos de raciocínio diferentes e internamente falhos. Os métodos de avaliação pós-hoc existentes avaliam primariamente a confiabilidade através da dispersão de saída (medindo a variação semântica ou entropia das respostas amostradas). Embora úteis, essa abordagem descarta um sinal complementar crítico: a consistência estrutural das preferências internas do modelo entre candidatos de raciocínio concorrentes.

Métodos baseados em dispersão atuais falham em detectar o "sistemático, mas internamente instável". Por exemplo, se um modelo gera cinco candidatos que concordam com uma resposta errada, as métricas baseadas em dispersão reportam baixa incerteza (entropia zero), mascarando o fato de que o ranking interno do modelo para esses candidatos pode ser altamente instável. Este artigo aborda a necessidade de um framework de avaliação que meça não apenas quais respostas diferem, mas quão consistentemente o modelo classifica soluções de raciocínio concorrentes para a mesma consulta.

Metodologia: Framework de Incerteza Estrutural

Os autores propõem a Incerteza Estrutural, um framework de avaliação consciente de consistência que quantifica a estabilidade de rankings induzidos por auto-preferência sobre soluções de raciocínio candidatas amostradas. O framework opera em um cenário totalmente black-box sem exigir acesso aos internos do modelo (logits ou estados ocultos).

1. Visão Geral do Pipeline

Dado uma consulta $x$:

1. Geração de Candidatos: O modelo gera $N$ soluções de raciocínio candidatas diversas ($N=5$) usando decodificação estocástica e templates de prompt distintos (ex: passo a passo, think-aloud, socrático, decomposição, analógico).
2. Elicitação de Auto-Preferência: O mesmo modelo atua como juiz para determinar preferências pareadas entre suas próprias saídas. Para reduzir o custo computacional de $O(N^2)$ para $O(N)$, os autores amostram uma árvore geradora uniforme sobre os $N$ candidatos para cada tentativa, consultando apenas as $N-1$ arestas.
3. Agregação de Preferência:
   • Modelagem Bradley-Terry: Julgamentos pareados são modelados usando o framework Bradley-Terry (BT) com regularização $L_2$ para inferir utilidades latentes $\theta_i$ para cada candidato.
   • Normalização PageRank: As probabilidades de vitória pareadas inferidas são convertidas em uma matriz de transição, e a distribuição estacionária (score PageRank $\pi$) é computada para produzir um ranking global para aquela tentativa.
   • Verificação de Robustez: Uma variante do TrueSkill (classificação de habilidade bayesiana com atualizações ponderadas por confiança) também é implementada, produzindo resultados altamente similares.
4. Decomposição de Incerteza: O processo é repetido para $M$ tentativas independentes (amostras de árvore geradora). O ensemble resultante de distribuições de ranking $\{\pi^{(m)}\}_{m=1}^M$ é decomposto em dois componentes baseados em entropia:
   • Ambiguidade de Candidato Dentro da Tentativa ($StructU_{within}$): A entropia média da distribuição de ranking dentro de uma única tentativa. Valores altos indicam que o modelo não consegue distinguir confiantemente entre os candidatos mesmo dentro de um único conjunto de comparações.
   • Instabilidade de Ranking Entre Tentativas ($StructU_{across}$): A diferença entre a entropia total do ranking médio e a entropia média dentro da tentativa. Valores altos indicam que o ranking preferido do modelo flutua significamente dependendo do conjunto específico de comparações (árvore geradora) amostrado.

2. Integração com Auto-Consistência

O framework combina a incerteza estrutural com a Auto-Consistência de Incerteza padrão (entropia da distribuição de respostas). Os autores propõem uma regra de fusão empírica fixa:

• $StructU_{across}$ correlaciona-se negativamente com a acurácia (instabilidade $\to$ falha), portanto é adicionado à entropia de Auto-Consistência.
• $StructU_{within}$ correlaciona-se positamente com a acurácia em tarefas de raciocínio (ambiguidade entre caminhos plausíveis), portanto é subtraído da entropia de Auto-Consistência.

Principais Contribuições

1. Um Framework de Consistência Pós-Hoc: Um método agnóstico ao modelo para quantificar a consistência de raciocínio via estabilidade de rankings de auto-preferência, fornecendo um sinal complementar à dispersão de saída.
2. Decomposição Estrutural: A decomposição da incerteza em instabilidade entre tentativas (sinalizando raciocínio não confiável) e ambiguidade dentro da tentativa (sinalizando caminhos plausíveis competitivos), derivada via Bradley-Terry/TrueSkill e PageRank.
3. Análise de Regime: Uma caracterização de quando os sinais estruturais são informativos versus quando eles colapsam. O artigo identifica um "limite de regime" onde a avaliação de consistência de nível de raciocínio torna-se não informativa.

Resultados Experimentais

O framework foi avaliado em cinco LLMs (incluindo Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B) e oito benchmarks (Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA).

1. Complementaridade em Tarefas de Raciocínio

Em benchmarks de raciocínio matemático e lógico (ex: Math-Synth, MATH-500, AMC-23), combinar a incerteza estrutural com a auto-consistência melhora significativamente a identificação de instâncias de raciocínio não confiáveis (medido por Seleção de Predição AUC e AUROC).

• Ganhos de Desempenho: O estimador híbrido ($StructU + SelfConsU$) alcançou o desempenho mais alto ou segundo mais alto na maioria das tarefas de raciocínio, com ganhos de até +13,4% para modelos mais fracos em problemas de competição difíceis.
• Correlação com Acurácia:
  • A instabilidade entre tentativas mostrou uma forte correlação negativa com a correção (instabilidade sinaliza falha).
  • A ambiguidade dentro da tentativa mostrou uma correlação positiva com a correção em tarefas de matemática, consistente com cenários onde múltiplos caminhos de solução válidos existem.

2. Colapso em Tarefas de Recuperação

Em tarefas de recuperação factual (especificamente HotpotQA), o sinal estrutural colapsou.

• Observação: Tanto perguntas corretas quanto incorretas exibiram quase zero de incerteza entre tentativas e quase máximo de incerteza dentro da tentativa (distribuições PageRank uniformes).
• Mecanismo: A recuperação factual sobre documentos fixos elicita cadeias de raciocínio estruturalmente homogêneas, independentemente do template de prompt. Os julgamentos de auto-preferência do modelo tornam-se indistinguíveis (cara ou coroa), tornando o sinal estrutural não informativo.
• Implicação: Neste regime, métodos baseados em dispersão (como Auto-Consistência ou Dispersão Semântica) superam a abordagem estrutural. O próprio colapso serve como uma assinatura diagnóstica indicando a ausência de diversidade estrutural no nível de raciocínio.

3. Ablação e Validação

• Randomização: Substituir auto-preferências reais por comparações aleatórias fez o AUROC cair para níveis próximos ao acaso, confirmando que o sinal depende de preferências genuínas do modelo, não de artefatos do pipeline.
• Robustez do Backend: Ambos os backends Bradley-Terry e TrueSkill produziram rankings consistentes ($\rho > 0.95$), validando a decomposição como uma propriedade da distribuição de ranking e não de uma escolha específica de modelo.

Significância e Alegações

O artigo afirma que a Incerteza Estrutural é melhor entendida não como um estimador de confiança universal, mas como um avaliador sensível ao regime da consistência de raciocínio lógico.

• Reenquadramento da Avaliação: Muda a pergunta de "Quanto as respostas diferem?" (dispersão) para "Com que consistência o modelo classifica soluções de raciocínio concorrentes?" (estrutura).
• Utilidade Diagnóstica: O framework fornece um diagnóstico prático para profissionais. A "assinatura HotpotQA" (quase zero de incerteza entre tentativas + alta entropia dentro da tentativa) indica um regime de tarefa onde a avaliação de consistência de nível de raciocínio é fútil, sugerindo uma mudança para métodos baseados em dispersão.
• Limitações: Os autores notam modestamente que o método aumenta o custo de inferência ($N \times M$ comparações) e que as auto-preferências herdam vieses específicos do modelo. A decomposição é empírica e observável sob um protocolo fixo, não uma identificação fundamental da incerteza subjacente dos dados. O método é mais eficaz quando as respostas diferem em qualidade de raciocínio; ele falha quando a variação é puramente estilística ou quando a estrutura da tarefa (ex: recuperação determinística) suprime a diversidade de raciocínio.

Em conclusão, o artigo demonstra que medir a estabilidade da ordenação de preferência interna de um modelo sobre seus próprios outputs fornece uma visão complementar crítica da confiabilidade do raciocínio, particularmente para detectar erros sistemáticos que o acordo ao nível de resposta sozinho não consegue revelar.