Resumo Técnico: Raciocínio ou Fluência? Dissecando a Confiança Probabilística na Seleção Best-of-N

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs) têm alavancado estratégias de seleção Best-of-N para aprimorar capacidades de raciocínio. Esta abordagem envolve a amostragem de múltiplas trajetórias de raciocínio (frequentemente via Cadeia de Pensamento, ou CoT) e a seleção da trajetória ideal com base em uma função de pontuação. Embora existam modelos de recompensa externos, tendências recentes favorecem métricas de confiança probabilística derivadas diretamente da distribuição de tokens do próprio LLM (ex: autocerteza, log-verossimilhança, entropia) devido à sua eficiência computacional.

O pressuposto central que sustenta estas métricas é que uma maior confiança probabilística reflete uma maior fidelidade de raciocínio e dependências causais interetapas válidas. No entanto, trabalhos anteriores sugerem que as trajetórias de CoT podem ser infiéis, servindo como racionalizações post-hoc em vez de reflexos do processo de decisão interno do modelo. Este artigo desafia o pressuposto fundamental de que as métricas probabilísticas atuais capturam verdadeiramente a estrutura lógica e as dependências causais necessárias para um raciocínio válido, questionando se elas medem apenas a fluência superficial ou os priors de distribuição.

Metodologia

Para investigar se as métricas de confiança probabilística dependem de causalidade interetapas ou de fluência local, os autores introduzem um framework de perturbações de causalidade. Estas perturbações interrompem sistematicamente o fluxo lógico e as dependências entre os passos de raciocínio, preservando a fluência local da sentença e a plausibilidade semântica.

O estudo avalia três classes distintas de interrupções em cinco benchmarks de raciocínio (MATH-500, GPQA-Diamond, GSM8K, LogiQA, AR-LSAT) e três famílias de LLMs (Qwen, Llama, Phi):

1. Perturbações ao Nível de Atenção:

   • Mascaramento (Masking): Uma máscara de atenção rígida é aplicada entre os passos de raciocínio durante o cálculo da métrica. Isso força o modelo a avaliar cada passo independentemente ($p(s_k | x, s_{<k})$ torna-se $p(s_k | x, s_{<k}^{local})$), quebrando a cadeia causal autorregressiva onde o passo $k$ depende do passo $k-1$.
   • Mascaramento de Query (Query Masking): Um caso extremo onde o condicionamento à consulta (query) de entrada também é removido, avaliando os passos apenas com base em seu histórico interno de tokens.

2. Perturbações ao Nível de Parâmetros:

   • A avaliação é realizada utilizando um modelo significativamente menor (ex: Qwen2.5-0.5B) em comparação ao gerador (ex: Qwen3-8B). Modelos menores retêm priors fortes para formatos de resposta comuns e fluência local, mas carecem de capacidade para modelar dependências causais complexas de longo alcance.

3. Perturbações ao Nível de Dados:

   • Parafraseamento (Paraphrasing): Cada passo de raciocínio é reescrito de forma independente para preservar o significado semântico, mas alterar os sinais sintáticos e lexicais que ligam os passos.
   • Embaralhamento (Shuffling): A ordem dos passos de raciocínio é randomizada, destruindo a progressão causal sequencial enquanto mantém a fluência individual de cada passo.
   • Truncamento (Truncation): As partes posteriores da trajetória de raciocínio são removidas, testando a dependência de cadeias de múltiplos passos completas versus prefixos iniciais.

Os autores medem a acurácia de seleção (a fração de questões onde a saída selecionada está correta) sob estas condições de perturbação e comparam-nas com as métricas originais não alteradas.

Principais Contribuições

1. Evidência Empírica de Insensibilidade: O artigo fornece evidências robustas de que as métricas de confiança probabilística de última geração são amplamente insensíveis a interrupções na estrutura causal interetapas. Em diversos modelos e benchmarks, a acurácia de seleção degrada apenas marginalmente (frequentemente <1%) ou até mesmo melhora quando as dependências causais são cortadas.
2. Fluência vs. Raciocínio: Os achados sugerem que as métricas atuais capturam primordialmente a fluência local e os priors de formato de resposta, em vez da validade do processo de raciocínio. As métricas permanecem robustas mesmo quando a coerência lógica da trajetória é destruída.
3. Métrica de Causalidade Contrastiva: Para endereçar esta lacuna, os autores propõem uma nova métrica, $R_{causal}$, definida como:
   $$R_{causal}(y) = R(y) - \alpha \cdot \hat{R}(y)$$
   Onde $R(y)$ é a métrica original e $\hat{R}(y)$ é a métrica calculada sob mascaramento de atenção (representando a fluência local). Ao subtrair o componente de fluência, esta métrica isola explicitamente os sinais atribuíveis às dependências causais interetapas.

Resultados

• Nível de Atenção: O mascaramento da atenção cruzada entre passos resultou em perda mínima de acurácia. Para o Qwen, o mascaramento até gerou uma leve melhoria (0,75%). Mesmo para o Phi, que apresentou quedas maiores (~6-7%), o desempenho permaneceu bem acima das linhas de base aleatórias.
• Nível de Parâmetros: O uso de um modelo avaliador menor (0.5B vs 8B) resultou em mudanças negligenciáveis na acurácia de seleção (ex: o Qwen mudou apenas 0,7% em média), indicando que a capacidade de raciocínio refinada não é necessária para que estas métricas funcionem efetivamente.
• Nível de Dados:
  • Embaralhamento (Shuffling): Randomizar a ordem dos passos não causou degradação sistemática; em alguns casos, a acurácia melhorou.
  • Parafraseamento: Variações lexicais que preservam o significado da sentença levaram a quedas de desempenho negligenciáveis.
  • Truncamento: Remover até 30k tokens do final das trajetórias (deixando apenas prefixos curtos) não degradou substancialmente a acurácia, sugerindo que a cadeia completa de raciocínio não é necessária para um ranking eficaz.

Significância e Alegações

O artigo alega que a dependência de métricas de confiança probabilística para a seleção Best-of-N pode superestimar a confiabilidade destas métricas como substitutos (proxies) para a correção do raciocínio. A pronunciada falta de sensibilidade a interrupções causais implica que estas métricas não estão capturando fielmente a coerência do raciocínio de múltiplos passos.

Consequentemente, os autores argumentam que o campo deve ir além da simples seleção baseada em probabilidade. A métrica de causalidade contrastiva proposta demonstra que isolar explicitamente as dependências causais produz uma seleção de saída mais fiel. O trabalho destaca um desalinhamento crítico entre as práticas atuais de avaliação e a estrutura lógica real do raciocínio, instando a uma reavaliação de como a "qualidade do raciocínio" é medida na IA generativa.