Resumo Técnico: Reprodução e Teste de Estresse de Duas Abordagens para a Confiabilidade de Raciocínio em LLMs

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) recentes exibem deficiências na confiabilidade do raciocínio, especificamente falhando em calibrar a confiança com a precisão e confundindo plausibilidade superficial com validade lógica. Dois métodos recentes propostos para abordar esses problemas são o RPC (Zhou et al., 2025), que agrega probabilidades de tokens e auticonsistência durante a inferência, e o LCF (Wu et al., 2025), que treina projetores para desentranhar subespaços de "conteúdo" e "lógica" no fluxo residual, editando o vetor de lógica em direção a uma região válida.

O problema central abordado por este estudo é a falta de verificação independente para essas afirmações. As avaliações do RPC foram conduzidas exclusivamente pelos seus autores em um conjunto fixo de modelos, enquanto o LCF não liberou código público, tornando sua premissa central — uma direção de lógica controlável — inverificável. Além disso, nenhum dos dois métodos foi testado sob estresse em diversos domínios ou arquiteturas de modelos para determinar se os ganhos de confiabilidade relatados são robustos ou artefatos de configurações experimentais específicas.

Metodologia

O estudo emprega um framework de reprodutibilidade rigoroso, tratando o ganho de confiabilidade relatado de cada método como uma hipótese a ser retestada sob implementação independente em múltiplos modelos e domínios.

1. RPC (Agregação de Probabilidade em Tempo de Teste)

• Reprodução: Os autores reexecutaram a lógica de agregação publicada do RPC nos caminhos de raciocínio originais liberados pelos autores para quatro benchmarks de matemática (MATH, Math-Odyssey, Olympiad-Bench, AIME).
• Extensão: O método foi estendido para quatro novos domínios: text-to-SQL (BIRD), extração de citação jurídica (KO-VER), graduação de precedentes (KCC) e identificação de falácias (LFUD).
• Teste de Estresse: Um estudo de orçamento de amostra foi realizado no BIRD, variando o número de cadeias amostradas ($K$) de 8 a 32 para isolar quando o RPC supera a auticonsistência padrão (SC).
• Baselines: O RPC foi comparado contra Auticonsistência (votação majoritária) e seleção por Perplexidade (PPL).

2. LCF (Edição de Representação Lógica)

• Reimplementação: Como o código do LCF não estava disponível, os autores reimplementaram todo o pipeline do zero: treinamento de projetores para dividir estados ocultos em vetores de conteúdo e lógica, um decodificador de atenção cruzada para reconstrução e um objetivo contrastivo InfoNCE.
• Intervenção: Na inferência, o vetor de lógica é deslocado em direção a uma região "válida" usando um parâmetro de escala $\eta$ e decodificado de volta para o fluxo residual.
• Substituições: Devido ao discriminador de validade não liberado no artigo original, os autores substituíram-no por um juiz GPT-4 auditável e um classificador DistilBERT, sinalizando onde essas substituições afetam as métricas.
• Tentativa de Agnosticismo de Modelo: O estudo tentou substituir o projetor LCF treinado por uma abordagem de Adição de Ativação Contrastiva (CAA) livre de treinamento com um portão condicional (K-CAST), testando-o em identificação de falácias e em uma tarefa de silogismo controlada.
• Sondagem: Uma sonda linear foi usada para medir a separabilidade de conclusões válidas vs. inválidas nos estados ocultos, comparando o sinal de lógica contra um controle semântico (detecção de risco de suicídio).

Resultados Principais

RPC: Reprodução Exata, Generalização Limitada

• Grade Original: Nos caminhos matemáticos liberados pelos autores, o RPC reproduziu os resultados originais exatamente (Acurácia: 26,15% vs. 26,11% relatados; ECE: 12,32% vs. 12,37%), confirmando que a implementação do método é sólida.
• Novos Domínios: Em quatro novos domínios (BIRD, KO-VER, KCC, LFUD) com um pequeno orçamento de amostra ($K=8$), o RPC não mostrou vantagem estatisticamente significativa sobre a Auticonsistência (par $p \ge 0,28$). Ele empatou com a SC na maioria dos casos.
• Escalonamento de Orçamento: No BIRD, a vantagem do RPC sobre a SC cresceu com o orçamento de amostra, atingindo +2,5% de acurácia em $K=32$. No entanto, essa lacuna não foi estatisticamente significativa ($p=0,16$) e dependeu de apenas 2 de 80 itens. Quando o tamanho da amostra foi expandido para $n=200$, a vantagem inverteu-se para $-0,25\%$ ($p=0,85$), sugerindo que o ganho original foi uma flutuação de pequena amostra.
• Conclusão: O RPC é uma intervenção segura que nunca degradou significativamente o desempenho, mas não oferece ganho de confiabilidade significativo sobre a auticonsistência padrão nos domínios testados.

LCF: Sinal Fraco, Baixa Controlabilidade e Dependência de Modelo

• Direção de Validade Lógica: Uma sonda linear confirmou que existe uma direção de validade lógica, mas ela é fraca. Alcançou 0,82 de separabilidade na melhor subcamada individual (comparado a 0,95 para um controle de atributo semântico), mas colapsou para o acaso (0,52) quando agrupada sobre as camadas editadas pelo LCF.
• Falha de Intervenção: A intervenção aditiva (deslocar o vetor de lógica) falhou em produzir ganhos consistentes.
  • Qwen3-8B: Mostrou um aumento não significativo em $\Delta$Prob (margem de probabilidade na opção válida) de 6,11 para 7,83 ($p=0,56$).
  • Llama-2 & Mistral: Degradaram significativamente o desempenho, reduzindo o $\Delta$Prob em 8,1 e 11,0 pontos, respectivamente ($p < 0,001$ e $p=0,002$).
  • Vicuna: Mostrou uma queda limítrofe não significativa.
• Generalização: O efeito positivo no Qwen3 não se transferiu para os benchmarks de lógica públicos (FOLIO), onde degradou o desempenho.
• Tentativas Agnósticas de Modelo: A direção contrastiva livre de treinamento (K-CAST) falhou na tarefa de falácia, degradando ambos os modelos. Só teve sucesso em uma tarefa de silogismo controlada sob condições estreitas (distribuição correspondente, abstraindo o conteúdo em vez de adicionar validade, e apenas em um modelo já capaz da tarefa).
• Confiabilidade da Métrica: A afirmação de 96,56% de controle de validade do artigo original dependia de um discriminador não liberado. O substituto auditável dos autores não mostrou ganho, e a métrica original não pôde ser reproduzida.

Significância e Alegações

O artigo conclui que existe uma assimetria fundamental entre as duas abordagens:

1. RPC (Agregação em Tempo de Teste): Este método se reproduz exatamente e é robusto; nunca degradou significativamente a acurácia em nenhum domínio testado. Embora sua vantagem sobre a auticonsistência em novos domínios não tenha atingido significância estatística, representa uma intervenção de custo zero e segura que se alinha com os pré-requisitos teóricos (orçamento suficiente, diversidade de respostas).
2. LCF (Edição de Representação): Este método não se reproduz como uma intervenção confiável e agnóstica de modelo. O sinal de validade lógica é real, mas fraco e codificado localmente, tornando difícil o controle via intervenções aditivas. Os ganhos relatados dependem do modelo (observados apenas no Qwen3, e mesmo lá, não são estatisticamente significativos) e frequentemente são prejudiciais a outros modelos. As principais alegações de confiabilidade dependem de componentes não auditáveis.

Conclusão Final: Com base nas evidências de modelos de 7–8B e conjuntos de avaliação pequenos, a agregação em tempo de teste (RPC) é o mecanismo mais confiável para melhorar a confiabilidade do raciocínio, enquanto a edição de representação lógica (LCF) falha em generalizar e introduz riscos significativos de degradação. O estudo enfatiza que ganhos de confiabilidade relatados apenas pelos autores do método devem ser tratados como hipóteses até serem independentemente verificados em modelos e domínios.