Resumo Técnico: Quando a Autoconsistência Falha

Declaração do Problema

A autoconsistência (SC), uma técnica onde múltiplas cadeias de pensamento são amostradas e a resposta da pluralidade é selecionada via voto majoritário, é amplamente assumida como um método de baixo risco para melhorar o raciocínio de Grandes Modelos de Linguagem (LLMs). A heurística prevalecente sugere que aumentar o número de amostras ($N$) e realizar a votação renderá resultados pelo menos tão bons quanto uma única amostra ($N=1$).

Este artigo desafia essa suposição em tarefas de raciocínio científico complexas. Investiga-se se a votação majoritária pode "retroceder" (backfire) — definida como um cenário onde o aumento de $N$ reduz a precisão por problema ($mv\_gain = MV\_acc(64) - MV\_acc(1) < 0$). O autor hipotetiza que, em problemas difíceis, se a distribuição de amostragem do modelo se concentrar em uma resposta incorreta, amostras adicionais apenas reforçam o erro em vez de corrigi-lo. Além disso, o artigo questiona se sinais baratos e sem verificador (como níveis de concordância ou entropia de tokens) podem identificar efetivamente quais problemas devem ser votados e quais devem ser ignorados para evitar esse retrocesso.

Metodologia

O estudo emprega um design experimental confirmatório e pré-registrado usando o benchmark GPQA Diamond, composto por 198 questões de múltipla escolha de nível de pós-graduação em biologia, química e física.

• Modelos: Dois modelos pequenos, ajustados para instrução e sem capacidades nativas de raciocínio, foram avaliados: Qwen2.5-7B-Instruct e Meta-Llama-3-8B-Instruct.
• Protocolo de Amostragem: Para cada problema, $N=64$ cadeias de pensamento foram geradas a uma temperatura de 0.7.
• Divisão Experimental: O conjunto de dados foi dividido em 47 problemas exploratórios (usados para gerar hipóteses) e 151 problemas confirmatórios. Todas as hipóteses e limiares foram travados e marcados via git-tag antes da análise confirmatória.
• Métricas:
  • $MV\_acc(N)$: Precisão esperada do voto majoritário sobre $N$ amostras, estimada via subamostragem de Monte Carlo.
  • Retrocesso (Backfire): Definido como $MV\_acc(64) < MV\_acc(1)$.
  • Portões de Roteamento (Routing Gates): Dois sinais sem verificador foram testados para rotear problemas para um $N$ ideal:
    1. Portão de Concordância de Pluralidade: Retorna a resposta da sonda se a fração de concordância sobre $k$ amostras exceder um limiar $\tau$; caso contrário, assume $N=64$.
    2. Portão de Entropia de Token: Retorna a resposta da sonda se a entropia média por token sobre $k$ amostras estiver abaixo de um limiar; caso contrário, assume $N=64$.
• Limites de Oráculo (Oracle Bounds): Um "oráculo de grade" foi construído para estabelecer um limite superior teórico. Este oráculo roteia cada problema para o $N$ específico em $\{1, 2, 4, 8, 16, 32, 64\}$ que maximiza a precisão usando a verdade fundamental (ground truth).

Principais Resultados

1. Prevalência de Retrocesso (Backfire)

A votação majoritária reduz a precisão na maioria dos problemas individuais para ambos os modelos, apesar de as métricas agregadas parecerem estáveis ou ligeiramente positivas.

• Qwen2.5-7B: O retrocesso ocorre em 56,6% dos 198 problemas.
• Llama-3-8B: O retrocesso ocorre em 65,7% dos problemas.
• Divisão por Domínio: A Química apresentou as maiores taxas de retrocesso (66,7% para Qwen, 68,8% para Llama), seguida por Física e Biologia.
• Agregado vs. Individual: Embora a precisão agregada tenha visto um aumento modesto (ex: Qwen de 0,342 para 0,369), isso mascara uma degradação generalizada por problema. Os piores problemas individuais perderam cerca de 47 pontos de precisão, enquanto alguns ganharam significativamente, criando uma média enganosa.

2. Falha dos Portões Sem Verificador

O estudo testou se sinais baratos poderiam recuperar o "espaço disponível" (headroom) entre a votação de orçamento fixo ($N=64$) e o limite superior do oráculo.

• Potencial do Oráculo: Um oráculo de grade poderia melhorar a precisão em 14 pontos (Qwen) e 17 pontos (Llama) em relação a $N=1$.
• Desempenho dos Portões: Nem o portão de concordância nem o portão de entropia melhoraram significativamente a precisão em relação à linha de base de $N=64$ fixo.
  • O portão de concordância capturou apenas 0,8% do espaço disponível para o Qwen e -1,6% para o Llama (em relação a $N=64$).
  • O portão de entropia também falhou em recuperar o espaço disponível de forma significativa.
• Conclusão: Esses portões não fornecem um mecanismo para distinguir entre problemas onde a votação ajuda e aqueles onde ela prejudica.

3. Mecanismo: Confiança Não Monitora a Correção

O artigo identifica a causa raiz da falha: descalibração.

• Concordância $\neq$ Correção: Mesmo no bin de maior concordância (onde o modelo é mais confiante), a resposta da pluralidade é correta apenas ~52,5% das vezes para o Qwen e 28,6% para o Llama.
• Não-Monotonicidade: Para o Llama, a precisão no bin de maior concordância foi, na verdade, menor do que no bin de menor concordância. Alta autoconsistência não correlaciona com alta precisão nesses problemas difíceis.
• Falha de Sinal: Como a confiança (concordância ou baixa entropia) não monitora a correção, os portões baseados nesses sinais não podem rotear o computacional de forma eficaz.

Significância e Alegações

O artigo apresenta as seguintes alegações específicas sobre sua contribuição:

1. Quantificação do Retrocesso: Fornece a primeira quantificação pré-registrada e replicada mostrando que a autoconsistência retrocede na maioria dos problemas em um benchmark científico de nível de pós-graduação difícil, abrangendo duas famílias de modelos.
2. Falha de Heurísticas Baratas: Demonstra que dois sinais naturais e sem verificador (concordância de pluralidade e entropia de token) são insuficientes para prevenir o retrocesso ou recuperar os ganhos de precisão teóricos disponíveis via roteamento por problema.
3. Identificação do Mecanismo: Confirma que a falha é impulsionada pelo fato de que a confiança não monitora a correção em entradas difíceis; alta concordância frequentemente sinaliza uma resposta confidentemente errada.
4. Questão Aberta: O artigo afirma explicitamente que não testa modelos "nativos de raciocínio" (aqueles com cadeia de pensamento oculta). Se essas arquiteturas escapam do fenômeno de retrocesso permanece a questão central em aberto, já que tentativas preliminares de avaliação foram dificultadas por restrições de orçamento de tokens.

O autor conclui que, em tarefas de raciocínio difíceis, os praticantes não devem assumir que a autoconsistência é segura, nem esperar que sinais internos do modelo, como concordância ou entropia, indiquem quando ela é benéfica. Recuperar a precisão perdida provavelmente exigirá sinais externos, como verificadores treinados ou modelos de recompensa de processo, em vez de depender apenas da própria distribuição de amostragem do modelo.