🤖 AI

Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning

Este artigo propõe um framework de "largura-profundidade" livre de verificadores que aprimora o raciocínio de LLMs ao utilizar computação em tempo de teste para refinar iterativamente rollouts amostrados diversos por meio de autocrítica e autocorreção, alcançando um desempenho superior em múltiplos benchmarks matemáticos em comparação com métodos tradicionais de amostragem e seleção baseados em verificadores.

Autores originais: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

Publicado 2026-08-07

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando resolver um enigma matemático realmente difícil, como um desafio que exige uma longa cadeia de lógica para ser decifrado. Você tem um amigo superinteligente (um Modelo de Linguagem Grande, ou LLM) que pode conversar com você. Geralmente, quando você faz uma pergunta a esse amigo, ele dá uma resposta imediatamente. Mas, às vezes, ele trava logo no primeiro passo e continua cometendo o mesmo erro até o fim.

Para consertar isso, cientistas tentaram dois truques principais. O primeiro é o "reamostragem" (resampling): pedir ao seu amigo para tentar resolver o enigma dez vezes e escolher a resposta que aparece com mais frequência. É como pedir a dez pessoas diferentes para resolver o mesmo enigma e ver em quem elas concordam. O segundo truque é usar um "verificador": um professor separado e super rigoroso que avalia cada resposta para ver qual é a melhor. Mas há um porém: pedir a dez pessoas muitas vezes resulta em dez versões ligeiramente diferentes da mesma ideia errada, e confiar em um professor significa que você precisa acreditar que o professor não está confuso ou enviesado.

Este artigo, intitulado "Refining Over Resampling", sugere um terceiro caminho. Em vez de apenas pedir mais palpites ou contratar um professor, os autores propõem ensinar a IA a ser sua própria editora. Eles permitem que a IA gere algumas ideias iniciais diferentes e, para cada ideia, deixam a IA fazer uma pausa, criticar seu próprio trabalho, encontrar seus próprios erros e corrigi-los antes de dar a resposta final. É como dar ao seu amigo uma segunda chance de pensar, não pedindo para ele recomeçar, mas dizendo: "Ei, espere, você cometeu um pequeno erro no passo três; vamos corrigir isso e continuar".

O Problema: A "Câmara de Eco" e o "Piso de Alucinação"

Os pesquisadores notaram algo estranho acontecendo quando pediam aos modelos de IA para resolver problemas matemáticos apenas gerando mais e mais respostas. Eles chamaram isso de "saturação de diversidade". Imagine que você pergunta a um grupo de amigos para adivinhar o número de balas de goma em um pote. Se você perguntar a dez pessoas, poderá obter dez palpites diferentes. Mas, se perguntar a cem pessoas, poderá descobrir que noventa delas estão apenas dando palpites muito próximos uns dos outros porque todas viram a mesma pista "óbvia" (mas errada). A IA estava fazendo o mesmo: continuava gerando variações das mesmas poucas rotas erradas, desperdiçando sua capacidade cerebral em repetição em vez de encontrar novas soluções.

Além disso, havia o "piso de alucinação". Mesmo que a IA soubesse a resposta certa lá no fundo, ela poderia acidentalmente tropeçar em um pequeno erro aritmético ou um deslize lógico enquanto a escrevia. Como cada palpite era feito de forma independente, cada um deles tinha a mesma probabilidade de tropeçar no mesmo tipo de erro. Pedir mais palpites não ajudava porque não corrigia o tropeço; apenas lhe dava mais tropeços.

A Solução: Amplitude e Profundidade

Os autores criaram uma estratégia que chamam de "Refinamento de Amplitude-Profundidade" (Breadth-Depth Refinement). Pense nisso como explorar um labirinto.

Amplitude trata de lançar uma rede ampla. Em vez de apenas percorrer um caminho, a IA gera várias rotas iniciais diferentes (chamadas de "rollouts"). Isso garante que elas não fiquem presas na mesma "câmara de eco" de ideias erradas.

Profundidade é a verdadeira magia. Uma vez que tenham essas diferentes rotas, eles não apenas escolhem a melhor imediatamente. Em vez disso, eles pegam cada rota e as enviam por um ciclo de autoaperfeiçoamento.

O Gerador: A IA escreve a próxima parte da solução.
O Crítico: A IA para e age como um editor rigoroso, lendo o que acabou de escrever e dizendo: "Espere, essa matemática não bate" ou "Essa lógica não faz sentido".
O Corretor: A IA ouve o crítico e reescreve essa parte específica para corrigir o erro.

Eles fazem esse ciclo algumas vezes (chamado de "profundidade") para cada uma das rotas. Finalmente, eles pegam todas as respostas agora polidas e autocorrigidas e deixam que elas votem. A resposta que vence o voto é a final.

O Que Eles Descobriram

A equipe testou essa ideia em algumas competições matemáticas muito difíceis, como a AIME (American Invitational Mathematics Examination) e o conjunto de dados MATH500. Eles compararam o método deles com as formas antigas: apenas dar um palpite (Greedy), dar oito palpites e votar (Majority Voting), ou dar oito palpites e deixar uma IA "professora" escolher o vencedor (Verifier-based Best-of-N).

Os resultados foram bastante promissores. O método deles superou consistentemente os outros. Por exemplo, quando usaram um modelo de IA menor e menos potente chamado Qwen2.5-1.5B, o antigo método do "professor" acertou cerca de 29,6% das questões do MATH500. Mas com o novo método de "autoedição", o mesmo modelo saltou para 58,0% de precisão. Isso é quase o dobro! No teste AMC (American Mathematics Competitions), o mesmo modelo pequeno passou de 25,0% para 32,5%.

Mesmo com modelos maiores e mais inteligentes, o método deles ainda melhorou as pontuações, embora os ganhos tenham sido um pouco menores porque os modelos inteligentes já estavam fazendo um trabalho decente por conta própria.

Por Que Funciona (e Por Que é Diferente)

A ideia central aqui é que a IA não precisa de um professor externo para dizer o que está errado. Ela pode aprender a detectar seus próprios erros se você der a ela a estrutura correja. O artigo sugere que a etapa do "crítico" é crucial; quando removeram a parte onde a IA critica explicitamente seu próprio trabalho, as pontuações caíram. Acontece que apenas pedir à IA para "tentar de novo" não é suficiente; é preciso dizer a ela o que corrigir.

Além disso, este método é "livre de treinamento" (training-free). Eles não tiveram que ensinar nada novo à IA ou mostrar milhares de exemplos de como ela deve se corrigir. Eles apenas usaram a capacidade cerebral existente da IA de uma maneira mais inteligente durante o teste.

A Troca (Trade-off)

Existe um custo, porém. Este método exige mais poder computacional e tempo. Como a IA tem que gerar, criticar e reescrever várias vezes para cada problema, ela usa mais "computação" (o termo elegante para a capacidade cerebral do computador) do que apenas dar um palpite uma única vez. No entanto, os autores calcularam que, para a quantidade de trabalho extra que realizam, a melhoria na precisão vale a pena, especialmente para modelos menores que lutam para obter a resposta certa na primeira tentativa.

No fim, o artigo sugere que, quando queremos que a IA seja mais inteligente, não devemos apenas pedir para ela se esforçar mais ou pedir mais palpites. Devemos dar a ela o tempo e a estrutura para pensar, verificar seu trabalho e corrigir seus próprios erros antes de nos entregar a resposta final. É uma mudança de "mais é melhor" para "melhor é melhor".

Resumo Técnico: Refinar em vez de Reamostrar

Declaração do Problema

O artigo aborda as limitações das atuais estratégias de escalonamento em tempo de teste (test-time scaling) para Grandes Modelos de Linguagem (LLMs) em raciocínio matemático. Embora a alocação de computação de inferência adicional via amostragem mais ampla (ex: Best-of-N) ou seleção baseada em verificadores melhore o desempenho, os autores identificam dois modos críticos de falha:

Saturação de Diversidade: Aumentar o orçamento de amostras ( $N$ ) frequentemente gera retornos decrescentes. Em vez de descobrir novos caminhos de raciocínio, as amostras adicionais tendem a se agrupar em torno de algumas direções semânticas dominantes, revisitando padrões de resposta existentes em vez de expandir o espaço de solução.
Alucinação por Traço e Dependência de Verificador:
- Alucinação: Cada execução (rollout) independente está sujeita ao mesmo ruído de geração. Se a resposta "pretendida" do modelo for correta, mas perturbada por erros de geração, a simples reamostragem não corrige o trajeto subjacente; ela apenas repete o erro.
- Calibração do Verificador: A seleção baseada em verificadores (usando Modelos de Recompensa de Processo ou Modelos de Recompensa de Resultado) depende fortemente da calibração de um modelo de recompensa externo. Erros de calibração podem degradar diretamente a seleção da resposta final, e esses métodos frequentemente exigem treinamento adicional ou políticas de parada aprendidas.

Os autores argumentam que a computação em tempo de teste é utilizada de forma mais eficaz não apenas para amostrar mais, mas para refinar trajetórias amostradas antes da agregação.

Metodologia: Refinamento de Amplitude–Profundidade

O framework proposto é uma abordagem livre de treinamento e livre de verificadores que utiliza a computação em tempo de teste em dois eixos: Amplitude (tentativas iniciais diversas) e Profundidade (autocorreção iterativa).

Componentes Principais

O método utiliza um único modelo base $\pi_\theta$ condicionado a prompts específicos de função para atuar como três agentes distintos:

Gerador ( $\pi^G_\theta$ ): Produz continuações de raciocínio.
Crítico ( $\pi^C_\theta$ ): Identifica erros lógicos, aritméticos ou estruturais.
Corretor ( $\pi^R_\theta$ ): Revisa o traço de raciocínio com base na crítica.

O Algoritmo

Inicialização (Amplitude): $N$ execuções de raciocínio independentes são amostradas do gerador em uma temperatura fixa $\tau > 0$ . Isso garante pontos de partida diversos para combater a saturação de diversidade.
Refinamento Iterativo (Profundidade): Cada uma das $N$ $N$ execuções passa por $D$ $D$ rodadas de um ciclo de três estágios:
- Continuação de Raciocínio: O gerador estende ou reescreve o traço anterior.
- Autocrítica: O crítico analisa o traço e produz uma crítica em linguagem natural. Se nenhum erro for encontrado, ele confirma explicitamente o traço.
- Autocorreção: O corretor revisa o traço condicionado tanto ao raciocínio quanto à crítica.
Agregação: Após $D$ etapas de refinamento, os traços corrigidos finais são extraídos em respostas candidatas. A previsão final é determinada por votação majoritária (pluralidade) sobre as $N$ respostas refinadas.

Crucialmente, este processo não requer um verificador externo, um modelo de recompensa ou treinamento adicional.

Principais Contribuições

Identificação de Limitações: Os autores caracterizam formalmente a "saturação de diversidade" (onde um $N$ maior falha em aumentar as direções de raciocínio únicas) e a "alucinação por traço" (onde o escalonamento apenas de largura não pode corrigir erros de geração sistemáticos).
Framework de Amplitude–Profundidade: Eles propõem um método de refinamento estruturado que preserva tentativas iniciais diversas (Amplitude) enquanto aplica autocritica e autocorreção iterativas (Profundidade) para reparar erros locais antes da agregação.
Validação Empírica: O método é avaliado em cinco benchmarks matemáticos (AIME24, AIME25, AMC, OlympiadBench, MATH500) e quatro modelos de pesos abertos (Qwen2.5-7B/1.5B, Ministral-8B, LLaMA-3.1-8B).

Resultados Experimentais

O método supera consistentemente o greedy decoding, a votação majoritária (Maj@8), o Best-of-N baseado em verificador (RM@8), o beam search e o lookahead decoding.

Ganhos de Desempenho:
- Qwen2.5-1.B: No MATH500, a precisão melhorou de 29,6% (baseline RM@8) para 58,0%. No AMC, subiu de 25,0% para 32,5%.
- Qwen2.5-Math-7B: Mostrou ganhos consistentes sobre os baselines mais fortes no AIME25, AMC, OlympiadBench e MATH500.
- Ministral-8B & LLaMA-3.1-8B: Demonstraram melhorias claras, particularmente no AMC e MATH500.
Estudos de Ablação:
- Necessidade de Autocrítica: Remover a etapa explícita de autocritica (w/o) resultou em desempenho inferior comparado ao pipeline completo (w/), confirmando que a crítica fornece um feedback intermediário útil em vez de apenas aumentar a contagem de tokens.
- Eficiência de Computação: Embora o método incorra em custos de inferência mais altos (TFLOPs) devido às múltiplas passagens de refinamento, o ganho normalizado pelo computador ( $\eta$ ) é positivo. Os ganhos são mais pronunciados para modelos menores (ex: 1.5B), sugerindo que o refinamento desbloqueia habilidades de raciocínio latentes que não são expressas de forma confiável em gerações de passo único.
Dinâmica de Refinamento: A análise mostra que o refinamento recupera com sucesso estados de "errado-para-correto", enquanto mantém as regressões de "correto-para-errado" limitadas. A diversidade permanece alta através das profundidades de refinamento, indicando que o método não colapsa todas as execuções em uma única resposta.

Significância e Alegações

O artigo alega que a computação em tempo de teste é mais eficaz quando usada para refinar trajetórias amostradas, em vez de apenas amostrar mais candidatos ou depender de seleção guiada por verificadores.

Robustez: Ao agregar execuções refinadas via votação majoritária, o método é robusto a correções individuais ruidosas. Ele não depende da calibração de um modelo de recompensa externo.
Agnóstico ao Modelo: A abordagem é aplicável a qualquer modelo de pesos abertos sem exigir treinamento adicional, aprendizagem por reforço ou políticas de parada aprendidas.
Mudança de Paradigma: O trabalho sugere uma mudança de "pesquisar mais amplamente" para "refinar mais profundamente", argumentando que evidências de raciocínio úteis vêm de permitir que cada tentativa repare etapas intermediárias instáveis antes da agregação final.

Os autores reconhecem que o método possui um custo de inferência maior do que o greedy decoding ou a amostragem padrão, mas argumentam que os ganhos significativos de precisão, particularmente para modelos menores, justificam o compromisso em cenários onde os parâmetros do modelo não podem ser atualizados.