💬 NLP

Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B

Este artigo demonstra que, através de vários modelos de código aberto (de 1,5B a 7B de parâmetros) e benchmarks de matemática, a amostragem repetida supera consistentemente ou iguala métodos complexos de autorrefinamento e reflexão quando avaliados sob custos de tokens iguais, revelando que os ganhos aparentes destes últimos advêm frequentemente do aumento do volume de geração, em vez de estratégias de raciocínio superiores.

Autores originais: Iliya Mirzaei

Publicado 2026-07-31

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Iliya Mirzaei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Experimento de Impulso Cerebral da IA

Imagine que você tem um aluno muito inteligente, mas um pouco distraído. Você lhe dá um problema de matemática difícil e ele tenta resolvê-lo. Às vezes ele acerta; às vezes ele erra. No mundo da inteligência artificial, pesquisadores têm tentado descobrir como fazer esses "alunos" (chamados de Modelos de Linguagem de Grande Escala) pensarem melhor sem reconstruí-los do zero. A ideia popular tem sido dizer à IA para "pensar mais intensamente". Isso significa pedir que ela planeje seus passos, discuta consigo mesma, critique seus próprios erros ou reescreva suas respostas antes de entregá-las. É como dizer a um aluno: "Não escreva apenas a resposta; escreva todo um ensaio sobre por que você acha que essa resposta está certa, verifique seu trabalho e talvez tente novamente".

A grande questão é: todo esse pensamento extra realmente ajuda, ou é apenas perda de tempo? O conceito chave aqui são os tokens. Pense em tokens como as "palavras" ou "unidades de esforço" que uma IA gasta. Cada vez que a IA escreve uma palavra, custa um token. Se um método faz a IA escrever 1.000 palavras para resolver um problema que poderia ser resolvido em 100, ela gastou dez vezes o esforço. O debate científico é se esse esforço extra vem da estratégia (como a autocrítica) ou simplesmente do fato de a IA ter escrito mais palavras. Se você der a um aluno dez vezes mais papel, eles podem tirar uma nota melhor apenas porque tiveram mais espaço para tentar, não porque ficaram subitamente mais inteligentes. Este artigo se propõe a testar exatamente isso: quando você dá a diferentes estratégias a mesma quantidade exata de papel (tokens), qual delas realmente vence?

O Artigo: Mais Amostras, Menos Reflexão

Este artigo, intitulado "Sample More, Reflect Less" (Amostre Mais, Reflita Menos), é um experimento massivo projetado para encerrar a discussão sobre se a IA precisa "refletir" sobre seu próprio trabalho para se tornar mais inteligente. Os pesquisadores pegaram sete métodos populares diferentes que fazem a IA "pensar mais intensamente" — incluindo métodos onde a IA critica a si mesma, discute com cópias de si mesma ou tenta escolher a melhor resposta de uma lista — e os colocaram contra um baseline simples e entediante: amostragem repetida.

O baseline é como jogar uma moeda dez vezes e escolher o lado que apareceu com mais frequência. Em termos de IA, isso significa fazer a mesma pergunta dez vezes e simplesmente pegar a resposta mais comum. Os pesquisadores garantiram que cada método usasse exatamente o mesmo número de tokens (palavras geradas) para que o campo de jogo fosse perfeitamente nivelado. Eles testaram isso em três tamanhos diferentes de modelos de IA (1,5 bilhão, 3 bilhões e 7 bilhões de parâmetros) usando dois benchmarks de matemática (GSM8K e MATH-500) com 150 perguntas cada.

A Grande Descoberta:
Os resultados foram surpreendentes. Em quase todos os casos, os métodos sofisticados que faziam a IA "refletir", "criticar" ou "discutir" perderam para o método simples de apenas fazer a pergunta várias vezes e contar os votos.

Quando os pesquisadores olharam de perto por que os métodos sofisticados perderam, encontraram um padrão claro. Os métodos que pediam à IA para julgar seu próprio trabalho (como reescrever sua resposta ou escolher a "melhor" de uma lista) apresentaram consistentemente um desempenho pior do que o baseline. Por exemplo, no modelo menor de 1,5 bilhão de parâmetros, um método chamado "Best-of-N" (onde a IA escolhe a melhor de 8 respostas) pontuou cerca de 8 a 11 pontos percentuais abaixo de apenas contar a resposta mais comum entre essas mesmas 8 tentativas. Mesmo no modelo maior de 7 bilhões, a lacuna desapareceu: a diferença tornou-se estatisticamente indistinguível de zero, o que significa que o "juiz" não era mais claramente pior que o "contador", e a penalidade não era mais distinguível de zero.

O artigo descarta explicitamente a ideia de que "pensar mais intensamente" através da autorreflexão é o ingrediente mágico. Em vez disso, sugere que gastar tokens em outra tentativa é um investimento melhor do que gastar tokens em autocorreção — em todos os tamanhos que os pesquisadores puderam testar. Se você tem tokens suficientes para escrever um longo e crítico ensaio sobre sua resposta, é melhor usar esses tokens para escrever duas ou três respostas novas e independentes e apenas escolher a mais popular delas.

O Método "Fantasma" e a Lição de que o Tamanho Importa

Uma das partes mais lúdicas e reveladoras do experimento envolveu um método chamado Reflexion. Este método deve funcionar assim: a IA tenta resolver um problema e depois pergunta a si mesma: "Eu acertei isso?". Se ela disser "Não", ela tenta novamente. Se disser "Sim", ela para.

Os pesquisadores descobriram um erro engraçado no menor modelo (1,5B). Nesse modelo minúsculo, a IA nunca disse "Não". Ela julgou todas as suas primeiras respostas como "corretas", mesmo quando estavam erradas. Assim, o método Reflexion nunca chegou a disparar uma nova tentativa. Ele colapsou silenciosamente em uma única tentativa barata. Como foi tão barato (não gastou tokens extras), parecia estar indo bem em comparação aos métodos caros. Mas quando os pesquisadores forçaram a IA a tentar novamente três vezes, independentemente do que ela pensasse, o desempenho caiu significamente, provando que o próprio mecanismo de "reflexão" estava, na verdade, prejudicando a pontuação.

À medida que os modelos ficavam maiores (de 1,5B para 7B), a lacuna entre "contar votos" e "deixar a IA julgar" começou a diminuir. Com 7 bilhões de parâmetros, a IA já era boa o suficiente em julgar para que a diferença deixasse de ser prejudicial; a diferença não era mais distinguível de zero. No entanto, o artigo observa que, mesmo nesse tamanho, a IA não era melhor em julgar do que contar; ela apenas deixou de ser pior. Os pesquisadores sugerem que, para uma IA realmente vencer o método de "contagem de votos", ela precisaria ser treinada especificamente para ser uma juíza, não apenas solicitada a julgar no momento.

O Que Isso Significa para o Futuro

O artigo conclui com uma mensagem forte para qualquer pessoa que esteja construindo esses sistemas de IA: Não complique as coisas. Se você tem um orçamento de tokens (palavras) para gastar, a maneira mais eficiente de obter uma resposta correta é frequentemente gerar muitas tentativas diferentes e deixar a maioria decidir, em vez de pedir que a IA critique e reescreva seu próprio trabalho.

Os autores também alertam que alguns métodos podem parecer bons no papel, mas falham na prática porque "escondem" seu custo real. Se um método decide por si mesmo quando parar (como o Reflexion), ele pode parar imediatamente e economizar dinheiro, fazendo parecer eficiente, mas não está realmente realizando o trabalho para o qual foi projetado.

Em última análise, este estudo sugere que, para problemas matemáticos com respostas claras de certo ou errado, a "magia" da autorreflexão é um mito — pelo menos para os modelos testados até agora. A ferramenta mais poderosa não é uma estratégia mais inteligente; é simplesmente tentar mais vezes. Como os pesquisadores colocaram, gastar tokens para reconsiderar uma resposta é um uso pior deles do que gastar os mesmos tokens em outra tentativa. A IA não precisa que lhe digam para pensar mais intensamente; ela só precisa que lhe deem mais chances de tentar.

Enunciado do Problema
Muitos métodos alegam melhorar o raciocínio de modelos de linguagem sem retreinamento, instruindo o modelo a planejar, criticar, refletir, debater ou selecionar entre múltiplas tentativas. Uma falha crítica na avaliação desses métodos é que eles invariavelmente aumentam o número de tokens gerados em comparação com uma única cadeia de pensamento (chain of thought). Como gerar mais texto aumenta inerentemente a precisão, um ganho de desempenho sobre uma única cadeia de pensamento não prova que o mecanismo do método é eficaz; pode simplesmente refletir o aumento do orçamento de computação.

Trabalhos anteriores (Wang et al., 2026) argumentaram que um baseline simples — amostragem repetida com votação majoritária (autoconsistência) — frequentemente supera estratégias de raciocínio complexas quando os orçamentos de computação são equivalentes. No entanto, esse estudo baseou-se em estimativas pontuais sem intervalos de confiança, testes de significância ou amostras suficientes para distinguir efeitos pequenos de ruído. Além disso, não testou modelos pequenos (<7B parâmetros), onde a capacidade de autoavaliação é provavelmente mais fraca.

Metodologia
Os autores conduzem um experimento controlado e estatisticamente rigoroso comparando sete métodos de raciocínio contra um baseline de amostragem repetida com custo correspondente.

Modelos: Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct e Qwen2.5-7B-Instruct.
Benchmarks: GSM8K (150 questões) e MATH-500 (150 questões), selecionados por possuírem respostas automaticamente verificáveis.
Métrica de Custo: Total de tokens gerados (tokens de conclusão), incluindo todos os passos intermediários, críticas, reflexões e turnos de debate. Os tokens de entrada são excluídos para focar no custo generativo do método, embora os autores notem que incluir os tokens de entrada penalizaria ainda mais os métodos que relêem o contexto.
Construção do Baseline: Em vez de executar experimentos de autoconsistência separados para cada contagem de tokens, os autores geram um pool de $K=16$ cadeias independentes por questão. Eles então subsamplam este pool para construir uma curva de precisão-versus-custo para a autoconsistência em qualquer $N$ inteiro $\le 16$ . Isso permite uma interpolação precisa da precisão do baseline para o custo exato de tokens de qualquer método testado.
Rigor Estatístico:
- As comparações são pareadas questão por questão.
- Os intervalos de confiança são derivados via bootstrap pareado (10.000 reamostragens).
- Os p-valores são corrigidos para testes múltiplos usando o procedimento Holm–Bonferroni.
- O estudo mede explicitamente a "taxa de ativação" de métodos adaptativos (por exemplo, com que frequência o Reflexion de fato dispara uma tentativa de reexecução).

Métodos Avaliados

Cadeia de Pensamento (CoT): Passagem única gulosa (greedy).
Plan-and-Solve: Passagem única gulosa com um passo de planejamento.
Self-Refine: Crítica e reescrita iterativa (3 rodadas).
Reflexion: Tentativa de reexecução adaptativa baseada em autoavaliação (versão original) e uma versão forçada (3 rodadas fixas).
Best-of-N + Self-Verify: Gerar 8 amostras e, em seguida, pedir ao modelo para escolher a melhor.
Multi-Agent Debate: Três agentes debatendo por 2 rodadas.
Baseline de Amostragem: Autoconsistência (votação majoritária) com custo de tokens correspondente.

Principais Resultados

Nenhum Método Supera o Baseline: Em nenhuma das 36 comparações (7 métodos $\times$ 6 configurações) qualquer método superou significativamente o baseline de amostragem repetida com um custo de tokens igual.
A Autoinspeção é Prejudicial: Todos os métodos que exigem que o modelo avalie ou reescreva sua própria saída (Self-Refine, Reflexion, Best-of-N com autoverificação) tiveram um desempenho significativamente pior que o baseline em 10 de 18 comparações. As comparações restantes foram estatisticamente indistinguíveis do baseline, mas nunca superiores.
Contar vs. Escolher: Uma comparação específica usando amostras idênticas (8 cadeias) mostrou que simplesmente contar a resposta mais frequente (votação majoritária) superou o ato de pedir ao modelo para escolher a melhor resposta.
- Nos modelos de 1.5B e 3B, a abordagem de "contagem" foi de 5 a 17 pontos percentuais mais precisa que a de "escolha".
- No modelo de 7B, a lacuna diminuiu para cerca de 2 pontos e não era mais estatisticamente distinguível de zero, sugerindo que a penalidade para a autoverificação diminui conforme o tamanho do modelo aumenta, mas não se reverte dentro do intervalo testado.
Degeneração Silenciosa do Reflexion: A implementação original do Reflexion, que depende do modelo decidir quando tentar novamente, não disparou uma única tentativa de reexecução no modelo de 1.5B (ele julgou todas as respostas como corretas). Consequentemente, tornou-se efetivamente uma única cadeia de pensamento, pontuando bem apenas porque era barata. Quando forçado a rodar, performou significativamente pior que o baseline.
Convergência do Debate: O debate multiagente convergiu para o acordo unânime em 48–91% dos casos, sugerindo que os tokens extras compraram concordância, não precisão.

Significância e Alegações
O artigo alega estabelecer que a hipótese do "computação extra" é insuficiente para explicar o sucesso de métodos de raciocínio complexos. O achado principal é que gastar tokens em autoavaliação ou autocorreção é um uso de computação menos eficiente do que gastar os mesmos tokens em tentativas independentes adicionais.

Os autores fazem três alegações específicas e modestas:

Mecanismo vs. Orçamento: O ganho observado na literatura anterior é frequentemente atribuível ao aumento do orçamento de tokens, não ao mecanismo de raciocínio. Quando os orçamentos são estritamente pareados, a amostragem simples vence.
Limite da Autoavaliação: Para modelos na faixa de 1.5B a 7B, pedir a um modelo para verificar seu próprio trabalho é menos eficaz do que uma simples contagem. O "verificador" (o próprio modelo) não é confiável o suficiente para sobrepor a votação majoritária, mesmo no modelo de 7B.
Protocolo de Avaliação: Métodos adaptativos podem degenerar silenciosamente em métodos mais simples e baratos (como visto com o Reflexion em modelos pequenos) se o gatilho adaptativo falhar. As avaliações devem reportar a taxa de ativação de tais gatilhos, não apenas a precisão final.

O artigo conclui que, para raciocínio matemático com respostas verificáveis, a estratégia mais eficiente para um orçamento fixo é a amostragem repetida com votação majoritária, e que a "comparação ausente" (um baseline de amostragem com custo correspondente) deve ser o padrão em futuros artigos de métodos. Os autores disponibilizam todo o código, prompts e gerações brutas para permitir a verificação independente.

O Grande Experimento de Impulso Cerebral da IA

O Artigo: Mais Amostras, Menos Reflexão

O Método "Fantasma" e a Lição de que o Tamanho Importa

O Que Isso Significa para o Futuro

Mais como este