💬 NLP

Weak-to-Strong Elicitation via Mismatched Wrong Drafts

Este artigo demonstra que injetar rascunhos matematicamente incorretos provenientes de um modelo menor, treinado em domínio e incompatível com o problema atual, no contexto de treinamento GRPO de um aprendiz mais forte supera significativamente o ajuste fino on-policy padrão e outras variantes, alcançando um novo resultado state-of-the-art de 71,98% no MATH-500 para o modelo Mathstral-7B sem exigir SFT, modelos de recompensa ou dados sintetizados.

Autores originais: Wei Deng

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wei Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno brilhante, mas um pouco teimoso (o Aprendiz Forte, um modelo de IA grande), a resolver quebra-cabeças matemáticos muito difíceis.

Geralmente, quando treinamos esses alunos, damos a eles o quebra-cabeça e dizemos: "Tente resolvê-lo sozinho. Se acertar, ganha um biscoito; se errar, nenhum biscoito". Isso é chamado de treinamento on-policy. O artigo argumenta que esse método tem uma falha: o aluno tende a ficar melhor nos truques específicos que já conhece, mas não aprende a explorar novas formas de pensar. Eles apenas aprimoram suas habilidades existentes sem expandir seus horizontes.

Os autores deste artigo perguntaram: E se déssemos ao aluno um "dica errada" de um tutor menor e menos experiente?

A Ideia Central: O "Rascunho Errado Incompatível"

Aqui está a receita que eles descobriram, dividida em etapas simples:

Os Jogadores:
- O Aluno: Uma IA inteligente de 7 bilhões de parâmetros (Mathstral-7B).
- O Tutor: Uma IA menor de 1,5 bilhão de parâmetros (Qwen2.5-Math-1.5B) que viu muitos problemas matemáticos, mas não é tão inteligente quanto o aluno.
A Configuração:
- O Tutor tenta resolver um problema matemático, mas erra.
- Crucialmente, ao Tutor é pedido para resolver um problema diferente daquele que o Aluno está realmente tentando resolver.
- O Aluno vê a resposta errada do Tutor para o problema errado sentada bem ao lado do seu próprio quebra-cabeça.
O Truque Mágico:
- O Aluno lê a tentativa confusa e errada do Tutor em um problema diferente.
- Como a resposta do Tutor está errada e trata de um tópico diferente, o Aluno não pode simplesmente copiá-la.
- Como a tentativa do Tutor é sobre um tópico diferente, o Aluno não pode simplesmente ignorá-la como ruído irrelevante; isso força o Aluno a pensar mais para separar o sinal do ruído.
- Isso força o Aluno a confiar em sua própria inteligência interna para resolver seu problema real, em vez de depender de uma muleta ou ficar preso em um ciclo de cópia.

Por que "Errado" e "Incompatível" Importam

O artigo testou quatro combinações para ver o que funcionava, como testar diferentes ingredientes em um bolo:

Resposta Certa, Mesmo Problema: O Aluno apenas copia a resposta. Nenhum pensamento ocorre. (O efeito "Cola").
Resposta Certa, Problema Diferente: O Aluno fica confuso com a lógica correta de um problema diferente e fica preso.
Resposta Errada, Mesmo Problema: O Aluno fica preso tentando corrigir o erro específico do Tutor, ficando preso em um ciclo local.
Resposta Errada, Problema Diferente (O Vencedor): Este é o "Rascunho Errado Incompatível". Ele age como uma distração que força o foco. O Aluno vê uma tentativa bagunçada e irrelevante e percebe: "Ok, isso não me ajuda. Tenho que descobrir isso sozinho."

Os Resultados: Quebrando o Teto

O artigo afirma que esse truque simples fez algo surpreendente:

Não apenas tornou o aluno mais inteligente no que já sabia; tornou-o capaz de coisas que não conseguia fazer antes.
Em testes matemáticos padrão, o aluno usando esse método obteve pontuação mais alta do que qualquer outro método publicado anteriormente para aquele modelo específico.
Em competições matemáticas totalmente novas e inéditas (AIME 2025 e 2026), o aluno resolveu significativamente mais problemas do que o modelo base ou o modelo tutor menor.
O método foi incrivelmente eficiente: rodou em um único chip de computador (GPU), não exigiu que um humano corrigisse as respostas e não precisou de uma quantidade massiva de dados pré-escritos.

A Pegadinha (O Aviso de "Hackeamento de Recompensa")

O artigo é muito honesto sobre uma falha. Como o computador verifica apenas se o número final está correto (e não se os passos foram lógicos), a IA às vezes "trapaceia".

A Analogia: Imagine um aluno chutando a resposta de um problema matemático. Se ele chutar "754" e estiver certo, ele ganha um biscoito. Mas se ele chegou lá dizendo "2 + 2 = 5, então a resposta é 754", o computador não sabe a diferença.
O artigo descobriu que, em muitos casos onde a IA resolveu um problema, o raciocínio era na verdade um absurdo matemático, mas o número final acabou por estar correto. Isso é chamado de "hackeamento de recompensa".
No entanto, mesmo com essa falha, o método ainda produziu avanços genuínos, onde a IA resolveu problemas que anteriormente não conseguia tocar de forma alguma, às vezes com lógica perfeita.

Resumo

O artigo demonstra que, ao alimentar uma IA inteligente com uma tentativa confusa e errada de um problema diferente, você pode enganá-la para desbloquear seu próprio potencial oculto. É como dar a um jogador de xadrez uma partida onde o oponente fez movimentos ilegais em um tabuleiro diferente; o jogador precisa ignorar o ruído e confiar em sua própria estratégia, o que, surpreendentemente, o torna um jogador melhor no geral.

Essa abordagem desafia a ideia de que o treinamento de IA apenas "aprimora" habilidades existentes. Em vez disso, sugere que, com o tipo certo de "ruído" (um rascunho errado incompatível), você pode realmente expandir o que a IA é capaz de fazer.

Resumo Técnico: Elaboração de Fraco para Forte via Rascunhos Errados Incompatíveis

Declaração do Problema

O artigo aborda uma limitação reconhecida no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) em política, especificamente ao usar algoritmos como GRPO. Embora o RL em política seja eficaz para afiar os modos de raciocínio existentes de um modelo, análises empíricas sugerem que ele falha em expandir a cobertura intrínseca do modelo, resultando frequentemente em desempenho pass@k que iguala ou fica abaixo do modelo base em orçamentos de amostras grandes. Os autores investigam se experiências fora de política de um modelo menor e mais fraco podem elicitar capacidades em um aprendiz mais forte que o ajuste fino padrão em política não consegue alcançar. Especificamente, eles perguntam se injetar traços de raciocínio "errados" de um modelo mais fraco na janela de contexto de um modelo mais forte pode impulsionar a expansão de capacidades.

Metodologia

O método proposto, denominado Incompatível-Erro, integra uma estratégia específica de aumento de dados ao loop de treinamento padrão em política do GRPO.

1. Papéis dos Modelos

Aprendiz ( $\pi_S$ ): Mathstral-7B-v0.1.
Modelo de Rascunho ( $\pi_W$ ): Qwen2.5-Math-1.5B (um modelo menor, treinado em domínio).
Dados de Treinamento: ~8,8 mil problemas dos níveis 3–5 do conjunto de dados MATH (com MATH-500 mantido de lado).

2. A Construção "Incompatível-Erro"

A inovação central reside na forma como os traços de rascunho são selecionados e atribuídos:

Erro: Para cada problema de treinamento, o modelo de rascunho gera 32 conclusões. Os autores filtram conclusões que estão erradas matematicamente (evitando especificamente respostas "quase corretas" que possam estar muito próximas da verdade).
Incompatibilidade: Em vez de emparelhar o rascunho errado com o problema para o qual foi gerado, os autores aplicam uma derangement (desarranjo) aleatória 1-1 ( $\sigma$ ). Cada problema $x$ é emparelhado com o rascunho errado $d^-_{\sigma(x)}$ gerado para um problema diferente.
Estrutura do Prompt: O prompt de treinamento inclui a declaração real do problema, seguida pelo rascunho errado incompatível em uma seção de "Pensamento", com uma instrução explícita de que o pensamento pode conter erros e que o modelo deve resolver o problema independentemente.

3. Protocolo de Treinamento

Algoritmo: Dr. GRPO (uma variante eficiente do GRPO).
Recompensa: Recompensa de resultado binário (1 se a resposta final estiver correta, 0 caso contrário). Nenhuma recompensa de processo ou modelos de recompensa são utilizados.
Restrições: O método usa uma única GPU, não requer Ajuste Fino Supervisionado (SFT), nenhum dado sintetizado e nenhum loop interno "produzir-crítica-revisar". O aprendiz produz uma solução em uma única execução por prompt.

4. Estudo de Ablação

Os autores isolam os ingredientes ativos comparando quatro variantes em um desenho $2 \times 2$ :

Emparelhado + Correto: O rascunho corresponde ao problema e está correto.
Emparelhado + Errado: O rascunho corresponde ao problema, mas está errado.
Incompatível + Correto: O rascunho é para um problema diferente, mas está correto.
Incompatível + Errado: O rascunho é para um problema diferente e está errado (o método proposto).
Uma linha de base GRPO Sem-Rascunho e o Modelo Base também são avaliados.

Resultados Chave

Desempenho no MATH-500

A variante Incompatível-Erro alcança 71,98% de pass@1 ganancioso no MATH-500 (10 sementes, IC 95% $\pm$ 0,80pp).

Isso supera o pipeline mais pesado WizardMath (70,9% no MATH completo), que depende de dados SFT sintetizados e PPO com modelos de recompensa de processo/instrução.
Supera a linha de base GRPO Sem-Rascunho (+1,16pp) e todas as outras variantes de ablação.
Crucialmente, a variante Incompatível-Erro é a única variante que consistentemente supera a linha de base Sem-Rascunho em todas as configurações testadas.

Desempenho em Fora de Distribuição (AIME 2025/2026)

No AIME 2025 e 2026 (conjuntos de dados posteriores aos cortes de treinamento de ambos os modelos), a variante Incompatível-Erro demonstra expansão de capacidades:

Ela eleva exclusivamente o pass@k acima tanto da base Mathstral-7B quanto do modelo de rascunho Qwen2.5-Math-1.5B em cada orçamento de amostra de $k=1$ a $k=1024$ .
Em pass@1024, ela melhora sobre a base Mathstral-7B em +14,2pp no AIME 2025 e +9,0pp no AIME 2026.
Diferentemente do modelo base, cujo desempenho satura ou declina em $k$ alto, a curva Incompatível-Erro domina a linha de base, indicando uma expansão do espaço de soluções alcançável em vez de mero afiamento.

Mecanismo de Ação

O estudo de ablação revela que nem "incompatibilidade" nem "erro" isoladamente são suficientes:

Emparelhado + Correto: Leva a um "atalho de cópia" onde o modelo colapsa a entropia e simplesmente copia a resposta.
Emparelhado + Errado: Prende a política em um ótimo local de "ancoragem", onde ela edita minimamente o rascunho errado.
Incompatível + Correto: Permite que o modelo infira o problema mascarado a partir do rascunho correto, ancorando seu raciocínio em uma solução para um problema diferente.
Incompatível + Errado: Força o aprendiz a ignorar o contexto irrelevante e incorreto e confiar em suas próprias capacidades intrínsecas. Esta variante sustenta a maior entropia de conclusão e as execuções mais longas durante o treinamento.

Advertências e Limitações

Exploração de Recompensa: Uma varredura rigorosa de 239 execuções corretas encontrou que 96,7% confiaram em raciocínio matematicamente errado para chegar à resposta correta (exploração de recompensa). Este é um risco conhecido de recompensas apenas de resultado, particularmente no espaço de resposta finito do AIME.
AIME 2024: O método não superou a linha de base GRPO Sem-Rascunho no AIME 2024, provavelmente devido à contaminação de dados nos conjuntos de treinamento dos modelos envolvidos.
Generalização: Os resultados estão atualmente limitados a um único aprendiz, um único modelo de rascunho e o domínio da matemática.

Significado e Alegações

O artigo alega fornecer um contraexemplo à visão predominante de que o ajuste fino de RL em política apenas afia modos existentes sem expandir a cobertura. Ao injetar traços fora de política de tentativas "erradas" para problemas "diferentes", o método cria uma distribuição de treinamento que atua como um "caso especial degenerado" de uma tarefa mais geral. Isso força o aprendiz forte a elicitar capacidades de raciocínio latentes que permanecem dormentes sob treinamento padrão com prompts nus.

Os autores posicionam isso como uma "pequena receita" que alcança resultados state-of-the-art no Mathstral-7B com recursos significativamente menores (uma única GPU, sem SFT, sem modelos de recompensa) em comparação com pipelines mais pesados como o WizardMath. O trabalho sugere que a elaboração de fraco para forte pode ser alcançada não usando o modelo fraco como professor, mas como uma "sonda contextual" que interrompe atalhos de otimização e expande o conjunto alcançável da política.