🤖 machine learning

Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

O artigo apresenta o framework LENS, que utiliza RLVR com purificação de instruções para identificar e remover tokens de interferência, permitindo que modelos de linguagem aprendam a ignorar ruídos e alcancem melhor desempenho e convergência mais rápida em tarefas de raciocínio complexo.

Autores originais: Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno muito inteligente, mas um pouco distraído, a resolver problemas de matemática complexos. O método tradicional de ensino (chamado de RLVR na pesquisa) funciona assim: você dá um problema, o aluno tenta resolver várias vezes (chamado de "rollouts"), e se ele acertar, você dá um ponto. Se errar, você não dá ponto e ele tenta de novo.

O problema é que, em tarefas difíceis, o aluno erra muito. E quando ele erra, o professor fica sem saber se o aluno é burro, se o problema é difícil demais, ou se o aluno apenas se distraiu com uma mosca voando perto da janela.

Aqui entra o LENS (Less Noise Sampling Framework), a nova técnica apresentada no artigo. Vamos explicar como ela funciona usando analogias do dia a dia:

1. O Problema: O "Ruído" na Pergunta

Os pesquisadores descobriram algo surpreendente: muitas vezes, o aluno não falha porque a matemática é difícil, mas porque a pergunta tem um pequeno detalhe confuso.

Imagine que você pede para alguém cozinhar um bolo: "Misture 2 xícaras de farinha, 1 ovo e... ah, esqueci de dizer que o forno deve estar desligado, mas na verdade ligue-o, e não use sal, use açúcar..."
Essas instruções confusas e contraditórias são os "Tokens de Interferência". Eles são como ruído estático no rádio ou uma mosca no olho do aluno. Eles ocupam apenas 5% do texto, mas são responsáveis por 100% da confusão que faz o aluno falhar.

2. A Solução: O "Filtro de Ruído" (LENS)

O LENS funciona em duas etapas, como um professor muito esperto:

Etapa 1: A Limpeza da Pergunta (Purificação)
Quando o aluno falha em tentar resolver o problema, o professor (o algoritmo) olha para a pergunta original e diz: "Espere, essa parte aqui da frase parece estranha e está confundindo você. Vamos riscar essa parte temporariamente."
Ele remove esses "tokens de interferência" (as palavras confusas) e cria uma versão limpa da pergunta.

Resultado: Com a pergunta limpa, o aluno consegue resolver o problema com muito mais facilidade. É como tirar a mosca do olho: de repente, a visão fica clara e a resposta correta aparece.

Etapa 2: A Lição de Casa (Otimização Calibrada)
Aqui está o truque genial. O professor não ensina o aluno a resolver apenas a pergunta limpa. Ele usa a resposta correta da pergunta limpa para ensinar o aluno a resolver a pergunta original e bagunçada.

A Analogia: É como se o professor dissesse: "Veja, quando eu tirei essa parte confusa, você acertou. Agora, olhe para a pergunta original com todos os ruídos. Você precisa aprender a ignorar o ruído e focar apenas no que importa, exatamente como fez na versão limpa."

Dessa forma, o modelo aprende a ignorar as distrações do mundo real, em vez de apenas aprender a resolver problemas em um ambiente perfeito e limpo.

3. Por que isso é melhor do que o método antigo?

Método Antigo (GRPO): Tentava resolver o problema jogando mais dinheiro na mesa (fazendo mais tentativas) ou descartando os problemas difíceis. Isso é caro e ineficiente. É como tentar adivinhar a senha do Wi-Fi clicando aleatoriamente milhões de vezes.
Método LENS: Entende que o problema não é a dificuldade, é a distração. Ele limpa a distração, aprende a lição e ensina o aluno a ser resistente a ruídos.

Os Resultados na Prática

O artigo mostra que, ao usar essa técnica:

Aprendizado mais rápido: O modelo aprende o mesmo conteúdo com menos de 2/3 do tempo (mais de 1,6 vezes mais rápido).
Melhor desempenho: O modelo acerta mais questões de matemática e lógica geral.
Robustez: O modelo não "quebra" quando encontra perguntas confusas; ele sabe filtrar o que é importante.

Resumo em uma frase

O LENS é como um óculos de realidade aumentada para Inteligência Artificial: ele identifica e remove as "sujeiras" que estão na pergunta, permite que o modelo veja a solução clara, e depois ensina o modelo a usar esses óculos para resolver problemas reais, cheios de ruído e confusão, sem se perder.

Em vez de gritar mais alto para ser ouvido (fazer mais tentativas), o LENS apenas limpa o microfone para que a voz do modelo seja ouvida com clareza.

1. O Problema

O artigo aborda as limitações do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) no aprimoramento do raciocínio de Grandes Modelos de Linguagem (LLMs). Embora métodos como o GRPO (Group Relative Policy Optimization) tenham avançado significativamente, eles enfrentam desafios críticos em tarefas complexas:

Exploração Ineficiente: O RLVR depende da amostragem de "rollouts" (sequências de geração) corretos para gerar sinais de aprendizado. Em tarefas de raciocínio complexo, a recompensa é esparsa (binária e atrasada), tornando os rollouts corretos extremamente raros.
Falhas por "Ruído" na Instrução: A descoberta central dos autores é que muitas falhas de exploração não ocorrem devido à dificuldade intrínseca do problema, mas sim devido a um pequeno número de tokens de interferência na instrução (prompt). Esses tokens introduzem ruído que desvia o modelo, levando a rollouts falhos mesmo quando o modelo tem capacidade de resolver o problema.
Ineficiência de Recursos: Soluções existentes tentam mitigar isso aumentando o orçamento de amostragem (mais rollouts), o que eleva drasticamente o custo computacional, ou filtrando prompts de "variância zero", o que sacrifica a exploração em amostras desafiadoras.

2. Metodologia: Framework LENS

Os autores propõem o LENS (Less Noise Sampling Framework), um framework de amostragem online e seletivo que opera em duas etapas principais para transformar prompts de baixa qualidade em sinais de aprendizado eficazes.

A. Identificação e Purificação de Tokens de Interferência

Definição: Tokens de interferência são definidos como tokens que causam desvios significativos entre a política atual ( $\pi_\theta$ ) e a política de referência ( $\pi_{ref}$ ), indicando comportamento espúrio ou sobre-otimização.
Métrica (Interference Score): Calcula-se a divergência logarítmica entre as probabilidades dos tokens na política atual e na referência:
$S_I(s, a) = |\log \pi_\theta(a | s) - \log \pi_{ref}(a | s)|$
Purificação: Para prompts que resultam em baixa taxa de sucesso, o LENS identifica os tokens com as maiores pontuações de interferência (top-k) e os remove, criando um prompt "denoised" (limpo). Isso é feito com uma taxa de deleção pequena ( $\gamma$ , ex: 1-5%) para preservar a semântica original.

B. Otimização de Política de Rollout Calibrada (CRPO)

A remoção direta dos tokens não é o objetivo final, pois o modelo precisa aprender a lidar com o ruído do mundo real. O CRPO atua como um mecanismo de transferência de aprendizado:

Geração de Sinais de Alta Qualidade: O modelo gera rollouts no prompt "limpo" (purificado). Se a taxa de sucesso aumentar, esses rollouts bem-sucedidos são usados como supervisão.
Calibração e Re-pesagem: O sistema substitui uma parte dos rollouts falhos do prompt original pelos rollouts bem-sucedidos do prompt limpo.
Função de Objetivo: O algoritmo otimiza a política no prompt original, mas utiliza os sinais de recompensa derivados do prompt limpo. Isso força o modelo a aprender a ignorar os tokens de interferência e focar nas informações críticas, em vez de apenas aprender a resolver o problema em condições ideais.

3. Contribuições Principais

Novo Insight sobre Falhas de RLVR: Evidência empírica de que a maioria das falhas em tarefas complexas de raciocínio é causada por uma minoria de tokens de interferência (< 5% do prompt), e não pela complexidade do problema em si.
Framework LENS: Uma abordagem plug-and-play que purifica instruções dinamicamente e transfere o aprendizado de prompts limpos para prompts ruidosos, melhorando a robustez do modelo.
Superioridade sobre Baselines: Demonstra que é possível superar métodos que aumentam o custo computacional (mais rollouts) ou que filtram dados agressivamente, alcançando maior eficiência e estabilidade.
Generalização: O método não apenas melhora o raciocínio matemático, mas também generaliza para tarefas de raciocínio científico e geral, indicando que a purificação de ruído é uma melhoria fundamental na capacidade de raciocínio do modelo.

4. Resultados Experimentais

Os experimentos foram realizados em diversas famílias de modelos (Llama-3.2, Qwen-2.5, Qwen-3) e benchmarks (MATH500, AIME, OlympiadBench, GPQA, etc.).

Desempenho em Raciocínio Matemático:
- O LENS superou consistentemente o GRPO padrão e variantes estendidas (com mais rollouts).
- Ganho Médio: +3.88% de acurácia em benchmarks de raciocínio matemático.
- Velocidade de Convergência: Aceleração de mais de 1.6x em comparação ao GRPO, atingindo o pico de desempenho com menos passos de gradiente.
Generalização Out-of-Domain:
- Em tarefas de raciocínio científico e geral (SuperGPQA, GPQA-Diamond, BBEH, MMLU-Pro), o LENS obteve um ganho médio de +1.83% sobre o GRPO, provando que o método não causa overfitting apenas em padrões matemáticos.
Eficiência de Amostragem:
- Redução significativa na proporção de prompts com recompensa zero (falhas totais), aumentando a densidade de sinais de aprendizado informativos durante o treinamento.
Análise de Dinâmica de Treinamento:
- O LENS mostrou trajetórias de aprendizado mais estáveis, com menor entropia e surgimento mais precoce de raciocínio de longo prazo ("aha moment").

5. Significado e Impacto

O trabalho oferece uma nova perspectiva para a pesquisa em RLVR:

Mudança de Paradigma: Em vez de apenas aumentar a quantidade de dados ou filtrar dados difíceis, o foco deve ser na qualidade da instrução e na remoção de ruídos que impedem a exploração.
Eficiência Computacional: O LENS demonstra que é possível obter melhorias de desempenho significativas sem aumentar o orçamento computacional (rollouts ou épocas de treinamento), tornando o treinamento de modelos de raciocínio mais viável.
Robustez: Ao ensinar o modelo a ignorar interferências, o método aumenta a robustez do LLM em cenários do mundo real, onde prompts podem conter ruídos ou formulações subótimas.

Em resumo, o LENS resolve o problema de "exploração ineficiente" no RLVR não gerando mais dados, mas limpando os dados existentes para revelar sinais de aprendizado que estavam ocultos pelo ruído nas instruções.