🤖 machine learning

CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning

O artigo propõe o CLEANER, um método que aproveita as capacidades intrínsecas de autocorreção de um modelo por meio de um mecanismo de Rollback Adaptativo Sensível à Similaridade para gerar trajetórias de treinamento livres de erros, resolvendo, assim, problemas de atribuição de crédito e aumentando significativamente o desempenho e a eficiência do Aprendizado por Reforço Agêntico com parâmetros restritos.

Autores originais: Tianshi Xu, Yuteng Chen, Meng Li

Publicado 2026-07-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tianshi Xu, Yuteng Chen, Meng Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um jovem aprendiz (um pequeno modelo de IA) a resolver quebra-cabeças complexos usando uma ferramenta poderosa, mas complicada: um interpretador de código de computador. O objetivo é fazer o aprendiz escrever código, executá-lo e obter a resposta correta.

No entanto, há um problema. Como o aprendiz ainda está aprendendo, ele comete muitos erros. Ele escreve códigos que travam, fazendo com que o computador cuspa mensagens de erro longas e confusas. Em uma configuração de treinamento padrão, o aprendiz mantém essas mensagens de erro bagunçadas em sua memória, tentando corrigi-las passo a passo. Eventualmente, eles podem chegar à resposta certa, mas o caminho que percorreram foi cheio de ruído, confusão e becos sem saída.

O artigo argumenta que esse "caminho bagunçado" está, na verdade, prejudicando o processo de aprendizado. Quando o aprendiz finalmente tem sucesso, o professor (o algoritmo de treinamento) dá a ele uma recompensa de "bom trabalho" por toda a jornada. Isso é injusto porque recompensa os erros tanto quanto o raciocínio correto. É como elogiar um chef por queimar a sopa, mas depois consertá-la com uma colher; o chef aprende que queimar as coisas é aceitável, desde que ele as conserte depois.

A Solução: CLEANER (O Chef "Autolimpante")

Os autores propõem um novo método chamado CLEERNER. Em vez de deixar o aprendiz manter o histórico bagunçado de seus erros, o CLEANER atua como um editor inteligente que limpa a história enquanto o aprendiz está aprendendo.

Veja como funciona, usando uma analogia criativa:

1. O Momento "Ops" (O Gatilho)
O aprendiz escreve uma linha de código, executa-a e o computador grita "ERRO!". Em uma aula normal, o aprendiz apenas adicionaria esse erro ao seu caderno e tentaria novamente.

2. O Botão de "Retroceder" (Mecanismo SAAR)
O CLEANER intervém imediatamente. Ele pausa o processo e pergunta ao aprendiz: "Ok, você cometeu um erro. Pode consertá-lo agora mesmo?". O aprendiz tenta novamente e tem sucesso.

3. A "Edição" (Rollback Adaptativo Baseado em Similaridade)
Esta é a parte mágica. O CLEANER analisa o erro e a correção para decidir como limpar o caderno:

Cenário A (Os Erros de Digitação): Se a correção for apenas uma pequena mudança (como corrigir uma vírgula ausente), o CLEANER assume que o raciocínio do aprendiz estava na verdade bom, ele apenas teve um erro de digitação. Ele apaga silenciosamente o erro e a correção, substituindo a linha bagunçada pelo código correto e limpo. O caderno agora mostra um processo de pensamento suave e bem-sucedido.
Cenário B (A Falha de Lógica): Se a correção for completamente diferente da tentativa original (como perceber que toda a abordagem estava errada), o CLEANER sabe que o raciocínio original estava falho. Ele apaga toda a tentativa errada e a mensagem de erro, substituindo-a pelo novo e correto raciocínio.

4. O Resultado: Uma Trajetória "Purificada"
Quando o treinamento termina, o aprendiz nunca "viu" as versões bagunçadas e cheias de erros de seu trabalho. Eles aprenderam apenas com histórias "autolimpadas", onde resolveram o problema corretamente de primeira (ou corrigiram instantaneamente sem deixar rastros da dificuldade).

Por Que Isso Importa

Menos Ruído, Mais Aprendizado: Como o aprendiz não é distraído por um histórico de erros, ele aprende a lógica correta muito mais rápido.
Eficiência: O artigo afirma que este método é incrivelmente eficiente. Eles conseguiram treinar um pequeno modelo de IA para performar tão bem quanto modelos muito maiores e mais caros, mas fizeram isso usando apenas um terço das etapas de treinamento. É como conseguir as habilidades de um mestre chef em três meses em vez de um ano.
Melhores Resultados: Em testes difíceis de matemática e codificação (como AIME e LiveCodeBench), este método melhorou a precisão em cerca de 3% a 6% em comparação com os métodos padrão.

Em Resumo

Pense no treinamento padrão como deixar um aluno praticar em um quadro branco coberto de rabiscos apagados, borrados e confusos. O CLEANER é como uma borragem mágica que limpa instantaneamente os borrões, deixando apenas os passos perfeitos e claros da solução. Isso permite que o aluno internalize a maneira correta de pensar, em vez de se confundir com a maneira errada que tentou primeiro.

Resumo Técnico: CLEANER – Trajetórias Autopurificadas Impulsionam o Aprendizado por Reforço Agêntico

1. Definição do Problema

O artigo aborda um gargalo crítico no Aprendizado por Reforço (RL) Agêntico para Grandes Modelos de Linguagem (LLMs), particularmente para modelos com restrição de parâmetros (ex: 4B–7B de parâmetros) que utilizam ferramentas como interpretadores Python. Embora o uso de ferramentas permita a resolução de problemas complexos, a fase de exploração é assolada por falhas frequentes de execução. Essas falhas geram "trajetórias ruidosas" contendo códigos inválidos e rastreios de erro (tracebacks) verbosos que contaminam a janela de contexto.

Sob configurações padrão de recompensa baseada em resultados (ex: Group Relative Policy Optimization ou GRPO), toda a trajetória recebe uma recompensa positiva uniforme após o sucesso final, independentemente dos erros intermediários. Isso cria um dilema de atribuição de crédito:

Poluição por Ruído: Ações errôneas e os subsequentes loops de "Erro → Feedback → Tentativa de Retorno" são inadvertidamente reforçados junto com o raciocínio bem-sucedido.
Interferência Semântica: O modelo aprende a racionalizar caminhos de execução incorretos em vez de reancorar suas decisões, levando à instabilidade da política e à degradação do desempenho.
Limitações Existentes: As estratégias de mitigação atuais enfrentam um trade-off. Atribuir recompensas densas frequentemente desencadeia o "ataque de recompensa" (reward hacking — otimização de métricas intermediárias em detrimento do resultado final), enquanto a superamostragem (gerar múltiplos candidatos para filtrar a qualidade) acarreta custos computacionais proibitivos, já que a fase de rollout domina o tempo de treinamento de RL.

2. Metodologia: CLEANER e SAAR

Os autores propõem o CLEANER, um framework que impulsiona o RL agêntico ao eliminar o contexto contaminado por erros diretamente durante a coleta de dados, em vez de depender de filtragem externa ou aumento de amostragem. O mecanismo central é o SAAR (Similarity-Aware Adaptive Rollback).

O Mecanismo SAAR

O SAAR opera durante a fase de rollout quando ocorre um erro de execução ( $o^-$ ). Em vez de registrar permanentemente a falha no histórico, o sistema inicia um processo de duas fases para construir uma trajetória "autopurificada":

Fase I: Gatilho de Erro e Correção de Antecipação (Lookahead)
- Ao detectar um erro, o estado atual é congelado.
- O modelo é estimulado com o contexto aumentado (incluindo o rastreio do erro) para gerar uma correção ( $c'_t$ ) e um rastro de raciocínio auxiliar ( $r'_{aux}$ ).
- Se a correção for bem-sucedida, o processo avança para a Fase II.
Fase II: Substituição Adaptativa Consciente de Similaridade
- O SAAR calcula a similaridade semântica entre o código errôneo ( $c_t$ ) e o código corrigido ( $c'_t$ ) usando uma função de similaridade (ex: difflib.SequenceMatcher).
- Caso A: Reparo de Implementação (Alta Similaridade): Se a similaridade estiver acima de um limiar $\gamma$ , o erro é considerado superficial (ex: erros de sintaxe). O sistema realiza uma substituição rasa, descartando a tupla de erro e enxertando o código corrigido diretamente no raciocínio original.
- Caso B: Reparo de Raciocínio (Baixa Similaridade): Se a similaridade for baixa, o erro indica uma falha lógica profunda. O sistema realiza uma substituição profunda, removendo todo o turno falho (raciocínio + código + erro) e substituindo-o pelo raciocínio auxiliar e pelo código corrigido para manter a coerência semântica.

Detalhes de Implementação

Recálculo de Logit: Para garantir que a atualização da política seja fundamentada no caminho causal correto, o sistema recalcula as probabilidades de log para as ações corrigidas sob o contexto purificado (não o contexto aumentado pelo erro). Isso é feito de forma eficiente usando RadixAttention (via SGLang) para reutilizar os caches de KV para prefixos de histórico invariantes.
Mistura de Currículo (Curriculum Mixing): Para equilibrar a prevenção de erros com a capacidade intrínseca do modelo de autocorreção, o pipeline de treinamento aplica o SAAR estocasticamente a 70% das trajetórias, mantendo 30% em seu estado original.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

Framework CLEANER: Uma abordagem inovadora para resolver o dilema da atribuição de crédito no RL agêntico através do treinamento em trajetórias autopurificadas, permitindo que os modelos internalizem padrões de raciocínio corretos enquanto filtram o ruído de execução.
Mecanismo SAAR: Um método autônomo para construir sinais limpos ao reparar falhas de forma adaptativa (de erros de sintaxe a falhas lógicas) sem o custo computacional da superamostragem.
Eficiência e Desempenho: Demonstra que o CLEANER alcança desempenho de estado da arte (SOTA) com eficiência significativamente maior, igualando-se a modelos SOTA enquanto requer apenas um terço dos passos de treinamento.
Reprodutibilidade: Fornecimento de um pipeline de treinamento totalmente reproduzível, incluindo código, configurações de ambiente e conjuntos de dados processados.

4. Resultados Experimentais

Os autores avaliaram o CLEANER nos benchmarks AIME24/25, GPQA e LiveCodeBench utilizando Qwen3-4B-Instruct e Qwen2.5-7B-Instruct como modelos base.

Ganhos de Desempenho: Comparado aos baselines, o CLEANER alcançou ganhos médios de precisão de:
- 6% no AIME (Pass@1).
- 3% no GPQA.
- 5% no LiveCodeBench.
Eficiência: O CLEANER igualou o desempenho do baseline SOTA DemyAgent-4B utilizando apenas um terço dos passos de treinamento (250 passos vs. 750 passos).
Supressão de Erros: As métricas de treinamento mostraram uma supressão consistente de chamadas de ferramentas errôneas, com uma correlação clara entre a redução nas taxas de falha de ferramentas e a melhoria nas taxas de aprovação (pass rates).
Estudos de Ablação:
- Necessidade de Ferramentas: A integração de um interpretador de código aumentou significativamente o desempenho (ex: +20% no Qwen2.5-7B para tarefas de matemática/codificação).
- Purificação de Trajetória: O mecanismo SAAR proporcionou ganhos consistentes em todos os benchmarks e escalas de modelos.
- Internalização: Quando o SAAR era desativado durante a inferência, a degradação de desempenho era negligenciável (ex: queda <1% no AIME24 Pass@1), confirmando que o modelo havia internalizado a lógica de prevenção de erros em vez de depender do mecanismo como um suporte (scaffold).
- Recuperação: Introduzir o CLEANER em um baseline subótimo e instável (no passo 200) estabilizou o treinamento e melhorou a precisão, embora não tenha atingido totalmente o desempenho de modelos treinados com SAAR desde o início.

5. Significância e Alegações

O artigo afirma que o CLEANER oferece uma solução escalável para o RL agêntico eficiente ao mudar o foco de "mais dados" (superamostragem) para "dados mais limpos" (purificação de trajetória).

Escalabilidade: Ao eliminar a necessidade de superamostragem dispendiosa, o método torna o RL agêntico de alta qualidade viável para ambientes com restrição de recursos.
Alinhamento do Sinal de Aprendizado: O método alinha os sinais de treinamento com o comportamento correto, evitando o reforço de loops de recuperação de erro e permitindo que os modelos internalizem padrões robustos de uso de ferramentas.
Generalização: Os resultados sugerem que modelos pequenos (4B), quando submetidos a um pós-treinamento personalizado com purificação de trajetória, podem alcançar capacidades comparáveis a modelos significativamente maiores (ex: 72B ou 671B) em tarefas de raciocínio agêntico.

Os autores concluem que a purificação de trajetória é uma alternativa crítica e escalável para avançar a eficiência e o desempenho de agentes de LLM aumentados por ferramentas.