💬 NLP

Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL

Envs-FORGE é uma nova política de prompting que otimiza dinamicamente a síntese de ambientes para aprendizado por reforço ao converter recompensas de verificadores em ações por semente via programação linear inteira mista, gerando assim ambientes de treinamento personalizados que melhoram significativamente o desempenho de agentes através de vários benchmarks em comparação com baselines de receita fixa.

Autores originais: Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Zhichao Shi, Hao Zhou, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

Publicado 2026-08-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Zhichao Shi, Hao Zhou, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a consertar um computador ou a escrever um código. Você não pode simplesmente entregar a ele um manual; ele precisa praticar fazendo. Este é o mundo do Aprendizado por Reforço (Reinforcement Learning - RL), onde um agente de IA aprende tentando coisas, cometendo erros e recebendo uma "recompensa" (como uma pontuação alta) quando tem sucesso. Mas aqui está o detalhe: para o robô melhorar, os problemas de prática que ele resolve precisam estar no nível certo. Se os problemas forem fáceis demais, o robô fica entediado e não aprende nada de novo. Se forem difíceis demais, ele fica frustrado e desiste. O ponto ideal é chamado de "fronteira de aprendizado" — a borda do que o robô é capaz de fazer atualmente, onde um pouco de desafio ajuda seu crescimento.

Por muito tempo, cientistas tentaram criar esses problemas de prática automaticamente usando Grandes Modelos de Linguagem (LLMs), que são os cérebros de IA superinteligentes por trás dos chatbots. Eles usavam receitas simples e fixas para gerar tarefas, como um chef usando exatamente a mesma receita para cozinhar todas as refeições, independentemente de o cliente ser uma criança ou um gourmet. Este artigo apresenta uma maneira nova e mais inteligente de preparar esses problemas de prática. Chama-se Envs-FORGE. Em vez de usar uma receita única para todos, este novo método age como um personal trainer que observa a força atual do robô, descobre exatamente quão difícil deve ser o próximo desafio e, então, constrói um exercício único para ele. O objetivo é garantir que cada tarefa de prática seja perfeitamente ajustada para empurrar o robô um pouco além do que ele conseguia ir antes.

O Problema das Receitas "Tamanho Único"

No passado, quando pesquisadores queriam criar novas tarefas de treinamento para esses agentes de IA, eles dependiam de estratégias fixas. Imagine um professor que tem uma única folha de exercícios e decide apenas "torná-la um pouco mais difícil" para todos os alunos, não importa quem sejam. Para um aluno que já gabaritou o teste, essa nova folha pode ainda ser muito fácil. Para um aluno que estava com dificuldades, pode ser imposs oível.

O artigo argumenta que esses métodos fixos — como "Self-Instruct" ou "Evol-Instruct" — são como esse professor rígido. Eles aplicam a mesma lógica para cada ideia inicial (ou "semente") sem verificar se a IA está pronta para ela. Eles podem tornar uma tarefa mais difícil quando ela deveria ter sido facilitada, ou podem mudar o tópico inteiramente quando a IA só precisava praticar uma habilidade específica de forma mais profunda. Isso desperdiça tempo e resulta em dados de treinamento que não são muito úteis.

Enters Envs-FORGE: O Personal Trainer Inteligente

Os autores deste artigo apresentam o Envs-FORGE (Frontier-Optimized Reward-Grounded Environment Synthesis). Pense nisso como um sistema inteligente que não apenas adivinha o que fazer a seguir; ele calcula.

Veja como funciona, passo a passo:

O Check-up: Primeiro, o sistema analisa uma tarefa inicial e pede ao agente de IA atual para tentar resolvê-la. Ele conta com que frequência o agente tem sucesso. Isso lhe dá uma "taxa de aprovação", que é como um boletim mostrando o quão fácil ou difícil a tarefa é para aquele robô específico agora.
A Reunião de Estratégia: Com base nesse boletim, o sistema considera seis maneiras diferentes de alterar a tarefa. Ele pode escolher:
- Aumentar a dificuldade (adicionar mais restrições ou casos extremos).
- Reduzir a dificuldade (simplificar se o robô estiver travado).
- Diversificar a tarefa (mudar o contexto, mas manter a dificuldade semelhante).
- E para cada uma dessas, ele pode ir em profundidade (aprofundando-se no mesmo tópico) ou em amplitude (explorando um tópico relacionado mais amplo).
A Magia Matemática (MILP): O sistema usa um tipo especial de enigma matemático chamado "Programação Linear Inteira Mista" (MILP) para escolher a única melhor combinação de mudanças para aquela tarefa específica. É como um treinador olhando as estatísticas de um jogador e decidindo: "Ok, para este jogador, precisamos aumentar a dificuldade em profundidade para atingir a zona perfeita de aprendizado".
A Construção: Uma vez escolhida a melhor estratégia, o sistema reescreve todo o pacote da tarefa. Ele não apenas muda a pergunta; ele atualiza as instruções, os dados, a solução, os testes e até o ambiente de computação (como um contêiner Docker) para garantir que tudo ainda funcione em conjunto.
O Check do Padrão de Ouro: Antes que a nova tarefa seja permitida na academia de treinamento, ela passa por um "Verificador de Ouro" rigoroso. Este é um teste superestrito para garantir que a nova tarefa seja executável, consistente e realmente solucionável. Se falhar, ela é descartada. Apenas as perfeitas passam.

O Que Eles Descobriram

Os pesquisadores testaram este novo método em um modelo de IA poderoso chamado Qwen 3.5 35B. Eles compararam o Envs-FORGE com as antigas receitas fixas (Few-shot, Self-Instruct e Evol-Instruct) e um modelo de base sem treinamento adicional.

Os resultados foram claros: o Envs-FORGE venceu.

No benchmark tb-core, o modelo base marcou 40,0%. A melhor receita fixa obteve 46,8%, mas o Envs-FORGE disparou para 49,2%. Isso é uma melhoria de 9,2 pontos percentuais sobre o ponto de partida.
No tb-2.0, o modelo base marcou 23,0%, enquanto o Envs-FORGE alcançou 29,4%, um salto de 6,4 pontos percentuais.
Mesmo em um teste de mundo real muito difícil chamado SWE-bench Verified, o Envs-FORGE alcançou 77,1%, superando os 73,4% do modelo base.

Crucialmente, o artigo mostra que isso não ocorreu porque o Envs-FORGE usou mais poder computacional ou gerou mais dados. Todos os métodos geraram exatamente 100 ambientes verificados para treinamento. A diferença foi puramente em como eles escolheram quais seriam essas 100 tarefas. O Envs-FORGE simplesmente escolheu tarefas melhores.

Por Que Isso Importa

A principal lição deste artigo é que a maneira como criamos dados de treinamento importa tanto quanto os próprios dados. Ao abandonar o uso de receitas rígidas de tamanho único e, em vez disso, usar uma abordagem inteligente orientada por dados para adaptar cada tarefa ao nível de habilidade atual da IA, podemos ajudar esses agentes a aprender de forma mais rápida e melhor.

Os autores sugerem que essa abordagem "consciente da fronteira" — checando constantemente onde o agente está e ajustando o desafio para mantê-lo na borda de suas capacidades — é a chave para construir agentes de terminal mais capazes, que possam lidar com tarefas complexas de engenharia de software e administração de sistemas. Embora o estudo tenha focado em benchmarks e tamanhos de modelos específicos, os resultados indicam fortemente que este método de "síntese inteligente" é um passo significativo à frente no ensino de IA para aprender.

Resumo Técnico: Envs-FORGE

Declaração do Problema

O aprendizado por reforço (RL) para agentes terminais requer ambientes de treinamento executáveis que forneçam recompensas confiáveis e possuam níveis de dificuldade compatíveis com a política atual do agente. As abordagens existentes dependem frequentemente de receitas de prompting fixas (ex: few-shot, Self-Instruct, Evol-Instruct) que aplicam uma estratégia de transformação uniforme para cada tarefa semente. Essa política de "tamanho único" falha em considerar o estado específico do agente; uma semente fácil demais gera sinais de treinamento fracos, enquanto uma difícil demais não fornece sinal de aprendizado. Além disso, receitas fixas não podem ajustar dinamicamente a trajetória de dificuldade (ex: criar tarefas de ponte para sementes que estão além da capacidade atual do agente) ou equilibrar efetivamente a cobertura de habilidades. O desafio central é determinar, para uma determinada semente e política atual, qual ação de síntese específica colocará o ambiente resultante próximo à "fronteira de aprendizado".

Metodologia: Envs-FORGE

Envs-FORGE (Frontier-Optimized Reward-Grounded Environment Synthesis) reformula a síntese de ambiente como um problema de seleção de ação fundamentado em recompensa. Em vez de um único prompt fixo, o método emprega um pipeline dinâmico consistindo em quatro estágios principais:

1. Pontuação de Candidatos Consciente da Fronteira

O sistema primeiro estima a taxa de aprovação ( $\hat{p}_i$ ) de uma tarefa semente usando recompensas de verificadores das execuções (rollouts) do agente atual. Ele então gera seis ações candidatas para cada semente combinando:

Projeções: Aumentar (adicionar restrições/complexidade), Reduzir (simplificar para tarefas de ponte) e Diversificar (mudar elementos/requisitos mantendo a dificuldade).
Direções de Evolução: Em profundidade (aprofundar habilidades existentes) e Em amplitude (expandir para habilidades relacionadas).

Os candidatos são pontuados com base em uma "pontuação de fronteira" ( $F_{i,a,d}$ ), que é uma função Gaussiana centrada em uma taxa de aprovação alvo ( $\tau=0.5$ ). Esta pontuação estima o quão próxima a dificuldade projetada de um candidato está da fronteira de aprendizado ideal.

2. Seleção de Ação via MILP por Semente

Para cada semente, um Programa Linear Inteiro Misto (MILP) seleciona a ação ideal. A função objetivo maximiza a pontuação de fronteira enquanto penaliza a ativação de nós de habilidades opcionais e alvos de cobertura não atendidos.

Variáveis de Decisão: Variáveis binárias selecionam uma projeção e uma direção por semente.
Restrições: O MILP garante que exatamente uma ação seja escolhida por semente e assegura a consistência entre a ação selecionada e os nós de habilidades exigidos/opcionais.
Mapeamento de Baseline: Receitas fixas são representadas como máscaras restritas dentro deste espaço de ação (ex: Few-shot é aproximado como diversificar + em profundidade; Self-Instruct como diversificar + em amplitude).

3. Reescrita Sincronizada de Ambiente

Uma vez selecionada uma ação, um modelo de síntese reescreve conjuntamente todo o pacote do ambiente: a instrução, os elementos (fixtures), a solução oracle, o conjunto de testes e o ambiente Docker. Isso garante que a tarefa permaneça executável e consistente. O prompt proíbe explicitamente edições apenas na instrução ou requisitos de teste ocultos.

4. Verificação de Ouro (Gold Verification)

Ambientes gerados passam por verificações estáticas (esquema, segurança de caminho, isolamento Docker) e verificação de ouro. Um ambiente só é aceito no pool de treinamento se a solução oracle obtiver uma recompensa de 1 sob os testes gerados. Isso garante que apenas tarefas executáveis, passíveis de graduação e consistentes sejam usadas para o treinamento de RL.

Principais Contribuições

Síntese Reformulada: O artigo recastea a síntese de ambiente de agentes como um processo de seleção de ação fundamentado em recompensa sobre sementes verificadas, definindo explicitamente projeções (aumentar, reduzir, diversificar) e direções de evolução (em profundidade, em amplitude).
Formulação MILP: Formula a seleção de projeção e direção como um programa inteiro misto por tarefa. Isso permite a representação de receitas de síntese fixas como máscaras de ação restritas e possibilita o planejamento de cobertura de habilidades opcionais suaves.
Reescrita e Verificação Sincronizadas: O método acopla a decisão de seleção com a reescrita conjunta de todos os artefatos do ambiente, seguida de rigorosa verificação de ouro, garantindo que apenas tarefas de alta qualidade e executáveis entrem no loop de RL.

Resultados Experimentais

O método foi avaliado utilizando modelos Qwen 3.5 (4B a 35B) treinados com Group Relative Policy Optimization (GRPO). Todos os métodos de síntese foram restritos a exportar exatamente 100 ambientes verificados de ouro para garantir uma comparação justa do desempenho downstream e do uso de recursos de síntese.

Ganhos de Desempenho: No benchmark tb-core, o Envs-FORGE alcançou um Pass@1 de 49,2%, um aumento de 9,2 pontos percentuais sobre o modelo Base (40,0%) e um aumento de 2,4 pontos sobre o baseline de receita fixa mais forte (Evol-Instruct, 46,8%). No tb-2.0, atingiu 29,4% (6,4 pontos sobre o Base; 2,1 pontos sobre o Self-Instruct).
SWE-bench Verified: O Envs-FORGE alcançou 77,1%, superando o modelo Base (73,4%) e todos os baselines fixos.
Escalabilidade do Modelo: As melhorias foram consistentes entre os tamanhos dos modelos, com ganhos variando de +6,8 pontos (4B) a +9,2 pontos (35B) no tb-core.
Eficiência de Recursos: Todos os métodos operaram dentro de um orçamento de tokens de síntese comparável (2,27M–2,88M tokens) e geraram um número similar de diretórios de tarefas (194–210). O Envs-FORGE exigiu mais tentativas (291), mas utilizou tentativas mais curtas em média, demonstrando que o ganho de desempenho vem da melhor seleção de tarefas, e não do aumento da escala computacional.

Significância e Alegações

O artigo alega que a principal lição deste trabalho é que a síntese de ambiente para RL de agentes deve decidir como cada semente deve se mover em relação à política atual antes de pedir a um LLM para reescrevê-la.

Ao se afastar de receitas de prompting fixas em direção a um processo de seleção consciente da fronteira e fundamentado em recompensa, o Envs-FORGE garante que as tarefas de treinamento não sejam nem muito fáceis nem muito difíceis, mas sim posicionadas na fronteira de aprendizado, onde fornecem o sinal de treinamento mais eficaz. Os autores enfatizam que esta abordagem produz um desempenho downstream superior sem aumentar o tamanho do conjunto de dados de treinamento downstream ou a escala operacional geral do processo de síntese. O método fornece um framework estruturado e inspecionável para gerar dados de treinamento de alta qualidade para agentes terminais.