Resumen Técnico: Envs-FORGE

Planteamiento del Problema

El aprendizaje por refuerzo (RL) para agentes terminales requiere entornos de entrenamiento ejecutables que proporcionen recompensas fiables y posean niveles de dificultad acordes con la política actual del agente. Los enfoques existentes suelen depender de recetas de prompting fijas (por ejemplo, few-shot, Self-Instruct, Evol-Instruct) que aplican una estrategia de transformación uniforme a cada tarea semilla. Esta política de "talla única" no tiene en cuenta el estado específico del agente; una semilla que es demasiado fácil genera señales de entrenamiento débiles, mientras que una que es demasiado difícil no proporciona ninguna señal de aprendizaje. Además, las recetas fijas no pueden ajustar dinámicamente la trayectoria de dificultad (por ejemplo, creando tareas puente para semillas que actualmente están más allá de la capacidad del agente) ni equilibrar eficazmente la cobertura de habilidades. El desafío central es determinar, para una semilla y política dadas, qué acción de síntesis específica colocará el entorno resultante cerca de la "frontera de aprendizaje".

Metodología: Envs-FORGE

Envs-FORGE (Frontier-Optimized Reward-Grounded Environment Synthesis) replantea la síntesis de entornos como un problema de selección de acciones basado en recompensas. En lugar de un único prompt fijo, el método emplea un pipeline dinámico que consta de cuatro etapas clave:

1. Calificación de Candidatos Consciente de la Frontera

El sistema primero estima la tasa de éxito ($\hat{p}_i$) de una tarea semilla utilizando recompensas de verificadores de los rollouts del agente actual. Luego, genera seis acciones candidatas para cada semilla combinando:

• Proyecciones: Incrementar (añadir restricciones/complejidad), Reducir (simplificar para tareas puente) y Diversificar (cambiar elementos fijos/requisitos manteniendo la dificultad).
• Direcciones de Evolución: En profundidad (profundizar en las habilidades existentes) e En amplitud (expandirse a habilidades relacionadas).

Los candidatos se califican mediante una "puntuación de frontera" ($F_{i,a,d}$), que es una función gaussiana centrada en una tasa de éxito objetivo ($\tau=0.5$). Esta puntuación estima qué tan cerca está la dificultad proyectada de un candidato de la frontera de aprendizaje óptima.

2. Selección de Acción mediante MILP por Semilla

Para cada semilla, un Programa Lineal Entero Mixto (MILP) selecciona la acción óptima. La función objetivo maximiza la puntuación de frontera mientras penaliza la activación de nodos de habilidades opcionales y los objetivos de cobertura no cumplidos.

• Variables de Decisión: Variables binarias seleccionan una proyección y una dirección por semilla.
• Restricciones: El MILP garantiza que se elija exactamente una acción por semilla y asegura la consistencia entre la acción seleccionada y los nodos de habilidades requeridos u opcionales.
• Mapeo de Baselines: Las recetas fijas se representan como máscaras restringidas dentro de este espacio de acciones (por ejemplo, Few-shot se aproxima como diversificar + en profundidad; Self-Instruct como diversificar + en amplitud).

3. Reescritura Sincronizada del Entorno

Una vez seleccionada una acción, un modelo de síntesis reescribe conjuntamente todo el paquete del entorno: la instrucción, los elementos fijos, la solución oracle, la suite de pruebas y el entorno Docker. Esto asegura que la tarea siga siendo ejecutable y consistente. El prompt prohíbe explícitamente las ediciones solo de la instrucción o los requisitos de prueba ocultos.

4. Verificación Gold

Los entornos generados se someten a comprobaciones estáticas (esquema, seguridad de rutas, aislamiento de Docker) y verificación gold. Un entorno se acepta en el pool de entrenamiento solo si la solución oracle obtiene una recompensa de 1 bajo las pruebas generadas. Esto asegura que solo se utilicen tareas ejecutables, calificables y consistentes para el entrenamiento de RL.

Contribuciones Clave

1. Replanteamiento de la Síntesis: El artículo redefine la síntesis de entornos de agentes como un proceso de selección de acciones basado en recompensas sobre semillas verificadas, definiendo explícitamente proyecciones (incrementar, reducir, diversificar) y direcciones de evolución (en profundidad, en amplitud).
2. Formulación MILP: Formula la selección de proyección y dirección como un programa entero mixto por tarea. Esto permite la representación de recetas de síntesis fijas como máscaras de acción restringidas y permite la planificación opcional de cobertura de habilidades blandas.
3. Reescritura y Verificación Sincronizada: El método acopla la decisión de selección con la reescritura conjunta de todos los artefactos del entorno, seguida de una estricta verificación gold, asegurando que solo tareas de alta calidad y ejecutables entren en el bucle de RL.

Resultados Experimentales

El método fue evaluado utilizando modelos Qwen 3.5 (de 4B a 35B) entrenados con Optimización de Política Relativa de Grupo (GRPO). Todos los métodos de síntesis fueron restringidos para exportar exactamente 100 entornos verificados como gold para asegurar una comparación justa del rendimiento downstream y el uso de recursos de síntesis.

• Ganancias de Rendimiento: En el benchmark tb-core, Envs-FORGE logró un Pass@1 del 49.2%, una mejora de 9.2 puntos porcentuales sobre el modelo Base (40.0%) y una mejora de 2.4 puntos sobre el baseline de receta fija más fuerte (Evol-Instruct, 46.8%). En tb-2.0, alcanzó el 29.4% (6.4 puntos sobre Base; 2.1 puntos sobre Self-Instruct).
• SWE-bench Verified: Envs-FORGE logró un 77.1%, superando al modelo Base (73.4%) y a todos los baselines fijos.
• Escalabilidad del Modelo: Las mejoras fueron consistentes en todos los tamaños de modelo, con ganancias que oscilaron entre +6.8 puntos (4B) y +9.2 puntos (35B) en tb-core.
• Eficiencia de Recursos: Todos los métodos operaron dentro de un presupuesto de tokens de síntesis comparable (2.27M–2.88M tokens) y generaron un número similar de directorios de tareas (194–210). Envs-FORGE requirió más intentos (291) pero utilizó intentos más cortos en promedio, demostrando que la ganancia de rendimiento proviene de una mejor selección de tareas y no de un mayor aumento de la escala computacional.

Significado y Reivindicaciones

El artículo sostiene que la lección principal de este trabajo es que la síntesis de entornos para el RL de agentes debe decidir cómo debe moverse cada semilla con respecto a la política actual antes de pedirle a un LLM que la reescriba.

Al alejarse de las recetas de prompting fijas hacia un proceso de selección consciente de la frontera y basado en recompensas, Envs-FORGE asegura que las tareas de entrenamiento no sean ni demasiado fáciles ni demasiado difíciles, sino que estén posicionadas en la frontera de aprendizaje donde proporcionan la señal de entrenamiento más efectiva. Los autores enfatizan que este enfoque produce un rendimiento downstream superior sin aumentar el tamaño del conjunto de entrenamiento downstream ni la escala operativa general de la síntesis. El método proporciona un marco estructurado e inspeccionable para generar datos de entrenamiento de alta calidad para agentes terminales.