💬 NLP

OpenForgeRL: Train Harness-native Agents in Any Environment

OpenForgeRL es un marco de código abierto que permite el entrenamiento de extremo a extremo de agentes de IA nativos de arnés en diversos entornos mediante el desacoplamiento de la inferencia del entrenamiento a través de un proxy ligero y un orquestador de Kubernetes, logrando un rendimiento de vanguardia en complejos bancos de pruebas de herramientas y GUI al tiempo que proporciona información sobre cómo las elecciones del arnés y el aprendizaje por refuerzo moldean el comportamiento del agente.

Autores originales: Xiao Yu, Baolin Peng, Ruize Xu, Hao Zou, Qianhui Wu, Hao Cheng, Wenlin Yao, Nikhil Singh, Zhou Yu, Jianfeng Gao

Publicado 2026-08-10

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiao Yu, Baolin Peng, Ruize Xu, Hao Zou, Qianhui Wu, Hao Cheng, Wenlin Yao, Nikhil Singh, Zhou Yu, Jianfeng Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo responden preguntas, sino que realmente hacen cosas por ti. Pueden escribir código, reservar vuelos o organizar tus archivos digitales. Para que esto suceda, los científicos han construido "agentes de IA": programas inteligentes que pueden pensar, planificar y usar herramientas. Pero aquí está la parte difícil: estos agentes no trabajan en el vacío. Necesitan un "harness" (arnés o soporte), que es como una sala de control compleja o una cabina especializada. Este harness gestiona la memoria del agente, lo conecta a internet y le ayuda a usar herramientas como una calculadora o un navegador web. Piensa en el harness como el asiento del piloto y en el agente como el piloto; no puedes simplemente entrenar a un piloto en un videojuego y esperar que vuele un 747 real. El avión real tiene botones específicos, protocolos de emergencia y una disposición de cabina que el videojuego nunca mostró.

Durante mucho tiempo, hubo un gran problema: los "videojuegos" (entornos de entrenamiento simples) no coincidían con los "aviones reales" (los harnesses complejos utilizados en el mundo real). Los investigadores podían entrenar agentes fácilmente, pero cuando los ponían en los harnesses reales y desordenados, los agentes se confundían o fallaban. Este artículo, titulado "OpenForge RL", aborda precisamente ese desajuste. Introduce una nueva forma de entrenar a estos pilotos digitales directamente dentro de las cabinas reales en las que eventualmente volarán, utilizando un sistema que les permite practicar en miles de "aviones" diferentes al mismo tiempo sin colapsar toda la instalación de entrenamiento.

El Problema: Entrenar en un Videojuego vs. Volar el Avión Real

Imagina que estás tratando de enseñarle a un robot a reparar un coche. Si lo entrenas en un videoj juego simple donde el motor es solo un botón rojo y la llanta es un cuadrado azul, el robot aprende a presionar lo rojo y agarrar lo azul. Pero cuando pones a ese robot en un garaje real con un motor real, una llanta real y un millón de otras herramientas, se queda paralizado. No sabe cómo manejar la complejidad real.

Esto es lo que ha estado sucedendo con los agentes de IA. Los agentes modernos son potentes, pero dependen de "harnesses" sofisticados (como Claude Code o Codex) para gestionar sus pensamientos y herramientas. Estos harnesses son como la cabina real: tienen memoria con estado (recordando lo que pasó cinco pasos atrás), flujos de trabajo de procesos múltiples (ejecutando varias cosas a la vez) y conexiones de herramientas complejas. Sin embargo, las formas estándar en que los investigadores entrenan a la IA (usando Aprendizaje por Refuerzo) generalmente asumen un entorno simple y plano. Intentan entrenar al agente en una versión simplificada del harness, lo que crea un "desajuste entre entrenamiento y despliegue". Es como entrenar a un piloto en un simulador que no tiene los frenos de emergencia reales, y luego esperar que aterrice un avión real cuando los frenos fallan.

La Solución: OpenForge RL (El Garaje en la Nube)

Los autores de este artículo construyeron OpenForge RL, un marco que actúa como un enorme garaje basado en la nube. En lugar de intentar forzar el harness real y complejo dentro de una caja de entrenamiento simple, OpenForge RL hace lo contrario: toma la caja de entrenamiento y la envía al harness real.

Así es como funciona, usando una analogía lúdica:

Los Pods Remotos (El Garaje en la Nube): Imagina que tienes una flota de pequeños garajes autónomos en la nube. Cada garaje es un contenedor que alberga un "harness" específico (como un modelo de coche específico). OpenForge RL utiliza un "orquestador Kubernetes" (piensa en él como un gerente de garaje súper eficiente) para levantar miles de estos garajes remotos instantáneamente.
El Proxy (El Espejo de Doble Vía): Dentro de cada garaje, el agente de IA intenta resolver una tarea. Un "proxy ligero" actúa como un espejo de doble vía. Permite que el agente hable con el harness real y el entorno real (como una computadora real o un navegador web), pero registra secretamente cada movimiento, pensamiento y clic de herramienta.
El Bucle de Entrenamiento: El proxy envía estos "registros de vuelo" grabados de vuelta al cerebro de entrenamiento principal (que utiliza herramientas estándar como veRL). El cerebro aprende de estos registros del mundo real, actualiza el cerebro del agente y envía la nueva versión de vuelta a los garajes remotos para intentarlo de nuevo.

La magia es que el entrenamiento ocurre dentro del harness real, en el entorno real, pero el trabajo pesado de gestionar todos esos entornos diferentes es manejado por la nube. Esto significa que los investigadores pueden entrenar agentes en "ZeroClaw", "OpenClaw", "Codex" o incluso agentes de GUI visual (agentes que usan ratón y teclado) todos a la vez, sin necesidad de reescribir su código de entrenamiento para cada nueva herramienta.

Lo Que Encontraron: El Entrenamiento Real Funciona Mejor

El equipo probó este sistema con dos tipos de agentes: Agentes Claw (que usan texto y herramientas para hacer cosas como buscar correos electrónicos o gestionar archivos) y Agentes GUI (que miran una pantalla y usan un ratón para hacer clic en botones en un navegador web o computadora).

Entrenaron estos agentes usando solo unos pocos cientos a unos pocos miles de tareas—mucho menos que algunos modelos masivos que usan millones. Los resultados fueron impresionantes:

Para Agentes Claw: Su modelo, OpenForge-Claw, obtuvo una puntuación de 31.7 (pass@3) en el benchmark ClawEval y 33.7 en QwenClawBench. Esto fue significativamente mejor que otros modelos de código abierto de un tamaño similar (alrededor de 30 mil millones de parámetros). De hecho, funcionó mejor que algunos modelos que son varias veces más grandes.
Para Agentes GUI: Su modelo, OpenForge-GUI, alcanzó una puntuación de 37.7 en OSWorld-Verified, 63.0 en Online-Mind2Web y 72.3 en WebVoyager. Esto es importante porque las tareas de GUI son increíblemente difíciles; el agente tiene que "ver" la pantalla y determinar dónde hacer clic. OpenForge-GUI igualó o incluso superó a modelos que eran mucho más grandes y que habían sido entrenados con mucha más información.

La Lección del "Harness": No Todas las Cabinas Son Iguales

Uno de los descubrimientos más interesantes no fue solo que el entrenamiento funcionó, sino cómo diferentes harnesses afectaron el aprendizaje. Los autores probaron sus agentes en cuatro harnesses diferentes: ReACT (un bucle simple), ZeroClaw (ligero), OpenClaw y Codex (muy complejo).

Encontraron que algunos harnesses son mucho más difíciles de aprender que otros.

Los harnesses más simples y mejor alineados (como ZeroClaw) permitieron que los agentes aprendieran más rápido y funcionaran mejor.
Los harnesses más complejos (como Codex) fueron más difíciles de dominar. Los agentes tuvieron más dificultades y, aunque el Aprendizaje por Refuerzo (RL) ayudó, las ganancias fueron menores en comparación con los harnesses más simples.

Esto sugiere que el diseño de la "cabina" importa tanto como el entrenamiento del piloto. Un harness bien diseñado hace que el agente sea más inteligente y confiable.

Qué Enseñó Realmente el RL a los Agentes

Los autores también observaron de cerca qué aprendieron realmente los agentes cuando añadieron el Aprendizaje por Refuerzo (RL) sobre el entrenamiento básico (SFT). Descubrieron que el RL no solo los hizo "más inteligentes" en un sentido general; mejoró específicamente la fiabilidad:

Autoverificación: Los agentes comenzaron a verificar su propio trabajo. Por ejemplo, si creaban un archivo, era más probable que lo leyeran de nuevo para asegurarse de que fuera correcto.
Cobertura de Herramientas: Comenzaron a usar una variedad más amplia de herramientas en lugar de limitarse a una o dos que conocían bien.
Recuperación de Errores: Esta fue la parte complicada. Aunque el RL ayudó a los agentes a recuperarse de errores pequeños, la recuperación de errores siguió siendo débil. Incluso después del entrenamiento, si un agente cometía un error grande, a menudo no podía corregirlo y simplemente se rendía. Los autores sugieren que esta habilidad específica podría necesitar datos especiales o métodos de entrenamiento diferentes para dominarse.

La Conclusión

OpenForge RL demuestra que no es necesario simplificar el mundo real para entrenar agentes de IA. Al usar un sistema basado en la nube que desacopla el entrenamiento del entorno, se puede entrenar a los agentes directamente en los harnesses complejos y desordenados del mundo real que realmente utilizarán.

El artículo sugiere que este enfoque permite a los investigadores construir agentes que no solo sean más capaces, sino también más confiables en sus trabajos específicos. Aunque los agentes todavía tienen dificultades con la recuperación de errores complejos, la capacidad de entrenarlos en la "cabina real" en lugar de en un "videojuego" es un gran paso adelante. Esto significa que, en el futuro, podríamos ver agentes de IA que estén verdaderamente listos para trabajar junto a nosotros, no solo en simulaciones, sino en las herramientas digitales reales que usamos todos los días.

Resumen Técnico: OPENFORGE RL

Declaración del Problema

Los agentes de IA modernos dependen cada vez más de sofisticados arneses de inferencia (por ejemplo, Claude Code, Codex, OpenClaw) para gestionar el estado, el razonamiento multizona y la vinculación de contexto con sistemas externos. Si bien estos arneses aumentan significativamente el rendimiento de los agentes, crean una barrera crítica para la investigación de código abierto:

Desajuste Arquitectónico: Los stacks de entrenamiento de RL abiertos existentes (por ejemplo, veRL, Slime) asumen rollouts simples de un solo proceso. No pueden expresar nativamente la naturaleza de múltiples procesos y con estado de los arneses complejos que involucran llamadas a herramientas anidadas y subagentes.
Incompatibilidad de Infraestructura: Ejecutar arneses a escala requiere entornos dedicados y contenedorizados con recursos específicos de CPU/memoria que no pueden ubicarse en los mismos nodos de entrenamiento. La mayoría de los marcos abiertos asumen que los rollouts ocurren localmente dentro del entrenador, lo que impide el uso de entornos de despliegue del mundo real.
Brecha entre Entrenamiento y Despliegue: En consecuencia, la investigación abierta suele reimplementar arneses simplificados para el entrenamiento, creando un desajuste entre las condiciones de entrenamiento y el despliegue en el mundo real, lo que deja a los sistemas propietarios por delante de la investigación abierta.

Metodología: OPENFORGE RL

Para abordar estos desafíos, los autores presentan OPENFORGE RL, un marco de código abierto diseñado para entrenar agentes basados en arneses de extremo a extremo en cualquier entorno mediante el desacoplamiento del entrenamiento de la inferencia. El sistema consta de dos componentes ligeros principales:

Proxy Ligero y Reconstrucción de Trayectorias:
- Un servidor proxy envuelve al servidor de inferencia, interceptando todas las solicitudes de generación emitidas por los contenedores del harnes.
- Dirige estas solicitudes a motores de inferencia de RL estándar (por ejemplo, vLLM) y registra los pares de instrucción-respuesta.
- Al completar el rollout, el proxy recolecta la recompensa terminal y reconstruye la trayectoria completa como una muestra de entrenamiento estándar: $\tau = \{(s^H_0, a_0, r_0), \dots, (s^H_T, a_T, r_T)\}$ , donde $s^H$ representa la observación procesada por el harnes. Esto permite que cualquier harnes ejecute su propia inferencia arbitraria mientras alimenta bases de código de RL estándar como veRL.
Orquestador de Kubernetes:
- Siguiendo el diseño de Orchard (Peng et al., 2026), el marco utiliza un orquestador de Kubernetes para lanzar cada rollout como un contenedor remoto en proveedores de nube (por ejemplo, Microsoft Azure).
- Esto permite el escalado elástico a miles de entornos concurrentes sin sobrecargar los nodos de entrenamiento.
- Mecanismos de Robustez: Para manejar la falta de fiabilidad de los rollouts remotos, el sistema implementa tiempos de espera de tiempo de reloj (terminando trabajos que no responden en lugar de bloquear el lote) y estrategias de manejo de errores (descartando trayectorias que fallan debido a problemas de infraestructura en lugar de errores de política).
Pipeline de Síntesis de Datos:
- Reconociendo la escasez de tareas listas para RL en dominios que no son de codificación (por ejemplo, GUI, uso diario de herramientas), los autores construyeron un pipeline para sintetizar tareas de SFT y RL.
- El pipeline imita la curación humana: los agentes proponen candidatos de tareas basados en activos de referencia, eliminan duplicados de baja calidad, construyen entornos Docker ejecutables con verificadores e iteran la refinación de las tareas hasta que pasan las comprobaciones de extremo a extremo.

Contribuciones Clave

Infraestructura Escalable: OPENFORGE RL es el primer marco que empareja de manera flexible cualquier harnes de inferencia con cualquier entorno, conectando ecosistemas de arneses reales y sandboxes remotos con potentes bases de código de RL sin el desajuste entre entrenamiento y despliegue.
Estudio Empírico Exhaustivo: Los autores entrenaron y evaluaron agentes en diversos entornos:
- Agentes Claw (Texto/Uso de herramientas): Entrenados en ReACT, ZeroClaw, OpenClaw y Codex.
- Agentes GUI (Uso de Computadora/Navegador): Entrenados en harnesses modificados de Kimi-Agent y Molmo-Web.
Análisis de Comportamiento: Gracias al entrenamiento en arneses de despliegue reales, el estudio analiza cómo la elección del harnes y el RL moldean el comportamiento del agente, una pregunta que anteriormente era difícil de abordar para la investigación abierta.

Resultados Experimentales

El marco fue validado en seis benchmarks a través de los dominios de uso de herramientas y GUI.

Agentes Claw (OpenForge-Claw, 30B-A3B MoE):

ClawEval: Alcanzó 31.7 (pass@3) y 55.9 (pass@3). Nota: El artículo reporta 31.7 como la puntuación pass@3 y 55.9 como la puntuación pass@3 para OpenForge-Claw, mientras que el baseline Qwen3-32B alcanzó 31.7 en pass@1.
QwenClawBench: Alcanzó 33.7 (pass@1).
MCPAtlas: Alcanzó 28.1 (pass@1).
Observación: El entrenamiento de RL (SFT+RL) proporcionó ganancias significativas sobre SFT por sí solo, particularmente en robustez y tasas de éxito promedio.

Agentes GUI (OpenForge-GUI, 8B):

OSWorld-Verified: 37.7 (pass@1).
Online-Mind2Web: 63.0 (pass@1).
WebVoyager: 72.3 (pass@1).
Comparación: A pesar de usar solo ~2.5k tareas (comparado con 200k+ para MolmoWeb), OpenForge-GUI superó a modelos especializados de tamaño similar (OpenCUA, UI-TARS) y igualó o superó a modelos varias veces más grandes.

Análisis de la Elección del Harnes e Impacto del RL

El artículo proporciona información específica sobre cómo los harnes y el RL afectan el comportamiento del agente:

Dificultad del Harnes: Los harnes más simples y mejor alineados (por ejemplo, ReACT, ZeroClaw) son más fáciles de aprender y producen un mayor rendimiento que los harnes de ciclo cerrado más complejos (por ejemplo, Codex), que requieren más contexto y muestran menores ganancias de RL.
Generalización: Entrenar en un solo harnes se generaliza a harnes no vistos, pero entrenar en múltiples harnes simultáneamente produce el mejor rendimiento entre diferentes harnes.
Capacidades de RL: El RL mejora significamente la fiabilidad de los agentes, incluyendo:
- Autoverificación: Los agentes tienen más probabilidades de volver a leer sus propias escrituras para confirmar acciones.
- Cobertura de Herramientas: Los agentes utilizan un conjunto más amplio de herramientas requeridas en lugar de recurrir a shells genéricos.
- Recuperación de Errores: Aunque el RL mejora la capacidad de recuperación de algunos errores, esta capacidad sigue siendo débil incluso después del entrenamiento, lo que sugiere que puede requerir datos o métodos dedicados más allá del RL estándar.

Significado

Los autores afirman que OPENFORGE RL reduce la barrera para entrenar y estudiar agentes en los mismos harnes y entornos donde se despliegan. Al permitir el entrenamiento de extremo a extremo con infraestructura del mundo real, el marco permite a los investigadores ir más allá de las simulaciones simplificadas e investigar directamente cómo las arquitecturas de inferencia y el aprendizaje por refuerzo interactúan para moldear las capacidades de los agentes. La publicación del código, los datos y los modelos tiene como objetivo democratizar el acceso al entrenamiento de agentes nativos de harnes.