Resumen Técnico: Orchard: Un Marco de Modelado Agente de Código Abierto

Declaración del Problema

El modelado agente tiene como objetivo transformar los Modelos de Lenguaje Grandes (LLM) en agentes autónomos capaces de planificar, razonar e interactuar con entornos externos para resolver tareas complejas. A pesar de la inversión significativa, la investigación abierta en este dominio enfrenta cuellos de botella críticos:

1. Restricciones de Infraestructura: La generación de trayectorias de entrenamiento requiere miles de entornos de arena (sandbox) aislados y concurrentes. Las soluciones existentes son o bien propietarias (limitando la reproducibilidad y el control de costos) o están estrechamente acopladas a pilas de entrenamiento específicas, lo que impide la reutilización de datos y recetas entre diferentes arneses de agentes o dominios.
2. Brechas de Entrenamiento: Los sistemas agenticos de alto rendimiento a menudo dependen de bases de código o modelos propietarios. Los marcos de código abierto se centran frecuentemente en la orquestación en lugar de mejorar las capacidades agenticas subyacentes de los LLM mediante un entrenamiento escalable y reproducible.
3. Limitaciones de Generalización: Los agentes entrenados con datos de un solo arnés o dominio único a menudo fallan al generalizar a interfaces de herramientas no vistas, distribuciones de tareas o puntos de referencia de evaluación.

Metodología: El Marco Orchard

Los autores presentan Orchard, un marco de código abierto diseñado para desacoplar la capa de entorno de la pila de entrenamiento de agentes. El marco consta de un componente de infraestructura central y tres recetas de entrenamiento instanciadas.

1. Orchard Env: Un Servicio de Entorno Ligero y Nativo de Kubernetes

En el núcleo de Orchard se encuentra Orchard Env, un servicio independiente diseñado para ser reutilizable en dominios de tareas, arneses de agentes y etapas de pipeline (destilación, RL, evaluación).

• Arquitectura: Sigue un diseño de tres capas: un SDK de cliente en Python, un Orquestador FastAPI que gestiona los ciclos de vida de los sandboxes en Kubernetes, y un Agente In-Pod ligero inyectado en cada contenedor sandbox en tiempo de ejecución.
• Decisiones Clave de Diseño:
  • Inyección de Agentes: En lugar de integrar agentes en imágenes Docker, Orchard Env inyecta un agente de ejecución en las imágenes proporcionadas por el usuario en tiempo de ejecución, soportando entornos heterogéneos sin reconstrucciones por imagen.
  • Enrutamiento Directo: Las solicitudes de ejecución y archivos se enrutan directamente a la IP del Pod sandbox, evitando la sobrecarga del servidor de API de Kubernetes y WebSocket, logrando una latencia promedio de ejecución de comandos de 0.28s.
  • Eficiencia de Costos: Al aprovechar primitivas estándar de Kubernetes (incluyendo instancias spot), Orchard Env reduce los costos de sandboxing en aproximadamente 10 veces en comparación con alternativas gestionadas como E2B o Daytona.
• Capacidades: Proporciona primitivas para la gestión del ciclo de vida del sandbox, ejecución de comandos, E/S de archivos, políticas de red y acceso a API REST, soportando entornos diversos (repositorios de código, navegadores web, escritorios).

2. Recetas de Modelado Agente

Construidas sobre Orchard Env, los autores desarrollan tres recetas de entrenamiento (SFT + RL) en diferentes dominios:

A. Orchard-SWE (Ingeniería de Software)

• Objetivo: Entrenar agentes para resolver problemas de GitHub.
• Datos: Destilación de 107K trayectorias de modelos de vanguardia (MiniMax-M2.5, Qwen3.5-397B) utilizando tanto los arneses OpenHands como mini-swe-agent.
• Innovaciones:
  • SFT de Asignación de Crédito: A diferencia de trabajos anteriores que descartan trayectorias fallidas, este método utiliza estimación de valor retrospectiva para identificar "segmentos de ascenso" (progreso productivo) en trayectorias no resueltas, convirtiéndolas en señales supervisadas.
  • Despliegue Adaptativo Equilibrado (BAR): Un método de asignación de despliegue en línea que ensambla adaptativamente grupos de entrenamiento con recompensas positivas/negativas equilibradas para evitar el desperdicio de cómputo en prompts fáciles/difíciles y reducir el ruido en los estimadores de ventaja relativos al grupo.
• Modelo: Qwen3-30B-A3B-Thinking (~3B parámetros activos).

B. Orchard-GUI (Navegación Web)

• Objetivo: Entrenar un agente visión-lenguaje para navegación web.
• Datos: Curado a partir de 15,601 tareas semilla (PAE-WebVoyager, InSTA-v3) con trayectorias de maestros de Qwen3-VL-235B.
• Innovaciones:
  • Arnés Genérico: Utiliza una interfaz estándar de llamada de herramientas estilo ReAct en lugar de un arnés de navegador personalizado para garantizar la generalización.
  • Eficiencia de Datos: Entrenado con solo 0.4K trayectorias destiladas para SFT y 2.2K tareas abiertas para RL, sin embargo, supera a modelos entrenados en cientos de miles de tareas.
• Modelo: Qwen3-VL-4B-Thinking.

C. Orchard-Claw (Asistente Personal)

• Objetivo: Entrenar agentes para flujos de trabajo de productividad (correo electrónico, calendario, uso de herramientas).
• Datos: 0.2K tareas sintetizadas de Claw-Eval y ClawHub, destiladas de MiniMax-M2.5.
• Innovaciones:
  • Entrenamiento Cruzado de Arnés: Entrenado tanto en arneses estilo ReAct como ZeroClaw para estudiar la transferibilidad.
  • RL de Extremo a Extremo: Utiliza recompensas fundamentadas en el entorno para refinar el comportamiento del agente más allá de la destilación del maestro.
• Modelo: Qwen3-30B-A3B-Thinking.

Resultados Clave

Rendimiento de Orchard-SWE

• Logró 67.5% en SWE-bench Verified (SFT + RL), estableciendo un nuevo estado del arte (SOTA) entre modelos de código abierto de tamaño comparable (~3B parámetros activos).
• Supera las líneas base de código abierto densas de 32B y 72B (por ejemplo, OpenSWE-72B en 66.0%) y se acerca a sistemas propietarios de vanguardia (MiniMax-M2.1 en 74.0%).
• Demostró una generalización cruzada de arnés superior: Mientras otros modelos colapsaron al evaluarse en arneses no vistos (por ejemplo, cayendo del 62.4% al 3.6%), Orchard-SWE mantuvo el rendimiento dentro de un rango estrecho (45.0%–64.3%) a través de OpenHands, mini-swe-agent y Kimi-CLI.

Rendimiento de Orchard-GUI

• Logró una tasa de éxito promedio de 68.4% en WebVoyager, Online-Mind2Web y DeepShop.
• Superó a los modelos de código abierto anteriores más fuertes (MolmoWeb-8B en 51.9%) e incluso superó a su propio modelo maestro de 235B en puntos de referencia de horizonte largo.
• Permaneció competitivo con sistemas propietarios (Gemini CUA en 69.3%) a pesar de utilizar un núcleo de 4B y datos de entrenamiento mínimos.

Rendimiento de Orchard-Claw

• Logró 59.6% de pass@3 en Claw-Eval con SFT+RL, superando significativamente a las líneas base del mismo tamaño.
• Mostró una mejora de +14.3% en pass@3 cuando se emparejó con el arnés avanzado ZeroClaw durante la inferencia, demostrando que el entrenamiento con el arnés objetivo mejora la capacidad del agente para aprovechar características avanzadas (subagentes, auto-compactación).

Significado y Afirmaciones

El artículo afirma que la capa de entorno es el sustrato fundamental que gobierna la reutilizabilidad de los artefactos de modelado agente. Al proporcionar un servicio de entorno delgado, abierto y agnóstico al arnés, Orchard permite:

1. Reutilizabilidad: Los datos de trayectorias, recetas SFT, despliegues RL y protocolos de evaluación pueden transferirse entre dominios (SWE, GUI, Asistente) y arneses sin reconstruir la infraestructura.
2. Escalabilidad y Costo: El marco hace que el entrenamiento agente a gran escala sea asequible (10 veces más barato que los servicios gestionados) y reproducible para la comunidad de código abierto.
3. Generalización: Desacoplar el entorno de la pila de entrenamiento permite que los modelos aprendan habilidades agnósticas al arnés, lo que conduce a un rendimiento robusto en herramientas y tareas no vistas.

Los autores liberan el marco completo de Orchard (servicio de entorno, recetas de entrenamiento y conjuntos de datos) para acelerar la investigación en modelado agente escalable, argumentando que el diseño de infraestructura es tan crítico como la innovación algorítmica para avanzar en los agentes de IA de código abierto.