Resumen Técnico: Uno-Orchestra

Declaración del Problema

Los sistemas actuales de agentes múltiples basados en Modelos de Lenguaje de Gran Escala (LLM) suelen depender de patrones de orquestación rígidos que no logran optimizar conjuntamente la descomposición de tareas, la selección de trabajadores y el presupuesto de inferencia. Los enfoques existentes generalmente caen en dos hilos paralelos pero limitados:

1. Enrutamiento de Modelos: Los enrutadores de llamada única despachan una consulta completa a un único modelo experto. Este enfoque pasa por alto la estructura paralela de las tareas complejas y no puede intercambiar la profundidad de la descomposición contra el presupuesto de ejecución.
2. Orquestación Jerárquica: Los planificadores descomponen las tareas en sub-agentes, pero la asignación de subtareas a ejecutores específicos suele estar diseñada manualmente, impulsada por prompts o vinculada a un único modelo fronterizo propietario.

En consecuencia, las dos decisiones críticas —si/cuán profundamente descomponer una tarea y a qué experto enrutara cada subtarea— no se optimizan bajo un objetivo unificado. Esto conduce a ineficiencias donde consultas simples están sobre-orquestadas, o tareas complejas se enrutan a modelos subóptimos.

Metodología: Uno-Orchestra

Los autores introducen UNO-ORCHESTRA, una política de orquestación unificada que trata la delegación selectiva como una única tarea de modelo de lenguaje (LM) causal. El sistema aprende a emitir conjuntamente un plan de descomposición de tareas y una decisión de enrutamiento específica (modelo, primitiva) para cada subtarea dentro de una sola vuelta de asistente.

Arquitectura Central

• Política Unificada: En lugar de módulos separados de planificador y despachador, una única columna vertebral de LM causal emite el gráfico de descomposición y los pares de enrutamiento simultáneamente.
• Espacio de Acciones: La política selecciona de un conjunto disperso de pares admisibles $P \subseteq \mathcal{M} \times \mathcal{S}$, donde $\mathcal{M}$ es un grupo de modelos trabajadores heterogéneos y $\mathcal{S}$ es un vocabulario cerrado de "primitivas" (acciones atómicas como respuesta directa, razonamiento de cadena de pensamiento, invocación de herramientas o ejecución de código).
• Delegación Selectiva: La política puede colapsar consultas simples en una única respuesta directa (costo de despacho cero) o descomponer consultas complejas en un Grafo Acíclico Dirigido (DAG) de subtareas. Las subtareas independientes se despachan en paralelo.

Pipeline de Entrenamiento

La política se entrena en dos etapas utilizando interacciones reales de trabajadores:

1. Ajuste Fino Supervisado (SFT) con Puerta de Verificador:

   • Se construye un currículo de 61,201 trayectorias destiladas por maestros a partir de 38 conjuntos de datos públicos.
   • Un mecanismo de "puerta de verificador" filtra las trayectorias: las tareas resueltas por un enrutador de inicio en frío se descartan; las tareas resueltas por un orquestador maestro fuerte se retienen para SFT; las tareas donde el maestro falla se reservan para RL.
   • Crucialmente, las subtareas de código y herramientas se ejecutan en entornos de prueba (sandboxes) reales, asegurando que las observaciones sean salidas de tiempo de ejecución en lugar de trazas simuladas.

2. Agentic-GRPO (Aprendizaje por Refuerzo):

   • La política se refina en el "pool residual difícil" (tareas donde el maestro falló) utilizando Agentic-GRPO, una extensión de múltiples vueltas de la Optimización de Política Relativa de Grupo (GRPO).
   • Asignación de Crédito Intermedia: A diferencia del GRPO estándar que asigna una única recompensa a toda una trayectoria, Agentic-GRPO atribuye crédito a la granularidad de vueltas individuales. Augmenta la recompensa terminal con señales de conformación por vuelta acotadas (por ejemplo, validez de esquema, indicadores de reparación) para resolver el problema de asignación de crédito a largo plazo.
   • Objetivo: El controlador maximiza una función de utilidad $J(\theta)$ que equilibra la corrección (verificada por verificadores específicos de fuente) contra el costo a nivel de token, penalizando los despachos redundantes.

Contribuciones Clave

1. Delegación Selectiva Unificada: La formulación de la descomposición de tareas y el enrutamiento por subtarea como una única política de LM causal, eliminando los pasos de contexto redundantes entre módulos separados.
2. Agentic-GRPO: La introducción de un objetivo de RL adaptativo al agente que permite una asignación de crédito estructurada para la orquestación de múltiples vueltas, permitiendo que el modelo aprenda cuándo reparar, descomponer o agregar basándose en observaciones intermedias.
3. Currículo con Puerta de Verificador: Un pipeline de entrenamiento que aprovecha la ejecución en sandbox del mundo real y una verificación estricta para generar trayectorias de alta calidad y conscientes de los costos, asegurando que la política aprenda de los resultados reales de tiempo de ejecución.

Resultados Experimentales

Los autores evaluaron UNO-ORCHESTRA en una suite de 13 puntos de referencia que abarcan cinco dominios de capacidad: razonamiento matemático, ingeniería de código/software, recuperación de conocimiento, lectura de contexto largo y uso de herramientas de agente.

• Rendimiento: UNO-ORCHESTRA logró un 77.0% macro pass@1, aproximadamente 16% más alto que la línea base de flujo de trabajo más fuerte (AgentOrchestra).
• Eficiencia: El sistema opera con un costo por consulta aproximadamente un orden de magnitud menor (aprox. $0.10 vs. $1.20 para las líneas base) mientras mantiene una mayor precisión.
• Frontera Costo-Precisión: El método ocupa una esquina favorable del compromiso precisión-eficiencia, superando tanto a los enrutadores planos (que no pueden descomponer) como a los orquestadores jerárquicos (que no pueden abstenerse de la descomposición).
• Generalización: Las ganancias de rendimiento se mantienen en regímenes dentro del dominio, cercanos al dominio y fuera del dominio. Los estudios de ablación confirman que las mejoras provienen de la política de enrutamiento aprendida en lugar de la dependencia de modelos fronterizos específicos, ya que el sistema supera a las líneas base incluso cuando se restringe a un grupo "más débil" de modelos de peso abierto.

Significado y Afirmaciones

El artículo postula que la delegación selectiva —la capacidad de tanto descomponer como abstenerse de descomponer bajo un único objetivo— es un principio organizativo crítico para avanzar en sistemas de agentes múltiples conscientes de los costos.

• Eficiencia Estructural: Al colapsar la descomposición y el despacho en una única columna vertebral compartida, Uno-Orchestra evita la sobrecarga de coordinación inherente a los sistemas modulares.
• Adaptación Dinámica: El sistema aprende a "abstenerse" de la descomposición para consultas simples (colapsando a un único trabajador barato) mientras reserva la orquestación de múltiples llamadas estrictamente para tareas genuinamente compuestas.
• Escalabilidad: El enfoque demuestra que la alta precisión no requiere flujos de trabajo monolíticos costosos; más bien, emerge de un controlador aprendido que asigna dinámicamente recursos heterogéneos basándose en la complejidad de la tarea.

Los autores concluyen que Uno-Orchestra avanza la frontera precisión-eficiencia, ofreciendo un paradigma escalable donde el controlador asigna capacidad para seleccionar al trabajador correcto en lugar de simplemente invocar a más trabajadores.