Résumé Technique : Uno-Orchestra

Énoncé du Problème

Les systèmes multi-agents actuels basés sur les grands modèles de langage (LLM) reposent généralement sur des schémas d'orchestration rigides qui échouent à optimiser conjointement la décomposition des tâches, la sélection des travailleurs et le budget d'inférence. Les approches existantes relèvent généralement de deux filières parallèles mais limitées :

1. Routage de Modèles : Des routeurs à appel unique acheminent une requête entière vers un seul modèle expert. Cette approche manque la structure parallèle des tâches complexes et ne peut pas échanger la profondeur de décomposition contre le budget d'exécution.
2. Orchestration Hiérarchique : Des planificateurs décomposent les tâches en sous-agents, mais l'affectation des sous-tâches à des exécuteurs spécifiques est souvent conçue à la main, pilotée par des invites (prompts) ou liée à un seul modèle propriétaire de pointe.

Par conséquent, les deux décisions critiques — si et comment décomposer profondément une tâche et quel expert acheminer chaque sous-tâche — ne sont pas optimisées sous un objectif unifié. Cela entraîne des inefficacités où des requêtes simples sont sur-orchestrées, ou des tâches complexes sont acheminées vers des modèles sous-optimaux.

Méthodologie : Uno-Orchestra

Les auteurs introduisent UNO-ORCHESTRA, une politique d'orchestration unifiée qui traite la délégation sélective comme une seule tâche de modèle de langage (LM) causal. Le système apprend à émettre conjointement un plan de décomposition de tâche et une décision d'acheminement spécifique (modèle, primitive) pour chaque sous-tâche au cours d'un seul tour d'assistant.

Architecture Principale

• Politique Unifiée : Au lieu de modules planificateur et répartiteur séparés, un seul socle LM causal émet simultanément le graphe de décomposition et les paires d'acheminement.
• Espace d'Action : La politique sélectionne parmi un ensemble épars de paires admissibles $P \subseteq \mathcal{M} \times \mathcal{S}$, où $\mathcal{M}$ est un pool de modèles travailleurs hétérogènes et $\mathcal{S}$ est un vocabulaire fermé de « primitives » (actions atomiques telles que la réponse directe, le raisonnement par chaîne de pensée, l'appel d'outils ou l'exécution de code).
• Délégation Sélective : La politique peut réduire les requêtes simples à une seule réponse directe (coût de répartition nul) ou décomposer les requêtes complexes en un graphe orienté acyclique (DAG) de sous-tâches. Les sous-tâches indépendantes sont réparties en parallèle.

Pipeline d'Entraînement

La politique est entraînée en deux étapes utilisant des interactions réelles avec des travailleurs :

1. Affinement Supervisé (SFT) avec Portail de Vérificateur :

   • Un curriculum de 61 201 trajectoires distillées par un enseignant est construit à partir de 38 jeux de données publics.
   • Un mécanisme « à portail de vérificateur » filtre les trajectoires : les tâches résolues par un routeur à démarrage froid sont rejetées ; les tâches résolues par un orchestrateur enseignant puissant sont conservées pour le SFT ; les tâches où l'enseignant échoue sont réservées à l'apprentissage par renforcement (RL).
   • Crucialement, les sous-tâches de code et d'outils sont exécutées dans de véritables environnements isolés (sandboxes), garantissant que les observations sont des résultats d'exécution et non des traces simulées.

2. Agentic-GRPO (Apprentissage par Renforcement) :

   • La politique est affinée sur le « pool dur résiduel » (tâches où l'enseignant a échoué) en utilisant Agentic-GRPO, une extension multi-tours de l'optimisation de politique relative de groupe (GRPO).
   • Attribution de Crédit Intermédiaire : Contrairement au GRPO standard qui attribue une seule récompense à une trajectoire entière, Agentic-GRPO attribue le crédit à la granularité de chaque tour individuel. Il enrichit la récompense terminale avec des signaux de façonnage par tour bornés (par exemple, validité du schéma, indicateurs de réparation) pour résoudre le problème d'attribution de crédit à long horizon.
   • Objectif : Le contrôleur maximise une fonction d'utilité $J(\theta)$ qui équilibre la justesse (vérifiée par des vérificateurs spécifiques à la source) contre le coût au niveau des tokens, pénalisant les répartitions redondantes.

Contributions Clés

1. Délégation Sélective Unifiée : La formulation de la décomposition de tâche et de l'acheminement par sous-tâche comme une seule politique LM causal, éliminant les passages de contexte redondants entre modules séparés.
2. Agentic-GRPO : L'introduction d'un objectif d'apprentissage par renforcement adaptatif aux agents permettant une attribution de crédit structurée pour l'orchestration multi-tours, permettant au modèle d'apprendre quand réparer, décomposer ou agréger en fonction des observations intermédiaires.
3. Curriculum à Portail de Vérificateur : Un pipeline d'entraînement qui exploite l'exécution réelle dans des environnements isolés et une vérification stricte pour générer des trajectoires de haute qualité et conscientes des coûts, garantissant que la politique apprend à partir des résultats réels d'exécution.

Résultats Expérimentaux

Les auteurs ont évalué UNO-ORCHESTRA sur une suite de 13 benchmarks couvrant cinq domaines de capacités : raisonnement mathématique, ingénierie logicielle/code, récupération de connaissances, lecture en contexte long et utilisation d'outils par agents.

• Performance : UNO-ORCHESTRA a atteint un 77,0 % de macro pass@1, soit environ 16 % de plus que la meilleure référence de flux de travail (AgentOrchestra).
• Efficacité : Le système fonctionne à un coût par requête environ un ordre de grandeur inférieur (environ 0,10 $ contre 1,20 $ pour les références) tout en maintenant une précision supérieure.
• Frontière Coût-Précision : La méthode occupe un coin favorable du compromis précision-efficacité, surpassant à la fois les routeurs plats (qui ne peuvent pas décomposer) et les orchestrateurs hiérarchiques (qui ne peuvent pas s'abstenir de décomposer).
• Généralisation : Les gains de performance se maintiennent dans les régimes intra-domaine, proche-domaine et hors-domaine. Des études d'ablation confirment que les améliorations proviennent de la politique d'acheminement apprise plutôt que d'une dépendance à des modèles de pointe spécifiques, car le système surpasse les références même lorsqu'il est restreint à un pool « plus faible » de modèles à poids ouverts.

Signification et Revendications

L'article postule que la délégation sélective — la capacité à la fois de décomposer et de s'abstenir de décomposer sous un objectif unique — est un principe organisateur critique pour faire progresser les systèmes multi-agents conscients des coûts.

• Efficacité Structurelle : En réduisant la décomposition et la répartition à un seul socle partagé, Uno-Orchestra évite la surcharge de coordination inhérente aux systèmes modulaires.
• Adaptation Dynamique : Le système apprend à « s'abstenir » de décomposer pour les requêtes simples (se réduisant à un seul travailleur peu coûteux) tout en réservant l'orchestration multi-appels strictement aux tâches véritablement composites.
• Évolutivité : L'approche démontre qu'une haute précision ne nécessite pas de flux de travail monolithiques coûteux ; elle émerge plutôt d'un contrôleur appris qui alloue dynamiquement des ressources hétérogènes en fonction de la complexité de la tâche.

Les auteurs concluent que Uno-Orchestra fait progresser la frontière précision-efficacité, offrant un paradigme évolutif où le contrôleur alloue la capacité à la sélection du bon travailleur plutôt qu'à l'invocation simple de plus de travailleurs.