Learning to Orchestrate Agents in Natural Language with the Conductor

Cette étude présente le Conductor, un modèle entraîné par apprentissage par renforcement pour orchestrer dynamiquement des agents LLM hétérogènes via des topologies de communication adaptatives et des instructions optimisées, atteignant ainsi des performances de pointe dans des tâches de raisonnement complexes.

L'essentiel

Imaginez que vous avez un orchestre complet de musiciens. Certains sont des virtuoses du violon (excellents en mathématiques), d'autres sont des maîtres du saxophone (géniaux en code), et d'autres encore sont des chefs d'orchestre naturels (très bons pour organiser).

Le problème ? Si vous leur donnez simplement une partition complexe, ils risquent de jouer chacun dans leur coin, de se tromper de tempo, ou de ne pas savoir qui doit jouer quand. Habituellement, c'est un humain (vous) qui doit passer des heures à leur dire : "Toi, joue la mélodie", "Toi, fais l'accompagnement", "Toi, vérifie si c'est juste". C'est lent et fatiguant.

C'est là qu'intervient le "Conductor" (le Chef d'Orchestre) décrit dans ce papier.

1. Le Chef d'Orchestre qui apprend tout seul

Les chercheurs ont créé un petit modèle d'intelligence artificielle (le "Conductor") qui ne sait pas faire de maths ou coder lui-même. Son seul travail est d'être le chef.

Au lieu de lui donner des règles fixes, ils lui ont appris par essai et erreur (comme un enfant qui apprend à jouer aux échecs en perdant des parties pour comprendre les stratégies). On lui a dit : "Si tu organises bien les musiciens et que la musique finale est parfaite, tu gagnes des points. Si c'est un chaos, tu en perds."

Très vite, ce petit chef a appris des choses surprenantes :

• Il sait qui appeler : Pour un problème de code, il ne demande pas à tout le monde de coder. Il demande au "violoniste" (un modèle fort en logique) de concevoir le plan, puis au "saxophoniste" (un modèle fort en écriture de code) de l'écrire.
• Il sait quoi dire : Il ne dit pas juste "Fais ça". Il écrit des instructions très précises et personnalisées pour chaque musicien, comme un metteur en scène qui donne des notes de jeu.
• Il sait quand se taire : Parfois, il réalise que la question est simple et qu'un seul musicien suffit. Il économise ainsi de l'énergie.

2. Une équipe qui vaut plus que la somme des parties

Le résultat est incroyable. Ce petit chef (qui est techniquement un modèle "petit" de 7 milliards de paramètres) arrive à faire travailler une équipe de géants (des modèles très puissants et coûteux comme GPT-5 ou Claude).

En les coordonnant parfaitement, l'équipe du Chef bat tous les records du monde, même ceux des modèles les plus puissants qui travaillent seuls. C'est comme si un chef d'orchestre moyen, avec une baguette magique, arrivait à faire jouer un orchestre de symphonie mieux que n'importe quel soliste du monde.

3. L'adaptation et la boucle infinie

Ce chef est aussi très flexible :

• Il s'adapte à n'importe quel groupe : Si vous lui donnez un groupe de musiciens différents (par exemple, seulement des modèles gratuits et moins puissants), il apprend à les utiliser intelligemment pour obtenir un excellent résultat, même sans les "super-stars".
• Il peut se critiquer lui-même (La boucle de récursion) : Si le chef sent que la réponse n'est pas parfaite, il peut se dire : "Attends, je vais me réécouter, je vais changer ma stratégie et demander à quelqu'un d'autre de vérifier." Il peut ainsi s'améliorer en temps réel, comme un auteur qui relit son livre et réécrit les passages faibles avant de le publier.

En résumé

Ce papier nous dit que l'avenir de l'intelligence artificielle n'est pas seulement d'avoir des modèles de plus en plus gros et intelligents, mais d'avoir de petits chefs intelligents capables d'organiser une équipe d'experts.

C'est comme passer d'un artisan solitaire qui fait tout à la main, à un directeur de projet génial qui sait exactement qui appeler, quoi lui demander, et comment vérifier le travail pour obtenir le résultat parfait, le tout automatiquement. C'est une révolution dans la façon dont nous utilisons les intelligences artificielles : on ne les force plus à tout faire, on les laisse travailler ensemble sous la direction d'un chef qui apprend à les orchestrer.

Résumé technique

1. Problème et Contexte

Les modèles de langage (LLM) modernes, bien que puissants, présentent des lacunes spécifiques : aucun modèle n'est universellement optimal pour toutes les tâches, et l'exploitation de leurs capacités latentes nécessite souvent des flux de travail d'agents manuellement conçus ou des stratégies de prompting complexes. Les approches existantes de coordination multi-agents (comme les routeurs ou les scaffolds fixes) sont souvent limitées par des topologies prédéfinies et manquent de flexibilité pour s'adapter dynamiquement à la complexité d'une tâche ou à la disponibilité de différents modèles (open-source vs closed-source).

Le défi central est donc de créer un système capable de découvrir automatiquement des stratégies de coordination optimales, de concevoir des topologies de communication adaptatives et de générer des instructions ciblées (prompting) pour un ensemble d'agents LLM hétérogènes, le tout sans intervention humaine directe dans la conception du flux de travail.

2. Méthodologie : Le Modèle « Conductor »

Les auteurs introduisent le Conductor, un modèle de langage (de taille 7B paramètres, basé sur Qwen2.5) entraîné par Apprentissage par Renforcement (RL) pour orchestrer un groupe d'agents LLM « travailleurs ».

A. Formulation du Problème

Le Conductor ne résout pas directement les tâches, mais génère un flux de travail d'agents sous forme de séquence d'étapes. Chaque étape est définie par trois éléments naturels :

1. Instruction (Sous-tâche) : Une instruction en langage naturel focalisée sur un aspect spécifique du problème.
2. Agent assigné : L'ID du modèle LLM (travailleur) chargé d'exécuter cette sous-tâche.
3. Liste d'accès : Les étapes précédentes dont le contexte doit être visible pour l'agent actuel (définissant la topologie de communication : chaîne, arbre, parallèle, etc.).

B. Entraînement par Renforcement (RL)

Le modèle est entraîné avec l'algorithme GRPO (Grouped Relative Policy Optimization), une variante efficace de PPO.

• Récompense : Le système utilise une récompense binaire basée sur la justesse de la réponse finale par rapport à la solution de référence.
• Condition de format : Une pénalité est appliquée si la sortie du Conductor ne peut pas être parsée en les trois listes Python requises (IDs, sous-tâches, accès).
• Objectif : Maximiser la probabilité de succès de la tâche finale en apprenant à diviser les problèmes, à déléguer aux bons agents et à concevoir des stratégies de communication efficaces par maximisation de la récompense de bout en bout.

C. Extensions Clés

• Pools d'agents aléatoires : Le modèle est finetuné avec des sous-ensembles aléatoires d'agents à chaque étape. Cela permet au Conductor de généraliser à n'importe quel pool d'agents (open ou closed-source) et de s'adapter aux contraintes de coût de l'utilisateur.
• Topologies Récursives : Le Conductor peut se sélectionner lui-même comme agent travailleur. Cela permet une mise à l'échelle au moment de l'inférence (test-time scaling) : le modèle peut réviser sa propre stratégie de coordination initiale en fonction des résultats intermédiaires, créant une boucle de rétroaction dynamique.

3. Contributions Principales

1. Orchestration par RL End-to-End : Introduction d'un modèle entraîné uniquement par RL pour découvrir des stratégies de coordination complexes, éliminant le besoin de scaffolds humains fixes.
2. Génération de Topologies Dynamiques : Le Conductor apprend à créer des flux de travail flexibles (séquentiels, en arbre, parallèles) adaptés à la difficulté de la tâche, allant au-delà des approches statiques.
3. Ingénierie de Prompt Automatique : Le modèle apprend à rédiger des sous-tâches spécifiques et des instructions de contexte qui exploitent les forces complémentaires de chaque agent (ex: un modèle pour la planification, un autre pour le code, un troisième pour la vérification).
4. Évolutivité et Adaptabilité : Démonstration qu'un petit modèle (7B) peut piloter des modèles beaucoup plus grands et coûteux, et qu'il peut s'adapter à des pools d'agents arbitraires ou s'étendre via la récursivité.

4. Résultats Expérimentaux

Le Conductor a été évalué sur une série de benchmarks de raisonnement complexes (LiveCodeBench, GPQA Diamond, AIME25, MMLU, MATH500).

• Performance Supérieure : Un Conductor de 7B paramètres atteint des résultats State-of-the-Art (SOTA), surpassant non seulement les modèles individuels (y compris les modèles fermés de pointe comme GPT-5, Claude Sonnet 4, Gemini 2.5 Pro), mais aussi les stratégies de réflexion auto-réfléchie (self-reflection) et les méthodes multi-agents coûteuses (MoA, MASRouter).
  • Exemple : Sur LiveCodeBench, le Conductor obtient 83.93% contre 82.90% pour GPT-5. Sur GPQA-Diamond, il atteint 87.5% contre 84.8% pour Gemini 2.5 Pro.
• Efficacité Coût-Performance : Le Conductor utilise en moyenne 3 étapes par tâche, ce qui est nettement inférieur aux méthodes baselines qui nécessitent souvent 5 appels ou plus, offrant une performance supérieure à un coût d'inférence réduit.
• Adaptabilité aux Agents : Le modèle finetuné sur des pools aléatoires maintient des performances élevées même lorsqu'il est contraint d'utiliser uniquement des modèles open-source (surpassant parfois Claude Sonnet 4 de ~10% dans ces conditions restreintes).
• Gain par Récursivité : L'activation de la récursivité améliore encore les performances sur des tâches difficiles comme BigCodeBench, permettant au modèle de corriger ses propres erreurs de coordination en temps réel.

5. Signification et Impact

Ce travail démontre que la coordination intelligente entre agents peut émerger naturellement via l'apprentissage par renforcement, sans nécessiter de règles explicites ou de topologies prédéfinies.

• Nouveau Paradigme de Mise à l'Échelle : Il propose une nouvelle axe de mise à l'échelle (« scaling ») basé sur la coordination collective et l'ingénierie de prompt automatisée, plutôt que sur la simple augmentation de la taille du modèle ou du nombre de tokens de raisonnement.
• Démocratisation de la Performance : En permettant à un petit modèle (7B) de piloter efficacement des modèles plus grands et de s'adapter à des pools d'agents hétérogènes, cette approche pourrait réduire la dépendance aux modèles fermés extrêmement coûteux.
• Vers des Agents Métas : Le Conductor agit comme un « agent méta » capable de raisonner sur la collaboration elle-même, ouvrant la voie à des systèmes capables de résoudre des problèmes complexes en biology, robotique ou science en orchestrant des experts de différentes modalités.

En résumé, le papier établit que l'apprentissage par renforcement permet de découvrir des stratégies de coordination supérieures à celles conçues par les humains, transformant un ensemble de modèles spécialisés en une intelligence collective supérieure à la somme de ses parties.