Learning to Orchestrate Agents in Natural Language with the Conductor

Deze paper introduceert een met versterking leren getraind 'Conductor'-model dat automatisch effectieve coördinatiestrategieën ontdekt om diverse grote taalmodellen te orchestreren, waardoor state-of-the-art resultaten worden behaald op complexe redeneerbenchmarks.

De kern

Stel je voor dat je een groot, complex probleem moet oplossen, zoals het bouwen van een huis of het organiseren van een grote bruiloft. Je hebt een heleboel specialisten in de buurt: een timmerman, een elektricien, een kok, een bloemist en een planner.

In het verleden probeerden mensen deze specialisten vaak zelf te sturen. Ze gaven de timmerman een opdracht, wachtten, gaven dan de elektricien een opdracht, en hoopten dat het allemaal goed zou komen. Soms werkte het, maar vaak was het een rommeltje omdat de specialisten niet goed met elkaar samenwerkten of de verkeerde taken kregen.

Dit artikel introduceert een nieuwe, slimme oplossing: De Dirigent.

Wat is de Dirigent?

De Dirigent is een klein, maar heel slim computerprogramma (een "taalmodel") dat is getraind om niet zelf het werk te doen, maar om de hele groep te regisseren.

Het is alsof je een orkest hebt met de beste muzikanten ter wereld, maar ze spelen allemaal een beetje door elkaar. De Dirigent is de muzikale leider die luistert naar elke muzikant, weet wat zij het beste kunnen, en dan zegt: "Jij, viool, speel nu dit stukje. Jij, trompet, wacht even en speel dan dit. En jij, drum, zorg dat je precies op het juiste moment begint."

Hoe werkt het?

De onderzoekers hebben deze Dirigent niet handmatig geprogrammeerd met regels. In plaats daarvan hebben ze hem leren spelen door te proberen en te fouten maken (dit noemen ze "versterkende leer", of Reinforcement Learning).

1. De Proef: De Dirigent krijgt een moeilijke vraag (bijvoorbeeld: "Schrijf een computerprogramma dat dit wiskundeproblem oplost").
2. Het Plan: De Dirigent bedenkt een plan. Hij kiest welke "werker" (een ander computerprogramma) wat moet doen. Hij zegt bijvoorbeeld: "Model A, bedenk een slimme manier om dit te doen. Model B, schrijf de code op basis van dat plan. Model C, controleer of het werkt."
3. De Feedback: Als het antwoord goed is, krijgt de Dirigent een puntje. Als het fout is, krijgt hij een strafje.
4. De Leer: Na duizenden keren proberen, leert de Dirigent vanzelf de beste strategieën. Hij ontdekt dat hij soms drie mensen nodig heeft voor een moeilijke taak, maar maar één voor een simpele vraag. Hij leert ook hoe hij precies moet vertellen wat er gedaan moet worden, zodat elke werker zijn beste prestatie levert.

Waarom is dit zo speciaal?

• Het is een meester in samenwerking: De Dirigent is zelf niet per se de slimste werker (hij is relatief klein), maar door de juiste mensen op het juiste moment te kiezen en hen slim aan te sturen, komt hij verder dan welke enkele "superwerker" ook. Het is als een coach die een team van goede spelers naar een wereldkampioenschap leidt.
• Het past zich aan: Soms heb je alleen maar open-source modellen (gratis software) en soms dure, gespecialiseerde modellen. De Dirigent leert om met elke groep te werken. Als je hem alleen maar gratis modellen geeft, leert hij die zo slim mogelijk te combineren om toch een topresultaat te krijgen.
• Het kan zichzelf corrigeren: Als de Dirigent merkt dat zijn eerste plan niet goed werkt, kan hij zichzelf een tweede kans geven. Hij zegt dan: "Hé, dit plan werkte niet. Laten we het opnieuw proberen met een andere aanpak." Dit noemen ze "recursie", wat in het Nederlands simpelweg betekent: "terug naar de start om het beter te doen".

Het resultaat

In tests op heel moeilijke taken (zoals het schrijven van complexe computercode of het oplossen van lastige natuurkundevragen) heeft deze Dirigent beter gepresteerd dan de beste enkele computerprogramma's die er nu zijn.

Het is alsof een slimme dirigent met een klein orkestje een symfonie speelt die klinkt alsof het door een heel groot, duur orkest is uitgevoerd.

Kortom: Dit artikel laat zien dat we niet altijd nodig hebben om nog grotere, duurdere computerprogramma's te bouwen. In plaats daarvan kunnen we een slimme "regisseur" maken die de bestaande programma's zo slim mogelijk met elkaar laat samenwerken. Dat is de kracht van de Dirigent.

Technische samenvatting

Titel: Learning to Orchestrate Agents in Natural Language with the Conductor

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Stefan Nielsen, Edoardo Cetin, Peter Schwendeman, et al. (Sakana AI, Universiteit van Michigan, Instituut voor Wetenschap Tokio)

---

1. Het Probleem

Grote Taalmodellen (LLMs) van verschillende aanbieders zijn gespecialiseerd in specifieke domeinen door uitgebreide training en fine-tuning. Hoewel deze modellen indrukwekkende vaardigheden hebben, blijft het benutten van hun volledige potentieel een uitdaging:

• Beperkte Generalisatie: Geen enkel model is universeel optimaal voor alle taken; sommige excelleren in wiskunde, andere in coderen of wetenschappelijk redeneren.
• Manuele Coördinatie: Huidige multi-agent workflows worden vaak handmatig ontworpen (prompt engineering, vaste topologieën), wat inefficiënt is en niet dynamisch reageert op de complexiteit van een specifieke vraag.
• Kosten en Complexiteit: Bestaande methoden voor multi-agent samenwerking (zoals Mixture-of-Agents of Router-systemen) zijn vaak duur, statisch en beperkt in hun expressiviteit omdat ze vooraf gedefinieerde paden gebruiken.

De kernvraag is: Hoe kunnen we automatisch de beste samenwerkingstactieken ontdekken tussen een pool van verschillende LLM-agenten, zonder handmatige ingrepen, om complexe problemen op te lossen?

---

2. Methodologie: De RL Conductor

De auteurs introduceren de Conductor, een nieuw type taalmodel dat is getraind met Versterkend Leren (Reinforcement Learning - RL) om een orkest van werkende LLM-agenten te dirigeren.

A. Architectuur en Output

De Conductor is zelf een LLM (in dit geval een 7B parameter model, gebaseerd op Qwen2.5) die een workflow genereert in plaats van een direct antwoord. De output bestaat uit een sequentie van workflow-stappen, gedefinieerd door drie lijsten:

1. Model ID: Welke agent (uit een pool van beschikbare modellen) de taak uitvoert.
2. Subtask: Een natuurlijke taal-instructie die specifiek is afgestemd op de sterke punten van die agent.
3. Access List: Een lijst die aangeeft welke eerdere antwoorden van andere agents zichtbaar moeten zijn in de context van de huidige agent.

Dit stelt de Conductor in staat om flexibele topologieën te creëren, variërend van lineaire ketens tot complexe bomen en parallelle processen.

B. Trainingsparadigma (Reinforcement Learning)

Het model wordt getraind met GRPO (Grouped Relative Policy Optimization), een RL-algoritme dat recent succesvol is toegepast op redenerende modellen (zoals DeepSeek R1).

• Doel: Maximaliseren van de kans dat de uiteindelijke output van de workflow overeenkomt met de juiste oplossing voor een gegeven vraag.
• Beloningssysteem (Reward):
  1. Formatie-voorwaarde: Straffe (negatieve beloning) als de output niet correct geparseerd kan worden (drie lijsten).
  2. Juistheidsvoorwaarde: Positieve beloning (+1) als het eindresultaat correct is, en een gedeeltelijke beloning (+0.5) als het format correct is maar het antwoord fout.
• Exploratie: Door het model te laten genereren met een hoge temperatuur en de beste routes te selecteren via GRPO, leert het model automatisch complexe strategieën zoals "plannen", "verifiëren", "refinemen" en "debat".

C. Uitbreidingen

1. Adaptieve Agent Selectie: De Conductor wordt getraind met willekeurige subsets van agents. Hierdoor kan het generaliseren naar willekeurige combinaties van open- en closed-source modellen, zelfs als de gebruiker een beperkte of specifieke set agents heeft.
2. Recursieve Topologieën: De Conductor kan zichzelf als een worker-agent selecteren. Dit maakt recursieve calls mogelijk, waarbij de Conductor zijn eigen workflow analyseert en aanpast op basis van het resultaat. Dit introduceert een nieuwe vorm van test-time scaling (schaalbaarheid tijdens inferentie).

---

3. Belangrijkste Bijdragen

1. Introductie van de RL Conductor: Een end-to-end getraind model dat problemen opdeelt, subtasks toewijst en communicatie-topologieën ontwerpt in natuurlijke taal, zonder menselijke voorafgaande specificatie van de workflow.
2. Superieure Prestaties met een Klein Model: Een relatief klein Conductor-model (7B parameters) bereikt state-of-the-art resultaten op uitdagende benchmarks, vaak beter dan veel grotere individuele modellen of dure multi-agent baselines.
3. Dynamische Test-Time Scaling: Door recursie mogelijk te maken, kan het systeem zijn rekenkracht dynamisch verhogen voor moeilijke taken, wat een nieuwe schaalbaarheidsas biedt die verder gaat dan statische "Chain-of-Thought".
4. Open Source Framework: De auteurs delen de volledige code en trainingsscripts, wat reproduceerbaarheid en verdere onderzoek mogelijk maakt.

---

4. Resultaten

De Conductor werd geëvalueerd op een breed scala aan benchmarks, waaronder LiveCodeBench, GPQA-Diamond, AIME25, MMLU en MATH500.

• State-of-the-Art Prestaties: De Conductor (7B) behaalde de beste resultaten op LiveCodeBench en GPQA-Diamond, presterend beter dan de nieuwste gesloten modellen zoals GPT-5 en Gemini 2.5 Pro (die zelfs niet in de trainingspool zaten vanwege de kosten).
• Efficiëntie: In vergelijking met dure multi-agent baselines (zoals Mixture-of-Agents of MASRouter) die vaak 5+ agent-calls gebruiken, gebruikt de Conductor gemiddeld slechts 3 stappen en presteert hij significant beter. Dit resulteert in lagere kosten en snellere inferentie.
• Generalisatie:
  • De Conductor presteert uitstekend op Out-of-Distribution (OOD) taken (bijv. BigCodeBench, AIME25) die niet in de trainingsdata zaten.
  • Bij training met willekeurige agent-pools bleek het model in staat om zelfs met alleen open-source modellen (die vaak zwakker zijn) betere resultaten te halen dan gesloten modellen zoals Claude Sonnet 4 in specifieke contexten.
• Recursie: Het toepassen van recursie (Conductor-Recursive) leverde extra prestatiewinst op, vooral op complexe coderingstaken (BigCodeBench), waarbij het model zijn strategie dynamisch aanpaste na een eerste poging.

---

5. Betekenis en Impact

Dit paper markeert een belangrijke stap in de evolutie van multi-agent systemen:

• Van Handmatig naar Autonomisch: Het bewijst dat complexe coördinatiestrategieën niet handmatig hoeven te worden ontworpen, maar natuurlijk kunnen ontstaan door end-to-end belingsmaximalisatie.
• Collectieve Intelligentie: Het toont aan dat een kleine "leider" (Conductor) de capaciteiten van een pool van grote, gespecialiseerde modellen kan versterken tot een niveau dat geen enkel individueel model kan bereiken.
• Kosten-effectiviteit: Het biedt een route om state-of-the-art prestaties te behalen zonder de enorme kosten van het gebruik van de duurste modellen voor elke stap, door slimme verdeling van taken.
• Toekomstperspectief: De methode opent de deur voor systemen die niet alleen LLMs, maar ook andere modaliteiten (robotica, biologie) kunnen coördineren via een natuurlijke taal-interface.

Kortom, de RL Conductor demonstreert dat versterkend leren een krachtig middel is om de "collectieve intelligentie" van diverse taalmodellen te ontsluiten, waardoor een nieuwe generatie van adaptieve, zelf-optimiserende AI-systemen mogelijk wordt.