Learning to Orchestrate Agents in Natural Language with the Conductor

Diese Arbeit stellt einen mit Reinforcement Learning trainierten „Conductor"-Modell vor, der durch die automatische Optimierung von Kommunikationsstrukturen und Anweisungen für pools von Sprachmodellen deren individuelle Stärken synergistisch nutzt, um in komplexen Reasoning-Aufgaben state-of-the-art Ergebnisse zu erzielen.

Das Wesentliche

Stell dir vor, du hast eine riesige Bibliothek voller verschiedener Experten. Einen, der genial Mathematik löst, einen anderen, der wie ein Programmier-Wunderkind Code schreibt, und wieder einen, der in Biologie und Medizin zu Hause ist. Jeder dieser Experten ist in seinem Fachgebiet ein Meister, aber wenn sie allein arbeiten, stoßen sie manchmal an ihre Grenzen.

Die Forscher von Sakana AI haben nun einen neuen, besonderen Charakter erfunden: den Dirigenten (auf Englisch "Conductor").

Hier ist die Geschichte, wie dieser Dirigent funktioniert, einfach erklärt:

1. Das Problem: Ein Orchester ohne Dirigenten

Bisher mussten Menschen selbst entscheiden, welcher Experte wann was tun soll. Sie mussten manuell planen: "Okay, erst fragt man den Mathematiker, dann schickt man das Ergebnis zum Programmierer." Das ist mühsam, teuer und oft nicht optimal. Manchmal wählt man den falschen Experten für die Aufgabe oder vergisst, dass zwei Experten zusammenarbeiten müssen, um ein Problem zu lösen.

2. Die Lösung: Der KI-Dirigent

Der "Dirigent" ist eine kleine KI (nur 7 Milliarden Parameter, also vergleichsweise klein), die gelernt hat, wie man ein Orchester aus viel größeren und stärkeren KIs (den "Arbeitern") leitet.

Wie lernt er das?
Stell dir vor, du trainierst einen Dirigenten, indem du ihm eine schwierige Aufgabe gibst (z. B. "Löse dieses knifflige Mathe-Problem").

• Der Dirigent versucht, einen Plan zu machen.
• Er sagt: "Ich schicke Aufgabe A an Experte 1, dann schicke ich das Ergebnis an Experte 2, damit er es überprüft."
• Wenn die Lösung stimmt, gibt es einen "Punkt" (Belohnung). Wenn sie falsch ist, gibt es einen "Minus-Punkt".
• Durch tausende Versuche (Reinforcement Learning) lernt der Dirigent nicht nur, welche Experten er braucht, sondern auch, wie er ihnen genau sagt, was sie tun sollen. Er lernt, die Anweisungen so zu formulieren, dass jeder Experte sein Bestes gibt.

3. Die Magie: Erfindung neuer Strategien

Das Tolle ist: Der Dirigent erfindet seine eigenen Spielregeln. Er muss nicht von Menschen vorgegeben bekommen, wie er arbeiten soll.

• Beispiel: Bei einer einfachen Aufgabe sagt er vielleicht: "Nimm nur einen Experten, das reicht."
• Beispiel: Bei einer extrem schwierigen Aufgabe (wie das Schreiben komplexer Software) sagt er: "Wir brauchen ein ganzes Team! Erst plant Experte A die Strategie, dann schreibt Experte B den Code, dann prüft Experte C auf Fehler, und Experte D fasst alles zusammen."
• Er kann sogar Bäume bauen: Zwei Experten arbeiten parallel an verschiedenen Teilen, und ein dritter bringt die Ergebnisse später zusammen.

4. Der "Spiegel-Trick" (Rekursion)

Eine besonders coole Fähigkeit, die der Dirigent entwickelt hat, nennt sich Rekursion. Das ist wie ein Spiegel, der in einen anderen Spiegel schaut.
Wenn der Dirigent merkt: "Ups, mein erster Plan war nicht gut genug", kann er sich selbst als neuen Experten hinzuziehen. Er sagt quasi: "Ich schaue mir meine eigene Antwort an, überdenke sie und mache einen besseren Plan." So kann er sich selbst verbessern, ohne dass ein Mensch eingreifen muss. Das nennt man "Skalierung zur Laufzeit" – er investiert mehr Denkzeit, um das Ergebnis zu perfektionieren.

5. Warum ist das so wichtig?

• Kosten: Der Dirigent ist klein und billig. Die "Experten", die er anweist, können sehr teuer sein (wie die neuesten KI-Modelle von OpenAI oder Google). Der Dirigent sorgt dafür, dass diese teuren Modelle nicht verschwendet werden, sondern genau das tun, wofür sie gut sind.
• Flexibilität: Der Dirigent kann mit jeder Gruppe von Experten arbeiten. Egal ob du nur Open-Source-Modelle hast oder die teuersten geschlossenen Modelle – er passt seinen Plan sofort an.
• Ergebnis: In Tests (wie bei Mathe-Olympiaden oder Programmierwettbewerben) hat dieser kleine Dirigent mit seinen Anweisungen bessere Ergebnisse erzielt als die einzelnen Experten allein oder als teure, von Menschen geplante Systeme. Er hat sogar neue Rekorde aufgestellt!

Zusammenfassung in einer Metapher

Stell dir vor, du hast einen kleinen, schlauen Kapitän (den Dirigenten) auf einem Schiff. Er selbst kann nicht tauchen (er ist kein tiefer Taucher wie die großen Modelle), aber er weiß genau, welche Taucher (die Worker-Modelle) wann, wo und wie tief gehen müssen.
Früher mussten die Taucher selbst entscheiden, wer wann taucht. Oft sind sie zu tief gegangen, wo es keinen Fisch gab, oder zu flach, wo sie nichts fanden.
Der Kapitän lernt durch Versuch und Irrtum, das perfekte Team aufzustellen. Er sagt: "Du, Taucher A, geh hierhin und such nach Perlen. Du, Taucher B, warte auf A und poliere die Perlen."
Das Ergebnis ist, dass das Schiff (die Lösung) viel schneller und besser beladen ist als je zuvor – und das mit einem Kapitän, der selbst gar nicht tauchen kann, sondern nur das Orchester leitet.

Kurz gesagt: Die Forscher haben eine KI gebaut, die lernt, wie man andere KIs perfekt zusammenarbeitet, um Probleme zu lösen, die für eine einzelne KI zu schwer wären. Und das alles auf natürliche Sprache, ohne dass Menschen mühsam Regeln aufschreiben müssen.

Technische Zusammenfassung

1. Problemstellung

Moderne Large Language Models (LLMs) sind in verschiedenen Domänen spezialisiert, aber kein einzelnes Modell ist universell für alle Aufgaben optimal. Die manuelle Gestaltung von Agenten-Workflows (z. B. durch Prompt-Engineering oder fest definierte Multi-Agenten-Architekturen) ist oft ineffizient, teuer und skaliert schlecht. Bestehende Multi-Agenten-Ansätze nutzen häufig starre Topologien oder Router, die nur aus einem vordefinierten Satz von Optionen wählen, was ihre Ausdruckskraft einschränkt. Zudem fehlt es oft an der Fähigkeit, dynamisch auf die spezifischen Stärken verschiedener Modelle in einem Pool zu reagieren oder die Komplexität der Aufgabe adaptiv zu bewältigen.

2. Methodik: Der RL-Conductor

Die Autoren stellen den Conductor vor, ein neues Modell, das mittels Reinforcement Learning (RL) trainiert wird, um komplexe Probleme zu zerlegen, Aufgaben an Worker-LLMs zu delegieren und Kommunikations-Topologien zu entwerfen – alles in natürlicher Sprache.

• Architektur und Aufgabe:
  Der Conductor ist selbst ein LLM (basierend auf einem 7B-Parameter-Modell, Qwen2.5), das als Meta-Agent fungiert. Seine Aufgabe ist es, einen Workflow als Sequenz von Schritten zu generieren. Jeder Schritt besteht aus drei Elementen:

  1. Subtask: Eine natürliche Sprachinstruktion für einen spezifischen Worker.
  2. Worker ID: Die Identifikation des zugewiesenen Agenten (aus einem Pool von Open-Source- und Closed-Source-Modellen).
  3. Access List: Eine Liste der vorherigen Schritte, die der aktuelle Worker im Kontext sehen darf (definiert die Topologie, z. B. sequenziell, parallel, baumförmig).

• Trainingsverfahren (Reinforcement Learning):
  Das Training erfolgt mit dem GRPO-Algorithmus (Group Relative Policy Optimization), ähnlich wie bei DeepSeek-R1.

  • Reward-Funktion: Der Reward basiert auf zwei Bedingungen:
    1. Format-Korrektur: Der Output muss als parsebare Python-Listen (Model IDs, Subtasks, Access Lists) formatiert sein.
    2. Korrektheit: Das Endergebnis des ausgeführten Workflows muss mit der Ground-Truth-Lösung übereinstimmen.
  • Emergenz: Durch das end-to-end Training maximiert das Modell den Reward und entwickelt dabei automatisch effektive Strategien wie Prompt-Engineering, Verifizierungsschleifen, Pläne und iterative Verfeinerung, ohne dass diese explizit vorgegeben werden.

• Erweiterungen:

  • Adaptive Worker-Auswahl: Durch Training mit zufällig gesampelten Subsets von Agenten lernt der Conductor, sich an beliebige Pools (z. B. nur Open-Source oder nur teure Closed-Source Modelle) anzupassen.
  • Rekursive Topologien: Der Conductor kann sich selbst als Worker auswählen. Dies ermöglicht eine rekursive Anpassung der Strategie zur Laufzeit (Test-Time Scaling), bei der der Conductor die Ergebnisse einer vorherigen Runde analysiert und bei Bedarf eine neue, optimierte Workflow-Strategie generiert.

3. Schlüsselbeiträge

1. RL-basierte Orchestrierung: Einführung eines Frameworks, das Agenten-Koordinationsstrategien rein durch RL und end-to-end Reward-Maximierung lernt, anstatt auf manuell entworfene Scaffolds oder feste Router angewiesen zu sein.
2. Leistungsfähigkeit kleiner Modelle: Ein kleines 7B-Modell (Conductor) kann durch intelligente Koordination und Prompt-Engineering die Leistung eines Pools viel größerer Worker-Modelle übertreffen und State-of-the-Art-Ergebnisse erzielen.
3. Dynamische Test-Time-Scaling: Durch rekursive Aufrufe wird eine neue Dimension des Inference-Time-Computings erschlossen, die es dem System erlaubt, sich dynamisch an schwierige Probleme anzupassen und die Komplexität des Workflows zu erhöhen.
4. Generalisierung: Das System generalisiert auf unbekannte Aufgaben und Agenten-Pools, was durch das Training mit randomisierten Subsets erreicht wird.

4. Ergebnisse

Das Paper präsentiert umfangreiche Evaluierungen auf Benchmarks wie LiveCodeBench, GPQA-Diamond, AIME25, MMLU und MATH500.

• Leistung: Der 7B Conductor erreicht State-of-the-Art-Ergebnisse und übertrifft sowohl einzelne Worker-Modelle (wie GPT-5, Claude Sonnet 4, Gemini 2.5 Pro) als auch teure Multi-Agenten-Baselines (wie MoA, MASRouter, RouterDC) signifikant.
  • Beispiel: Auf LiveCodeBench und GPQA-Diamond werden neue Rekorde aufgestellt.
  • Der Conductor übertrifft Baselines, die 5-fache Selbstreflexion oder komplexe Routing-Strategien nutzen, bei gleichzeitig deutlich geringeren Kosten (weniger API-Aufrufe).
• Effizienz: Trotz der hohen Leistung nutzt der Conductor im Durchschnitt nur etwa 3 Schritte pro Aufgabe, während andere Baselines oft deutlich mehr Token und Aufrufe benötigen.
• Rekursion: Die rekursive Version des Conductors zeigt weitere Leistungssteigerungen (z. B. +2% auf BigCodeBench), indem sie bei Bedarf zusätzliche Verifizierungs- oder Korrekturschleifen initiiert.
• Adaptivität: Das Modell lernt, je nach Schwierigkeit der Aufgabe mehr oder weniger Agenten einzusetzen (z. B. mehr Schritte für komplexe Code-Generierung, weniger für Faktenabfrage).

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass die Koordination von KI-Agenten nicht manuell entworfen, sondern durch Reinforcement Learning gelernt werden kann. Der Conductor fungiert als intelligenter „Dirigent", der die komplementären Stärken verschiedener Modelle (sowohl Open- als auch Closed-Source) optimal nutzt.

• Paradigmenwechsel: Statt festgelegter Workflows ermöglicht das System eine vollständige Freiheit in der Strategieentwicklung durch natürliche Sprache.
• Skalierbarkeit: Die Methode bietet einen neuen Weg, um die Leistung von LLMs durch kollektive Intelligenz zu skalieren, ohne die Kosten für massive einzelne Modelle zu erhöhen.
• Zukunft: Die Autoren sehen Potenzial darin, dieses Framework auf multimodale Agenten (z. B. in Robotik oder Biologie) auszuweiten, wobei der Conductor als universelle Schnittstelle dient.

Zusammenfassend stellt das Paper einen bedeutenden Fortschritt im Bereich des Multi-Agenten-Systems dar, der zeigt, dass kleine, spezialisierte Modelle durch intelligentes Orchestrieren und RL die Grenzen der aktuellen State-of-the-Art-Modelle in komplexen Reasoning-Aufgaben überwinden können.