💻 computer science

QueenBee Planner: Skill-Evolving Communication Topologies for Token-Efficient LLM Multi-Agent Systems

Das QueenBee-Planner-Framework verbessert token-effiziente Multi-Agenten-Systeme für LLMs, indem es die Topologien der Inter-Agenten-Kommunikation als eine selbstverbessernde Design-Fertigkeit behandelt, bei der ein lernfähiger Planner optimale Nachrichtenpassungsstrukturen generiert, die feste oder Kaltstart-Baselines in Bezug auf Genauigkeit und Kosten signifikant übertreffen, während Ausführungstraces in robuste, falsifikationsresistente Designregeln destilliert werden.

Ursprüngliche Autoren: Congjia Tian, Yuhang Yao, Jiaming Cui

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Congjia Tian, Yuhang Yao, Jiaming Cui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von 8 brillanten, aber isolierten Experten (die „Arbeiter“). Jeder Experte besitzt ein kleines Stück eines riesigen Puzzles (ein „Fragment“ an Daten), aber keiner von ihnen kann das Gesamtbild sehen. Ihre Aufgabe ist es, die endgültige Antwort zu finden, aber das können sie nur, indem sie miteinander kommunizieren.

Die große Frage, die die Arbeit stellt, lautet: Wie sollten diese Experten miteinander kommunizieren?

Sollten sie alle gleichzeitig rufen? Sollten sie einen Kreis bilden? Sollten sie sich wie in einer Schlange Notizen zuwerfen? Oder sollten sie eine spezifische Hierarchie bilden, bei der einige Leute Notizen sammeln und nach oben weitergeben?

In den meisten Computersystemen wählen Ingenieure eine Art der Verbindung (eine „feste Topologie“) und halten daran fest. Dieses Paper stellt QueenBee Planner vor – ein System, das nicht nur einen Kommunikationsstil wählt, sondern lernt, wie man den besten Gesprächsfluss für die jeweilige Aufgabe entwirft, und dabei mit jedem Versuch klüger wird.

Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Der „Architekt“ vs. die „Arbeiter“

Betrachten Sie das System als zwei unterschiedliche Rollen:

Die Arbeiter: Dies sind die Experten, die die eigentliche Mathematik oder Logik betreiben. In diesem System sind sie statisch (frozen). Sie lernen nichts Neues; sie erledigen einfach ihre Arbeit genau so, wie sie es immer getan haben.
Der QueenBee Planner: Dies ist der „Architekt“. Er betreibt keine Mathematik. Seine einzige Aufgabe ist es, eine Karte (einen „Kommunikations-DAG“) zu zeichnen, die besagt: „In Runde 1 sendet Experte A eine Notiz an Experte B. In Runde 2 führt Experte B dies mit seinen eigenen Notizen zusammen und sendet es an Experte C.“

Das Magische ist, dass der Architekt lernt. Er probiert verschiedene Karten aus, sieht, welche davon die richtige Antwort mit dem geringsten Redezeil erreicht, und merkt sich die guten für das nächste Mal.

2. Die „Skill Bank“ (Das Notizbuch des Architekten)

Anstatt nur zu raten, führt der Architekt ein Notizbuch mit „Design-Skills“. Dies sind keine Antworten auf spezifische Rätsel, sondern Regeln darüber, wie man Menschen verbindet.

Bewahren (Preserve): „Hey, diese spezifische Art der Notizweitergabe hat letztes Mal super funktioniert. Lass uns das weiterhin so machen.“
Modifizieren (Modify): „Dieses Notizweitergabemuster hat funktioniert, aber wir haben jetzt ein etwas anderes Puzzle. Lass uns es ein wenig anpassen.“
Vermeiden (Avoid): „Letztes Mal haben wir dieses spezifische Muster ausprobiert, aber alle waren verwirrt und die Antwort war falsch. Tu das nie wieder.“

3. Die „Sicherheits-Gates“ (Um schlechte Gewohnheiten zu verhindern)

Das Paper ist sehr vorsichtig damit, wie der Architekt lernt. Das System weiß, dass man manchmal durch einen Glückstreffer oder einen Zufallserfolg erfolgreich sein kann. Wenn der Architekt einfach jeden glücklichen Sieg auswendig lernen würde, würde er anfangen, schlechte Entscheidungen zu treffen.

Daher verfügt das System über strenge „Sicherheits-Gates“, bevor es etwas in das Notizbuch schreibt:

Der „Held-out“-Test: Der Architekt kann nicht einfach sagen: „Ich war beim Übungstest gut, also bin ich klug.“ Er muss beweisen, dass er auch bei einem neuen Test, den er noch nicht gesehen hat, gut abschneidet.
Der „Lucky Run“-Check: Wenn ein Design nur durch Zufall einmal funktioniert hat, ignoriert das System dies. Es muss sehen, dass das Design konsistent funktioniert, bevor es dem Notizbuch hinzugefügt wird.
Der „Falsifikations“-Check: Wenn der Architekt eine ausgeklügelte Erklärung dafür liefert, warum ein Design funktioniert, versucht das System, diese falsch zu beweisen. Wenn die Erklärung den Test nicht übersteht, wird das Design nicht hinzugefügt.

4. Die Ergebnisse: Schlankere Karten, weniger Rauschen

Die Forscher haben dies bei zwei Arten von Aufgaben getestet:

Häufigkeitszählung (Counting Frequency, CF): Eine Aufgabe, bei der das Team zählen muss, wie oft Zahlen in einer riesigen Liste vorkommen.
Silo-Aufgaben: Eine Aufgabe, bei der Informationen in separaten „Silos“ verborgen sind und das Team koordinieren muss, um die globale Antwort zu finden.

Was ist passiert?

Feste Topologien (Fixed Topologies): Wenn das Team einen vordefinierten Verbindungsstil nutzte (wie einen Standard-Baum oder einen Kreis), unterliefen ihm Fehler und sie verbrauchten viele „Tokens“ (Rechenenergie/Geld).
Kalte Generierung (Cold Generation): Wenn der Architekt versuchte, eine Karte ohne jegliches Gedächtnis von Grund auf neu zu zeichnen, war er instabil und oft falsch.
QueenBee (Selbstentwickelnd): Nach einigen Lernrunden begann der QueenBee-Architekt, Hybrid-Karten zu zeichnen. Diese Karten waren oft einfacher und direkter als die festen Strukturen.
- Bei der Zählaufgabe reduzierte das QueenBee-System die Fehler um 37 % und senkte die Kosten (Nachrichten und Rechenaufrufe) im Vergleich zur besten festen Methode um mehr als die Hälfte.
- In den „Silo“-Aufgaben lernte das System besser zu koordinieren als selbst eine „perfekte“ feste Karte dies könnte.

Das Wichtigste in Kürze

Das Paper argumentiert, dass die Architektur (wie Agenten verbunden sind) genauso wichtig ist wie die Intelligenz der Agenten selbst.

Indem das System die Art der „Agenten-Verbindung“ als eine lernbare Fähigkeit und nicht als eine feste Einstellung behandelt, lernt es, über die Zeit hinweg bessere Kommunikationsnetzwerke aufzubauen. Es lernt nicht nur Antworten auswendig, sondern lernt den Blaupausen-Entwurf für die effiziente Problemlösung. Die Arbeiter bleiben gleich, aber die Art und Weise, wie sie miteinander kommunizieren, entwickelt sich weiter, um schneller, kostengünstiger und präziser zu werden.

Technisches Resümee: QueenBee Planner

Problemstellung

Das Design-Paradigma für Multi-Agenten-Systeme auf Basis von Large Language Models (LLMs) hat sich von der Optimierung des individuellen Agenten-Reasonings (z. B. Prompting, Chain-of-Thought) hin zur Optimierung der Organisation interagierender Agenten verschoben. Während neuere Arbeiten etabliert haben, dass die Kommunikations-Topologie ein primärer Determinant für Systemgenauigkeit, Kosten und Robustheit ist, teilen bestehende Ansätze eine kritische Einschränkung: Sie entwerfen typischerweise eine Topologie für eine spezifische Aufgabe und hören dann auf. Sie versäumen es, wiederverwendbares Designwissen über Kommunikationsstrukturen über Aufgaben hinweg zu akkumulieren. Darüber hinaus vermengen aktuelle Methoden oft das Aufgabenlösungsverhalten mit dem architektonischen Design oder optimieren das Routing, ohne explizite Topologie-Lektionen zu speichern.

Die Kernherausforderung, die in diesem Paper adressiert wird, besteht darin, zu verhindern, dass eine selbstverbessernde Design-Schleife Rauschen (glückliche Durchläufe, plausible, aber falsche Erklärungen) in eine Policy verwandelt. Ein vertrauenswürdiger, selbst-evolvierender Architekt erfordert eine explizite Disziplin, um sicherzustellen, dass Verbesserungen in der Kommunikationsstruktur echt, reproduzierbar und von den Fähigkeiten der zugrunde liegenden Worker-Agenten unterscheidbar sind.

Methodik

Das Paper führt QueenBee Planner ein, ein Framework, das die inter-agentielle Kommunikations-Topologie als eine abrufbare, selbstverbessernde Design-Fähigkeit behandelt. Das System operiert unter einer strikten Trennung der Zuständigkeiten:

1. Trennung von Planner und Worker

Frozen Workers: Ein Pool von Worker-Agenten, ein Task-Adapter und eine Scoring-Funktion bleiben während des gesamten Lernprozesses fixiert. Die Worker beobachten lediglich private Fragmente einer Aufgabe und aktualisieren ihre Belief-States basierend auf empfangenen Nachrichten.
Generative Planner: Ein äußeres LLM fungiert als Architekt. Sein einziges Lernziel ist die Generierung von temporären Kommunikations-DAGs (Directed Acyclic Graphs). Diese DAGs spezifizieren, wer in welcher Runde Informationen an wen sendet, wer Nachrichten zusammenführt und wer die finale Antwort ausgibt.

2. Temporaler Kommunikations-DAG

Der Planner generiert einen zeitlich entfalteten Graphen $G = (N, T, E, h, I, R)$ , wobei:

$N$ die Anzahl der Worker ist.
$T$ die Anzahl der Kommunikationsrunden ist.
$E$ die gerichteten temporalen Kanten (Nachrichtenflüsse) darstellt.
$h$ der Halter der finalen Antwort ist.
Der Graph durch Machbarkeitsgrenzen bezüglich der Runden ( $T_{max}$ ), der Gesamtzahl der Kanten ( $M$ ) und des maximalen Fan-ins ( $\beta$ ) beschränkt wird, um Token-Kosten und die Komplexität der Zusammenführung zu kontrollieren.

3. Skill Bank und Design-Regeln

Das Gedächtnis des Planners ist eine Skill Bank, die evidenzbasiert gestützte Design-Regeln enthält. Jeder Skill $s = (z, r, a, q, E)$ besteht aus:

Bedingung ( $z$ ): Aufgabenmerkmale (z. B. Agentenanzahl, Budget).
Regel ( $r$ ): Strukturelles Muster (z. B. „staged reduction“, „audit edge“).
Aktion ( $a$ ): Eine von drei Aktionen:
- Preserve (Beibehalten): Die Struktur als ausführbares Gerüst behalten.
- Modify (Modifizieren): Die Kernstruktur für leicht veränderte Aufgabenbedingungen anpassen.
- Avoid (Vermeiden): Die Struktur aufgrund vergangener Fehler als negative Constraint behandeln.
Evidenz ( $E$ ): Unterstützende Daten und Gegenbeispiele.

4. Disziplinierte Selbst-Evolutionsschleife

Um Drift und Overfitting zu verhindern, setzt das System mehrere rigorose Mechanismen ein, bevor die Skill Bank aktualisiert wird:

Motif-Level Credit Assignment: Anstatt dem gesamten Graphen die Kredit zuzuschreiben, zerlegt das System Graphen in strukturelle Motive (z. B. Fan-in-Limits, Reduktions-Tiefe). Die Kredit wird diesen Motiven mit einer Varianz-bewussten Strafe zugewiesen, um zu verhindern, dass erfolgreiche Einzeldurchläufe allein die Policy dominieren.
Held-Out Acceptance Gate: Updates ( $\Delta S$ ) werden nur dann in die langfristige Skill Bank aufgenommen, wenn sie die Leistung auf gehaltenen (held-out) Aufgaben und Seeds nachweislich verbessern, nicht nur auf den Trainingsdaten.
Varianz-bewusste Kreditierung: Regeln erfordern eine Mindestanzahl an Stichproben und konservative Verlustschätzungen, um Stabilität zu gewährleisten.
Insight Falsifizierung: Vom Planner vorgeschlagene natürliche Sprach-Insights werden als Hypothesen behandelt und müssen Falsifizierungsprüfungen auf gehaltenen Evidenzen bestehen, bevor sie zu Skills werden.
Transfer Trust: Skills werden nicht automatisch auf alle Aufgaben angewendet; sie werden nur eingesetzt, wenn direkte oder indirekte Erfolgsnachweise für den spezifischen Aufgaben-Slot vorliegen.
Strukturelle Dedupizierung: Isomorphe Graph-Spezifikationen werden zusammengeführt, um ein lineares Wachstum der Skill Bank mit den Ausführungsrunden zu verhindern.

Zentrale Beiträge

Reframing der Topologie als Skill: Das Paper definiert die Multi-Agenten-Kommunikations-Topologie als eine abrufbare, selbstverbessernde Design-Fähigkeit um und trennt den „Architekten“ (Planner) von den „Workern“. Das gelernte Objekt ist das Wissen über das Kommunikationsdesign, nicht das Aufgabenlösungsverhalten.
Mechanismus für disziplinierte Selbstverbesserung: Es führt ein umfassendes Framework zur Generierung temporaler DAGs ein, das auf einer Skill Bank konditioniert ist und über Held-out Gates, Motiv-basierte Attribuierung, varianz-bewusste Kreditierung sowie Insight-Falsifizierung verfügt, um eine vertrauenswürdige Evolution zu gewährleisten.
Empirische Behauptung zum architektonischen Lernen: Die Autoren zeigen, dass der Planner unter diesen Disziplinen in der Lage ist, seine generierten Kommunikationsstrukturen auf gehaltenen Aufgaben zu verbessern, während der Pool der Worker fixiert bleibt. Dies beweist, dass das System lernt, Organisationen zu entwerfen, anstatt lediglich Antworten auswendig zu lernen.

Experimentelle Ergebnisse

Die Methode wurde auf zwei Aufgabenfamilien evaluiert: Count-Frequency (CF) Aggregation und Silo-Bench-artige verteilte Koordination.

Count-Frequency (CF) Aufgabe:
- Im DeepSeek-V4-Flash Fulltest-Setting reduzierte der selbst-evolvierte „Best-so-far“-Graph (eine hybride Reduce-Audit-Struktur) den RMSE von 12,53 (stärkste feste Topologie) auf 7,87.
- Diese Verbesserung ging mit signifikanten Effizienzgewinnen einher: Eine Reduktion der Nachrichten um 74,2 %, eine Reduktion der Modellaufrufe um 54,5 % und eine Reduktion der Token-Kosten um 59,6 % im Vergleich zur besten festen Topologie.
- Die Verbesserungen waren konsistent über verschiedene Worker-Modelle hinweg (DeepSeek, Qwen, GPT-4o, MiMo), mit RMSE-Reduktionen zwischen 14 % und 56 %.
Silo-Bench-ähnliche Aufgaben:
- Die selbst-evolvierte Graph-Generierung erreichte eine Exact Match (EM) von 0,539 (nach 3 Runden), was die Cold-Generation (0,125), die beste einzelne feste Topologie (0,333) und sogar eine pro Fall optimierte Oracle-feste Topologie (0,417) übertraf.
- Dies deutet darauf hin, dass das System feingranulare, aufgabenabhängige Strukturen lernt, anstatt lediglich aus einem festen Satz von Topologien zu wählen.
Evolutions-Trajektorie:
- Eine Analyse der Runden zeigte, dass die Exploration zwar Rauschen einführt (fluktuierender RMSE), das beibehaltene „Best-so-far“-Archiv jedoch konsistent besser wird. Dies demonstriert, dass das System über die Zeit wiederverwendbares Designwissen (z. B. Staged Reduction, Sink Coverage) akkumuliert.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Architektur eines Multi-Agenten-Systems nicht bloß ein Implementierungsdetail ist, sondern ein explizites Lernobjekt. Der QueenBee Planner zeigt, dass Multi-Agenten-Systeme in der Lage sind, wiederverwendbares architektonisches Designwissen (wann man Kommunikationsmuster beibehält, modifiziert oder vermeidet) zu erlernen, anstatt nur Aufgabenantworten zu memorieren.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass die aktuellen Ergebnisse auf spezifischen Aufgabenfamilien (CF und Silo-Stil) und einer begrenzten Anzahl von Evolutionsrunden basieren. Sie postulieren, dass das System keine einzige universell optimale Topologie entdeckt, sondern übertragbare Priors akkumuliert. Der primäre Beitrag ist die Validierung, dass ein System mit fixierten Workern seine Leistung allein durch die Evolution seiner Kommunikationsdesign-Policy durch disziplinierte, evidenzbasierte Selbstreflexion steigern kann.