💬 NLP

Recursive Multi-Agent Systems

Dieser Beitrag stellt RecursiveMAS vor, ein rekursives Multi-Agenten-Framework, das heterogene Agenten in einen Latent-Raum-Kollaborationsloop mit einem neuartigen Lernalgorithmus integriert und im Vergleich zu bestehenden Einzel- und Multi-Agenten-Systemen über diverse Benchmarks hinweg signifikante Verbesserungen bei Genauigkeit, Inferenzgeschwindigkeit und Token-Effizienz erzielt.

Ursprüngliche Autoren: Xiyuan Yang, Jiaru Zou, Rui Pan, Ruizhong Qiu, Pan Lu, Shizhe Diao, Jindong Jiang, Hanghang Tong, Tong Zhang, Markus J. Buehler, Jingrui He, James Zou

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiyuan Yang, Jiaru Zou, Rui Pan, Ruizhong Qiu, Pan Lu, Shizhe Diao, Jindong Jiang, Hanghang Tong, Tong Zhang, Markus J. Buehler, Jingrui He, James Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Ein Team in eine sich selbst verbessernde Schleife verwandeln

Stellen Sie sich ein Team von Experten vor, das versucht, ein sehr schwieriges Rätsel zu lösen. Normalerweise arbeiten sie wie bei einem Staffellauf: Person A reicht eine Notiz an Person B weiter, die eine Notiz an Person C weitergibt. Wenn Person A einen Fehler macht, muss Person B die falsche Notiz lesen, verwirrt werden und eine falsche Idee weitergeben. Bis die Antwort das Ende erreicht, hat sich der ursprüngliche Fehler zu einem großen Durcheinander entwickelt.

RecursiveMAS ändert das Spiel. Anstatt Notizen hin und her zu reichen, arbeitet das Team in einer kontinuierlichen, unsichtbaren Schleife. Sie sprechen nicht laut; sie „denken" gemeinsam in einem geteilten, privaten mentalen Raum. Wenn das Team feststeckt, gehen sie nicht einfach zur nächsten Person über; sie kehren zum Anfang der Schleife zurück, verfeinern ihre Gedanken und versuchen es erneut, wobei sie bei jedem Durchlauf schlauer werden.

Die Kernkomponenten: Wie es funktioniert

1. Der „unsichtbare Gedanke" (Latenter Raum)

Die meisten KI-Systeme kommunizieren miteinander mit Worten (Text). Das ist wie ein Team, das Anweisungen in einem lauten Raum herüberruft. Es ist langsam, und sie müssen jedes einzelne Wort aufschreiben.

RecursiveMAS verwendet „latente Gedanken". Stellen Sie sich vor, die Agenten sind telepathisch. Anstatt einen langen Brief zu schreiben, geben sie ein einzelnes, dichtes „Ideenpaket" direkt von einem Gehirn zum anderen weiter.

Die Behauptung des Papiers: Dies ist viel schneller, weil sie den langsamen Prozess des Umwandelns von Gedanken in Worte und zurück überspringen. Es spart eine enorme Menge an „Token"-Verbrauch (was wie das Sparen von Papier und Tinte ist).

2. Der „Übersetzer" (RecursiveLink)

Das Team besteht aus verschiedenen Arten von KI-Modellen (einige sind klein und schnell, andere groß und intelligent). Sie sprechen intern unterschiedliche „Sprachen".

Die Analogie: Stellen Sie sich einen französischen Koch, einen deutschen Ingenieur und einen japanischen Künstler vor, die zusammenarbeiten wollen. Sie benötigen einen Übersetzer.
Die Behauptung des Papiers: Die Autoren haben ein winziges, leichtgewichtiges Modul namens RecursiveLink entwickelt. Es fungiert als universeller Übersetzer, der das „Gedankenpaket" sofort vom Format eines Agenten in das eines anderen umwandelt, ohne die Bedeutung zu verlieren. Es ist wie eine magische Brücke, die ihnen ermöglicht, Ideen nahtlos zu teilen.

3. Die „Schleife" (Rekursion)

In einem normalen Team stellt man eine Frage einmal und erhält eine Antwort. In RecursiveMAS stellt das Team die Frage, erhält eine Antwort und fragt sich dann sofort: „Warte, ist das richtig? Lass uns noch einmal darüber nachdenken."

Die Analogie: Stellen Sie sich eine Gruppe von Detektiven vor, die ein Verbrechen aufklären. Anstatt nur einen Bericht zu verfassen, versammeln sie sich im Kreis, überprüfen die Beweise, erkennen einen Fehler und beginnen die Ermittlungen sofort mit der neuen Erkenntnis von vorne. Sie tun dies 1, 2 oder 3 Mal hintereinander.
Die Behauptung des Papiers: Diese „Schleifenbildung" ermöglicht es dem System, seine eigenen Fehler zu korrigieren. Je öfter sie die Schleife durchlaufen, desto genauer wird die endgültige Antwort.

Das Training: Das Team lehren, Schleifen zu bilden

Man kann einem Team nicht einfach sagen, es solle „Schleifen bilden", und erwarten, dass es besser wird. Es muss lernen, wie es seine Gedanken verfeinert.

Die Autoren verwendeten eine zweistufige Trainingsmethode:

Innerer Loop (Aufwärmen): Sie lehrten jeden einzelnen Agenten, wie er eigenständig bessere „Gedankenpakete" generiert.
Äußerer Loop (Teamarbeit): Sie lehrten das gesamte Team, wie es diese Pakete durch die Schleife weiterreicht und sich gegenseitig korrigiert.

Das magische Ergebnis: Das Papier behauptet, dass durch das Training des gesamten Systems als eine große Schleife die „Gradienten" (die mathematischen Signale, die der KI sagen, wie sie sich verbessern soll) stark und stabil bleiben. In normalen textbasierten Systemen verblassen diese Signale oft (verschwinden) nach wenigen Schritten, was das Lernen erschwert. In RecursiveMAS bleibt das Signal laut und klar, was es dem Team ermöglicht, komplexe Aufgaben effektiv zu lernen.

Die Ergebnisse: Schneller, günstiger, intelligenter

Das Papier testete dieses System bei 9 verschiedenen schwierigen Herausforderungen, darunter Matheaufgaben, medizinische Diagnosen, Programmierung und Wissenschaftsfragen. Hier ist, was sie herausfanden:

Intelligenter: Im Durchschnitt war RecursiveMAS 8,3 % genauer als andere fortschrittliche Systeme. Es wurde besser darin, schwierige Mathe- und Wissenschaftsprobleme zu lösen.
Schneller: Da es den Schritt des „Wörter schreiben" überspringt und direkt zum „Denken" übergeht, ist es 1,2- bis 2,4-mal schneller als textbasierte Systeme.
Günstiger: Es verbraucht 34 % bis 75 % weniger „Tokens" (Rechenressourcen). Stellen Sie sich vor, Sie lösen ein Problem mit nur einem Viertel des Papiers, das Sie normalerweise benötigen.

Das „Skalierungsgesetz"

Das Papier entdeckte auch ein interessantes Muster: Je mehr Sie die Schleife durchlaufen, desto besser wird es.

Wenn Sie dem System erlauben, das Problem 3 Mal durchzudenken statt 1 Mal, steigt die Genauigkeit erheblich.
Im Gegensatz zu anderen Systemen, die verwirrt oder langsamer werden könnten, wenn man sie zu oft nachdenken lässt, gedeiht RecursiveMAS dabei. Es ist wie ein Muskel, der stärker wird, je mehr man ihn trainiert.

Zusammenfassung

RecursiveMAS ist eine neue Art, KI-Agenten zu organisieren. Anstatt einer linearen Kette von Personen, die Notizen weitergeben, schafft es eine sich selbst korrigierende Schleife, in der Agenten unsichtbare Gedanken durch einen universellen Übersetzer teilen. Dies ermöglicht dem Team, seine eigenen Fehler zu korrigieren, schneller zu lernen, schwierigere Probleme zu lösen und all dies mit deutlich weniger Rechenleistung zu bewerkstelligen.

Das Papier kommt zu dem Schluss, dass dieser Ansatz eine effizientere und leistungsfähigere Möglichkeit ist, die KI-Zusammenarbeit zu skalieren, und beweist, dass „gemeinsames Denken in einer Schleife" besser ist als „Reden in einer Linie".

1. Problemstellung

Aktuelle Large Language Models (LLMs) haben aufgrund begrenzter Kapazität, kurzsichtiger Generierung oder ineffizienter Exploration des Lösungsraums oft Schwierigkeiten mit komplexen Aufgaben. Während Multi-Agent-Systeme (MAS) entstanden sind, um dies zu adressieren, indem sie spezialisierte Agenten in kollaborative Workflows organisieren, stoßen bestehende Ansätze auf erhebliche Einschränkungen:

Textvermittelte Latenz: Standard-MAS verlassen sich auf explizite Textgenerierung und -austausch zwischen Agenten. Dies führt zu erheblicher Latenz und Token-Overhead, insbesondere in rekursiven oder iterativen Settings, in denen Agenten warten müssen, bis andere die Textgenerierung abgeschlossen haben, bevor sie fortfahren können.
Ineffizientes Training: Die Optimierung eines gesamten MAS ist schwierig. Die Aktualisierung aller Modellparameter ist rechenintensiv, und sequenzielle Textabhängigkeiten führen häufig zum Verschwinden von Gradienten während der Backpropagation, was das Erlernen komplexer Kollaborationsdynamiken behindert.
Statische Anpassung: Viele bestehende Methoden verlassen sich auf Prompt-Engineering oder iterative Kontextverfeinerung, was die Ausrichtung verbessert, aber die internen Schlussfolgerungsfähigkeiten der Agenten oder die kollaborative Struktur des Systems nicht grundlegend weiterentwickelt.

Die Autoren fragen: Kann die Agentenkollaboration selbst durch Rekursion skaliert werden, und kann dies effizienter erreicht werden, indem im latenten Raum statt im Textraum operiert wird?

2. Methodik: RecursiveMAS

Das Papier stellt RecursiveMAS vor, ein Framework, das das gesamte Multi-Agent-System als eine einheitliche rekursive Berechnung im latenten Raum darstellt. Anstatt Agenten als separate Entitäten zu behandeln, die Text austauschen, betrachtet RecursiveMAS sie als Schichten in einer rekursiven Schleife, die latente Repräsentationen (versteckte Zustände) weitergeben und verfeinern, anstatt Tokens.

Kernarchitektonische Komponenten

Generierung latenter Gedanken (Innerer Loop):
- Jeder Agent führt eine autoregressive Generierung nicht von Tokens, sondern von latenten Gedanken (kontinuierliche versteckte Zustands-Embeddings) durch.
- Eine Inner RecursiveLink ( $R_{in}$ ) verbindet den Output der letzten Schicht eines Agenten zurück mit seinem Eingabe-Embedding-Raum für den nächsten Schritt. Dies ermöglicht es einem Agenten, seinen internen Schlussfolgerungszustand iterativ zu verfeinern, ohne in Text zu dekodieren.
- $R_{in}$ ist ein leichtgewichtiges 2-Schichten-Residual-Projektionsmodul: $R_{in}(h) = h + W_2 \sigma(W_1 h)$ .
Agentenübergreifende Kollaboration (Äußerer Loop):
- Heterogene Agenten (unterschiedliche Modellgrößen/-architekturen) sind über eine Outer RecursiveLink ( $R_{out}$ ) verbunden.
- $R_{out}$ transformiert den latenten Zustand eines Agenten in den Embedding-Raum des nächsten Agenten und ermöglicht so einen nahtlosen Informationsaustausch über verschiedene Modelltypen hinweg.
- Das System bildet eine geschlossene Schleife: Agent $A_1 \to A_2 \to \dots \to A_N \to A_1$ . Nur der letzte Agent in der letzten Rekursionsrunde dekodiert den latenten Zustand in die endgültige Textausgabe.
Inner-Outer-Loop-Trainingsparadigma:
- Inner-Loop-Training: Jeder Agent wird individuell vorgewärmt. Die innere $R_{in}$ wird trainiert, um die vom Agenten generierten latenten Gedanken mit der semantischen Verteilung der Ground-Truth-Antwort in Einklang zu bringen (unter Verwendung von Kosinus-Ähnlichkeitsregression). Dies stellt sicher, dass Agenten aussagekräftige latente Zustände generieren können.
- Outer-Loop-Training: Das gesamte System wird gemeinsam optimiert. Die äußeren $R_{out}$ -Module werden mit einem gemeinsamen gradientenbasierten Kredit-Zuweisungsmechanismus trainiert. Gradienten werden durch den gesamten rekursiven Berechnungsgraphen (über alle Agenten und Rekursionsrunden hinweg) zurückpropagiert, unter Verwendung eines standardmäßigen Cross-Entropy-Verlusts auf der endgültigen Ausgabe. Dies ermöglicht dem System zu lernen, wie es iterativ zusammenarbeitet.

Theoretische Vorteile

Das Papier liefert zwei wesentliche theoretische Begründungen für die Rekursion im latenten Raum:

Laufzeitkomplexität: RecursiveMAS ersetzt die teure Dekodierung im Vokabularraum ( $O(|V|)$ ) durch eine Projektion im latenten Raum ( $O(d_h^2)$ ). Da die versteckte Dimension $d_h$ viel kleiner ist als die Vokabulargröße $|V|$ , wird die Komplexität erheblich reduziert.
Gradientenstabilität: Theoretische Analysen zeigen, dass textbasierte Rekursion aufgrund der Softmax-Operation und Entropiebeschränkungen unter dem Verschwinden von Gradienten leidet (Gradientennorm $\approx 0$ ). Im Gegensatz dazu behält RecursiveMAS stabile, nahezu konstante Gradienten (Norm $\approx 1$ ) durch die Residualverbindungen im latenten Raum bei, was ein effektives Training tiefer Rekursionen ermöglicht.

3. Hauptbeiträge

Systemweite Rekursion: Das erste Framework, das das Prinzip der rekursiven Skalierung von einzelnen Modellen auf heterogene Multi-Agent-Systeme erweitert und das gesamte MAS als eine einheitliche Schleife im latenten Raum behandelt.
Leichtgewichtige RecursiveLink: Ein neuartiges, parameter-effizientes Modul ( $R_{in}$ und $R_{out}$ ), das die Generierung latenter Gedanken und den agentenübergreifenden Zustandsaustausch ermöglicht, ohne die massiven Parameter der Basis-LLMs zu aktualisieren.
Inner-Outer-Loop-Optimierung: Ein zweistufiger Trainingsalgorithmus, der die Agentenfähigkeit (inner) von der Systemkollaboration (outer) entkoppelt und eine stabile gemeinsame Optimierung des gesamten Systems ermöglicht.
Generalisierbarkeit: Das Framework ist architekturunabhängig und unterstützt diverse Kollaborationsmuster, einschließlich Sequenziell, Mixture-of-Experts, Distillation und Tool-Integrierte Deliberation.

4. Empirische Ergebnisse

Die Autoren haben RecursiveMAS über 9 Benchmarks (Mathematik, Wissenschaft, Medizin, Suche, Code) unter Verwendung von 4 verschiedenen Kollaborationsmustern und diversen Modellfamilien (Qwen, Llama, Gemma, Mistral) evaluiert.

Genauigkeit: RecursiveMAS erzielte eine durchschnittliche Genauigkeitsverbesserung von 8,3 % im Vergleich zu fortschrittlichen Single-Agent- und Multi-Agent-Baselines (einschließlich rekursiver textbasierter Systeme).
- Bemerkenswerte Gewinne bei reasoning-intensiven Aufgaben: +18,1 % auf AIME2025, +13,0 % auf AIME2026.
Effizienz (Geschwindigkeit):
- Inferenz-Beschleunigung: Erzielte eine 1,2× bis 2,4× End-to-End-Inferenz-Beschleunigung im Vergleich zu textbasiertem rekursivem MAS. Die Beschleunigung nimmt mit zunehmender Rekursionstiefe zu, da textbasierte Systeme unter sich summierenden Token-Generierungskosten leiden.
- Token-Reduktion: Reduzierung des Token-Verbrauchs um 34,6 % bis 75,6 % im Vergleich zu textbasierten Baselines, da die meisten Interaktionen im komprimierten latenten Raum stattfinden.
Skalierungsgesetze:
- Rekursionstiefe: Die Leistung verbessert sich konsistent, wenn die Anzahl der Rekursionsrunden ( $r=1, 2, 3$ ) zunimmt.
- Training vs. Inferenz: Tiefere Trainingsrekursion verschiebt die Leistungsgrenze nach oben, und tiefere Inferenzrekursion nutzt die erlernte latente Struktur weiter aus.
Kosten: Das Training von RecursiveMAS ist deutlich günstiger als das vollständige Fine-Tuning oder sogar das LoRA-Fine-Tuning einzelner Agenten, da nur die leichtgewichtigen RecursiveLink-Module aktualisiert werden (ca. 0,31 % der Gesamtparameter).

5. Bedeutung

RecursiveMAS stellt einen Paradigmenwechsel dar, wie Multi-Agent-Systeme entworfen und trainiert werden:

Effizienz: Es löst die „Token-Steuer" der Multi-Agent-Kollaboration und macht iteratives Schlussfolgern für komplexe Aufgaben ohne prohibitiven Latenz- oder Kostenaufwand machbar.
Skalierbarkeit: Es zeigt, dass die Systemleistung durch Vertiefung der Rekursionsschleife skaliert werden kann, ähnlich wie einzelne Modelle mit der Tiefe skalieren, jedoch angewendet auf ein kollaboratives Ökosystem.
Stabilität: Durch die Verlagerung der Kollaboration in den latenten Raum überwindet es die Probleme der Gradienteninstabilität, die historisch das tiefe rekursive Training in textbasierten Systemen geplagt haben.
Generalisierung: Die Fähigkeit des Frameworks, sich über verschiedene Agententopologien (sequenziell, parallel, Distillation) zu generalisieren, deutet auf einen robusten, universellen Ansatz zur Skalierung der Agentenkollaboration hin.

Zusammenfassend beweist RecursiveMAS, dass Rekursion im latenten Raum eine gangbare und überlegene Skalierungsachse für Multi-Agent-Systeme ist und einen Weg zu leistungsfähigeren, effizienteren und besser trainierbaren kollaborativen KI-Systemen bietet.