💬 NLP

Latent Collaboration in Multi-Agent Systems

Dieses Paper stellt LatentMAS vor, ein trainingsfreies Framework, das Multi-Agenten-Systeme dazu befähigt, direkt innerhalb des kontinuierlichen latenten Raums über gemeinsame verborgene Embeddings zu kollaborieren, wodurch eine überlegene Denkleistung, eine signifikante Token-Reduktion und eine schnellere Inferenz im Vergleich zu traditionellen textbasierten Ansätzen erreicht wird.

Ursprüngliche Autoren: Jiaru Zou, Ruizhong Qiu, Gaotang Li, Xiyuan Yang, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiaru Zou, Ruizhong Qiu, Gaotang Li, Xiyuan Yang, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein Team aus brillanten Experten, die versuchen, ein komplexes Rätsel zu lösen. In der Welt der Künstlichen Intelligenz sind diese KI-Agenten „Large Language Models“ (LLMs).

Der alte Weg: Der „lärmende Besprechungsraum“
Traditionell kommunizieren diese KI-Agenten, wenn sie zusammenarbeiten, wie Menschen in einem sehr lauten Besprechungsraum. Ein Agent denkt nach, schreibt seine Gedanken in einfachem Englisch (Text) auf und reicht die Notiz an den nächsten Agenten weiter. Der nächste Agent muss diese lange Notiz lesen, darüber nachdenken, eine neue lange Notiz schreiben und sie dann weiterreichen.

Dieser Prozess ist langsam und verschwenderisch. Es ist, als würde man versuchen, eine geheime Nachricht zu übermitteln, indem man sie durch ein überfülltes Stadion schreit. Man muss jedes einzelne Wort (Token) laut aussprechen, selbst wenn der Kern der Idee ganz einfach ist. Das kostet viel Zeit und Energie (Rechenleistung).

Der neue Weg: LatentMAS (Das „telepathische Team“)
Die Arbeit stellt LatentMAS vor, eine neue Art und Weise, wie KI-Agenten zusammenarbeiten können. Anstatt Notizen durch den Raum zu rufen, nutzen die Agenten Telepathie.

So funktioniert es, unterteilt in einfache Konzepte:

1. Denken in „Geheimcodes“ (Latente Gedanken)

Anstatt ganze Sätze wie „Die Antwort ist 42“ zu schreiben, generiert jeder Agent „latente Gedanken“.

Die Analogie: Stellen Sie sich einen Koch vor, der normalerweise ein Rezept auf einem Stück Papier für den nächsten Koch aufschreibt. Mit LatentMAS übergibt der Koch einfach die tatsächlichen Zutaten und den exakten Zustand des Topfes an den nächsten Koch. Der nächste Koch muss nicht erst eine Beschreibung der Suppe lesen; er kann den aktuellen Zustand der Suppe direkt durch den Topf hindurch „schmecken“.
Die Technik: Die Agenten überspringen den Schritt, ihre Gedanken in Worte zu fassen. Sie geben die rohe, hochgradige „Empfindung“ oder „Repräsentation“ ihrer Gedanken direkt aus ihrem internen Gehirn (den verborgenen Schichten des Modells) weiter.

2. Der „gemeinsame Rucksack“ (Latentes Arbeitsgedächtnis)

Auf dem alten Weg, wenn Agent A an etwas denkt, muss er es erst einmal aufschreiben, und Agent B muss es dann wieder alles einlesen, um es zu verstehen.

Die Analogie: Stellen Sie sich einen Staffellauf vor. Auf dem alten Weg muss der Läufer anhalten, einen Brief schreiben, ihn dem nächsten Läufer übergeben, der ihn dann erst lesen muss, bevor er weiterläuft.
Der neue Weg: In LatentMAS teilen die Läufer einen magischen Rucksack. Wenn Agent A seinen Teil beendet hat, schreibt er keinen Brief. Er übergibt einfach den gesamten Rucksack (der den Kontext und die neuen Gedanken enthält) an Agent B. Agent B öffnet den Rucksack und weiß sofort alles, was Agent A wusste, ohne jegliche Übersetzung oder erneutes Lesen. Dies wird als „verlustfreie Informationsübertragung“ bezeichnet, da bei der Übersetzung nichts verloren geht.

3. Warum es ein Game-Changer ist

Die Arbeit behauptet, dass diese Methode ein massives Upgrade für drei Gründe darstellt:

Es ist schneller (Geschwindigkeit): Da die Agenten keine Zeit mit dem Schreiben und Lesen von tausenden Wörtern verschwenden, erledigen sie Aufgaben viel schneller. Die Arbeit besagt, dass sie 4- bis 7-mal schneller sind als die textbasierten Teams der alten Art.
Es ist klüger (Genauigkeit): Indem sie die „rohe Empfindung“ des Gedankens anstelle einer vereinfachten Textzusammenfassung weitergeben, können die Agenten Nuancen besser verstehen. Die Arbeit zeigt, dass sie mehr Fragen richtig beantworten (bis zu 14 % bessere Genauigkeit) bei schwierigen Mathe- und Wissenschaftsproblemen.
Es ist günstiger (Effizienz): Das Schreiben von Text verbraucht viel Rechenleistung. Das Weitergeben des „rohen Gedankens“ benötigt deutlich weniger. Die Arbeit fand heraus, dass sie 70 % bis 83 % weniger „Tokens“ (die digitale Währung der KI-Berechnung) verbrauchten, um die Aufgabe zu bewältigen.

Der „magische Kleber“ (Input-Output-Ausrichtung)

Sie fragen sich vielleicht: „Wenn sie keine Wörter schreiben, wie versteht der nächste Agent dann die Rohdaten?“
Die Forscher haben einen speziellen „Übersetzer“ entwickelt (eine kleine mathematische Anpassung), der wie ein magischer Kleber wirkt. Er stellt sicher, dass Agent B den „rohen Gedanken“, den Agent A weitergibt, sofort als gültigen Input erkennt, obwohl er anders aussieht als ein normales Wort. Dies geschieht automatisch, ohne dass die KI-Modelle neu trainiert werden müssen.

Das Fazste

LatentMAS ist wie ein Upgrade für ein Team von KI-Agenten – von einer Gruppe von Menschen, die in einer Bibliothek handschriftliche Notizen austauschen, hin zu einer Gruppe von Telepathen, die ein einziges, perfektes Bewusstsein teilen. Sie lösen Probleme schneller, machen weniger Fehler und verbrauchen viel weniger Energie, und das alles, ohne neue Fähigkeiten erlernen oder neu trainiert werden zu müssen.

Die Arbeit testete dies an 9 verschiedenen Herausforderungen, einschließlich Mathematik, Wissenschaft, Programmierung und Allgemeinwissen, und das „telepathische“ Team schlug die „Notiz-reichenden“ Teams konsequent.

Technisches Resümee: Latente Kollaboration in Multi-Agenten-Systemen

1. Problemstellung

Aktuelle auf Large Language Models (LLM) basierende Multi-Agenten-Systeme (MAS) verlassen sich auf textbasierte Mediation für das Schließen (Reasoning) und die Kommunikation. In diesen Systemen tauschen Agenten Informationen über natürliche Sprach-Tokens aus, die als „Lingua Franca“ dienen. Während dieser Ansatz effektiv ist, führt er zu erheblichen Ineffizienzen:

Rechenaufwand: Das Generieren und Dekodieren von Text-Tokens ist rechenintensiv, was zu hoher Latenz und hohem Token-Verbrauch führt.
Informationsverlust: Die Konvertierung kontinuierlicher interner Repräsentationen in diskrete Tokens und zurück kann zu Informationsverlust oder „Re-Enkodierungskosten“ führen.
Ausdrucksbeschränkungen: Diskrete Tokens können möglicherweise nicht die volle Reichhaltigkeit der kontinuierlichen internen Denkprozesse eines Modells erfassen.

Die bestehende Forschung hat latente Repräsentationen für das interne Schließen eines einzelnen Modells (z. B. latenter Chain-of-Thought) oder den begrenzten Informationsaustausch (z. B. KV-Cache-Sharing zwischen zwei Modellen) untersucht. Ein umfassendes Framework, das eine reine latente Kollaboration über mehrere Agenten hinweg ermöglicht – bei der das Schließen und die Kommunikation vollständig innerhalb des kontinuierlichen latenten Raums ohne intermediäre Textdekodierung stattfinden – bleibt jedoch unerforscht.

2. Methodik: LatentMAS

Die Autoren führen LatentMAS ein, ein end-to-end, trainingsfreies Framework, das es LLM-Agenten ermöglicht, rein innerhalb des kontinuierlichen latenten Raums zu kollaborieren. Das Framework operiert auf drei Kernmechanismen:

A. Auto-regressive Generierung latenter Gedanken

Anstatt Tokens zu dekodieren, führt jeder Agent das Schließen durch die auto-regressive Generierung von letzten-Schicht-Hidden-Repräsentationen ( $h_t$ ) durch.

Prozess: Gegeben die Input-Embeddings berechnet ein Agent den finalen Hidden-Zustand. Dieser Zustand wird dann als Input für den nächsten Schritt behandelt, wobei der Standard-Softmax und die Vokabular-Projektion ( $W_{out}$ ) umgangen werden.
Input-Output-Ausrichtung: Um den distributional drift zu verhindern (bei dem generierte Hidden-Zustände statistisch von gelernten Token-Embeddings abweichen), schlagen die Autoren einen linearen Alignment-Operator vor. Eine Projektionsmatrix $W_a$ (approximiert als $W_{out}^\dagger W_{in}$ ) bildet den Output-Hidden-Zustand zurück in den gültigen Input-Embedding-Raum ab, bevor er in den nächsten Schritt eingespeist wird. Dies wird einmal pro Durchlauf berechnet und wiederverwendet.

B. Transfer des latenten Arbeitsgedächtnisses

Um die Kommunikation zwischen Agenten ohne Text zu ermöglichen, nutzt LatentMAS ein gemeinsames latentes Arbeitsgedächtnis, das in den Key-Value (KV) Caches gespeichert ist.

Mechanismus: Wenn Agent $A_1$ seine latenten Denkprozesse abgeschlossen hat, werden seine akkumulierten KV-Caches (die sowohl den initialen Input-Kontext als auch die neu generierten latenten Gedanken enthalten) extrahiert.
Transfer: Diese KV-Caches werden direkt vor die KV-Caches des nachfolgenden Agenten ( $A_2$ ) vorangestellt. Dies ermöglicht es $A_2$ , seine Generierung auf den vollständigen internen Zustand von $A_1$ zu konditionieren, ohne die Information in Text re-enkodieren zu müssen.
Fidelität: Dieser Mechanismus gewährleistet einen verlustfreien Informationstransfer, da die rohen kontinuierlichen Repräsentationen erhalten bleiben und direkt weitergegeben werden.

C. Systemarchitektur

Das Framework ist agnostisch gegenüber spezifischen Kollaborationsstrategien und wird unter zwei Standard-MAS-Settings evaluiert:

Sequentielles MAS: Eine Kette von Agenten-Pipelines (Planner $\to$ Critic $\to$ Refiner $\to$ Solver), in der latente Gedanken sequentiell fließen.
Hierarchisches MAS: Domänenspezialisierte Agenten (Mathematik, Naturwissenschaften, Code) denken unabhängig, wobei ein Summarizer-Agent deren latente Arbeitsgedächtnisse aggregiert, um eine finale Antwort zu synthetisieren.

Nur der finale Agent in der Pipeline dekodiert das Ergebnis in Text; alle intermediären Denkprozesse und die Kommunikation bleiben latent.

3. Kernbeiträge

Reines latentes Kollaborations-Framework: LatentMAS ist das erste Framework, das latentes Schließen und latente Kommunikation über mehrere Agenten hinweg vereinheitlicht und dabei vollständig im kontinuierlichen Raum operiert, ohne intermediäre Textgenerierung.
Trainingsfreies Design: Die Methode erfordert kein Fine-Tuning oder zusätzliche Trainingsdaten. Sie nutzt existierende vortrainierte Modelle und verwendet eine einfache lineare Projektion, um die latenten Räume abzugleichen.
Theoretische Analyse:
- Expressivität: Die Autoren beweisen, dass latente Gedanken Informationen mit einer um $O(d_h / \log |V|)$ höheren Effizienz repräsentieren können als textbasiertes Schließen, wobei $d_h$ die Hidden-Dimension und $|V|$ die Vokabulargröße ist.
- Informationserhaltung: Sie zeigen, dass der Transfer von KV-Caches eine Informationstreue garantiert, die einem direkten Austausch von Inputs entspricht.
- Komplexität: LatentMAS weist eine geringere Zeitkomplexität im Vergleich zu textbasierten MAS bei äquivalenter Expressivität auf, indem es den Overhead von Token-Dekodierung und Re-Enkodierung vermeidet.
Empirische Validierung: Umfassende Evaluierung über 9 Benchmarks (Mathe, Naturwissenschaften, Common Sense, Code) und 5 Modellskalen (Qwen3- und Llama3-Familien).

4. Ergebnisse

LatentMAS zeigt konsistente Verbesserungen gegenüber sowohl Single-Model-Baselines als auch textbasierten MAS (TextMAS) über alle Metriken hinweg:

Genauigkeit (Accuracy):
- Übertrifft Single-Model-Baselines im Durchschnitt um 14,6 % (Sequentiell) und 13,3 % (Hierarchisch).
- Übertrifft textbasierte MAS-Baselines um 2,8 % (Sequentiell) und 4,6 % (Hierarchisch).
- Erreicht bis zu 14,6 % höhere Genauigkeit bei spezifischen Aufgaben im Vergleich zu den besten textbasierten Baselines.
Token-Effizienz:
- Reduziert den gesamten Output-Token-Verbrauch um 70,8 % bis 83,7 % im Vergleich zu textbasierten MAS.
- Reduziert den Token-Verbrauch um 15,0 % bis 60,3 % im Vergleich zu Single-Agenten.
Inferenzgeschwindigkeit:
- Liefert eine 4,0- bis 4,3-mal schnellere End-to-End-Inferenz im Vergleich zu textbasierten MAS.
- Erreicht Beschleunigungen im Bereich von 2,6x bis 7,7x, abhängig von der Aufgabe und der Modellskala.
Latente Schritt-Analyse: Die Leistung erreicht ihren Höhepunkt bei 40–80 latenten Schritten, wonach die Gewinne stagnieren, was auf einen optimalen Trade-off zwischen Tiefe des Denkprozesses und Redundanz hindeutet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass LatentMAS ein skalierbares und allgemeines Paradigma für agentische Kollaboration etabliert, das die Beschränkungen der natürlichen Sprache überschreitet. Seine Signifikanz liegt in:

Effizienz-Expressivität-Tradeoff: Es formt den traditionellen Tradeoff um, indem es eine höhere Ausdrucksstärke (reichere semantische Strukturen) bei gleichzeitig wesentlich geringerem Rechenaufwand bietet.
Verlustfreie Kommunikation: Durch die Vermeidung des diskreten Flaschenhalses des Textes stellt es sicher, dass interne Agentenzustände während des Transfers perfekt erhalten bleiben, was potenziell zu robusterem Multi-Agenten-Schließen führt.
Praktische Implementierung: Als trainingsfreie Methode kann es sofort auf existierende LLMs angewendet werden, um die systemische Intelligenz ohne die Kosten eines Retrainings zu erhöhen.

Die Autoren kommen zu dem Schluss, dass der Übergang von textvermittelter zu latent vermittelter Kollaboration ein entscheidender Schritt zur Realisierung effizienter, hochkapazitiver systemischer Intelligenz im Zeitalter der Agentic AI ist.