What Should Agents Say? Action-state Communication for Efficient Multi-Agent Systems

Technische Zusammenfassung: PACT für effiziente Multi-Agenten-Systeme

Problemstellung
Multi-Agenten-Systeme (MAS), die auf Large Language Models (LLMs) basieren, verlassen sich typischerweise auf unbeschränkte natürliche Sprache für die Kommunikation zwischen den Agenten. Während Agenten über Rollen, Pipelines oder Turn-Schedules zusammenarbeiten, ist der ausgetauschte Inhalt oft freiformhaft und umfasst vollständige Reasoning-Spuren (Reasoning Traces), ausschweifende Erklärungen und redundante Wiederholungen. Dieser Ansatz erzeugt eine kritische Ineffizienz: Da Agenten lange interne Denkprozesse weiterleiten, müssen nachgeschaltete Agenten diesen Inhalt wiederholt als Teil des gemeinsamen Dialogverlaufs verarbeiten. Dieses „Kontext-Compounding“ führt zu einer schnellen Inflation des Token-Verbrauchs, beansprucht die gemeinsamen Kontextfenster und verschlechtert sowohl die Systemleistung als auch die Inferenzkosten, insbesondere in Multi-Turn-Settings mit modernen Reasoning-Modellen.

Die aktuelle MAS-Forschung hat sich weitgehend auf die Orchestrierung (Rollen, Turn-Taking, Tool-Allokation) konzentriert und den Inhalt der Nachrichten zwischen den Agenten als eine sekundäre, unbeschränkte Variable behandelt. Das Paper argumentiert, dass der Inhalt der Nachrichten ein zentraler Designhebel ist, der sowohl die Leistung als auch die Kosten direkt formt.

Methodik: Diagnostische Analyse und PACT
Die Autoren führten zunächst eine diagnostische Analyse über zwei unterschiedliche MAS-Topologien hinweg durch – eine symmetrische Split-Evidence Interaction (Setting A) und eine Sequenzielle Pipeline (Setting B) – unter Verwendung von Modellen mit 8B bis 32B Parametern. Sie evaluierten fünf gängige Kommunikationsstrategien:

1. Full Content: Weitergabe des gesamten freiformhaften Outputs, einschließlich der Reasoning Traces.
2. Concise Generation: Verwendung von nativen Non-Thinking-Modi, um kürzere Antworten zu erzeugen.
3. Conclusion Only: Übergabe nur der finalen Antwort bzw. Schlussfolgerung.
4. Brief Summary: Explizite Aufforderung zu einer kurzen, freiformhaften Zusammenfassung.
5. Artifact Only: Übergabe nur des rollenspezifischen Artefakts (z. B. eines Plans oder einer Kritik).

Ergebnisse der Analyse:

• Es gibt keine Strategie, die universell optimal für alle Topologien ist.
• Full Content ist konsistent teuer und redundant.
• Concise Generation und Brief Summary sind instabil; sie lassen oft aufgabenrelevante Informationen weg, die für nachgeschaltete Agenten notwendig sind.
• Conclusion Only funktioniert in Pipelines (wo der Kontext durch die Rollenreihenfolge gegeben ist), scheitert aber in Interaktionen, in denen Evidenz fehlt.
• Artifact Only erfasst nützliche Inhalte, lässt aber das notwendige Protokoll vermissen, um Intention und Erdung (Grounding) zu signalisieren, was manchmal zu erhöhten Interaktionsrunden führt.

Das PACT-Protokoll
Bas auf der Erkenntnis, dass effektive Nachrichten aktionszentrierte Informationen statt privater Denkprozesse bewahren müssen, schlagen die Autoren PACT (Protocolized Action-state Communication and Transmission) vor.

• Kernmechanismus: PACT behandelt die Kommunikation zwischen Agenten als ein Problem der öffentlichen Zustandsaktualisierung. Bevor der Roh-Output eines Agenten ($y_t$) an den gemeinsamen Verlauf angehängt wird, wird er durch eine Sender-seitige Funktion ($\Pi_{PACT}$) in einen kompakten, strukturierten Datensatz projiziert.
• Nachrichtenstruktur: Die öffentliche Nachricht besteht aus drei Feldern:
  1. ACTION: Gibt explizit an, was der Sender getan hat oder was der nächste Agent tun soll (Klärung der Intention).
  2. STATE: Protokolliert die Evidenz, Beobachtungen oder das Feedback aus der Umgebung, auf dem die Aktion basiert (Bereitstellung von Kontext).
  3. RESULT: Enthält das handlungsrelevante Ergebnis (z. B. eine verfeinerte Lösung, eine extrahierte Tatsache oder ein Tool-Ergebnis).
• Privatsphäre-Grenze: PACT trennt strikt zwischen privater Berechnung und öffentlicher Kommunikation. Agenten behalten ihre vollen internen Denkprozesse, Selbstprüfungen und Planungsfähigkeiten; nur der resultierende Action-State-Datensatz wird geteilt. Dies verhindert, dass die Zwischen-Deliberation im Kontextfenster kumuliert.
• Harness-Agnostisch: Das Protokoll ist orthogonal zu MAS-Designentscheidungen (Rollen, Schedulings) und kann als leichtgewichtiger Proxy-Hook in bestehenden Systemen implementiert werden, ohne die Modelle neu trainieren zu müssen.

Wesentliche Beiträge

1. Systematische Analyse: Nachweis, dass keine feste Kommunikationspolitik universell optimal ist, und Identifizierung der Nachrichteninhalte zwischen Agenten als eine unterschätzte, aber kritische Design-Dimension.
2. PACT-Protokoll: Einführung eines trainingsfreien, Harness-agnostischen Protokolls, das eine Grenze zwischen privater Berechnung und öffentlicher Kommunikation definiert und den geteilten Verlauf auf kompakte Action-State-Datensätze beschränkt.
3. Empirische Validierung: Nachweis, dass PACT die Performance-Kosten-Front über kontrollierte MAS-Settings und reale Coding-Harnesses hinweg verbessert.

Experimentelle Ergebnisse

• Kontrollierte MAS-Settings:
  • Split-Evidence (Setting A): PACT erreichte vergleichbare oder überlegene F1-Scores bei einer Reduktion des Token-Verbrauchs um durchschnittlich 38,7 % gegenüber den Baselines und Modellskalen im Vergleich zur unbeschränkten Kommunikation.
  • Sequenzielle Pipeline (Setting B): PACT erreichte eine vergleichbare oder stärkere Genauigkeit bei signifikant weniger Tokens. Beispielsweise nutzte PACT beim Qwen3-32B-Modell nur etwa 19–23 % der Tokens, die die Multi-Agent-Debate-Baselines benötigten, während die Genauigkeit beibehalten oder verbessert wurde.
  • Ablation: Das Entfernen eines der drei Felder (Action, State, Result) verschlechterte die Leistung und erhöhte den Token-Verbrauch, was die Notwendigkeit des vollständigen Action-State-Handoffs bestätigt.
• Reale Coding-Harnesses:
  • OpenHands: PACT steigerte die SWE-bench Verified Resolve-Rate von 19,40 % auf 23,00 % (+18 gelöste Instanzen) bei einer Reduktion der Tokens pro gelöstem Fall um 10,3 %.
  • SWE-agent: PACT reduzierte die Input-Tokens um 50,4 % (von 314,6 Mio. auf 156,0 Mio.) und die Tokens pro gelöstem Fall um 47 %, bei einem vernachlässigbaren Einfluss auf die Resolve-Rate (25,6 % zu 24,2 %).

Bedeutung und Behauptungen
Das Paper behauptet, dass die Disziplinierung des Inhalts der Nachrichten zwischen Agenten ein effektiver Mechanismus zur Reduzierung des redundanten Kontextwachstums ist. PACT zeigt, dass Agenten nicht ihre gesamten Denkprozesse teilen müssen, um effektiv zusammenzuarbeiten; stattdessen ist ein strukturierter, geerdeter Action-State-Datensatz ausreichend, damit nachgeschaltete Agenten die Aufgabe fortsetzen können.

Die Autoren betonen, dass PACT trainingsfrei und Harness-agnostisch ist, was es zu einer praktischen Intervention zur Laufzeit für bestehende agentische Anwendungen macht. Die Ergebnisse legen nahe, dass die „Performance-Kosten-Front“ in MAS nicht nur durch Skalierung von Modellen oder Änderung der Orchestrierung verbessert werden kann, sondern indem man strikt definiert, welche Informationen in den gemeinsamen Kommunikationskanal gelangen. Das Paper schließt mit der Feststellung, dass es ineffizient ist, die Kommunikation zwischen Agenten als unbeschränkte natürliche Sprache zu belassen, und dass strukturierte Protokolle wie PACT für skalierbare, kosteneffiziente Multi-Agenten-Systeme notwendig sind.