💬 NLP

FutureWeaver: Planning Test-Time Compute for Multi-Agent Systems with Modularized Collaboration

FutureWeaver ist ein Framework, das die Leistung von Multi-Agenten-Systemen unter festen Testzeit-Rechenbudgets verbessert, indem es selbstinduzierte Kollaborationsmodule und eine duale Planungsebene einführt, um Inferenz-Trajektorien durch prinzipielle Ressourcenallokation zu optimieren.

Ursprüngliche Autoren: Dongwon Jung, Peng Shi, Muhao Chen, Yi Zhang

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongwon Jung, Peng Shi, Muhao Chen, Yi Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager eines Teams aus spezialisierten Experten (wie einem Forscher, einem Programmierer, einem Autor und einem Faktenchecker), die versuchen, ein sehr schwieriges Rätsel zu lösen. Sie haben ein striktes Limit für das Geld, das Sie für deren Zeit und Mühe ausgeben können (Ihr „Budget“).

Früher, wenn Sie wollten, dass Ihr Team eine bessere Arbeit leistet, hätten Sie ihnen vielleicht einfach gesagt: „Denk härter nach“ oder „Versuch es noch einmal“. Aber in einem Multi-Agenten-System hilft es nicht immer, einfach einer Person zu sagen, sie solle härter arbeiten. Manchmal müssen Sie, dass der Forscher mit dem Programmierer spricht, oder dass der Faktenchecker den Entwurf des Autors überprüft, bevor Sie zum nächsten Schritt übergehen. Das Problem ist: Wie entscheiden Sie, wer wann wie lange mit wem kommuniziert, ohne Ihr Budget zu sprengen?

Dies ist das Problem, das die Arbeit FUTUREWEAVER zu lösen versucht. Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Das Problem: Die „starre Fließbandarbeit“

Die meisten aktuellen Systeme funktionieren wie ein starres Fließband. Eine Person erledigt eine Aufgabe, übergibt sie an die nächste und so weiter. Wenn die erste Person einen Fehler macht, kann die gesamte Linie scheitern, oder man verschwendet Geld, indem man denselben Schritt immer wiederholt.

Das Problem: Diese Systeme wissen nicht, wie sie ihre Teammitglieder effektiv kombinieren und einsetzen können. Sie haben auch Schwierigkeiten, vorausschauend zu planen. Sie könnten ihr ganzes Geld für den ersten Schritt eines Rätsels ausgeben und dann nichts mehr für die entscheidenden letzten Schritte übrig haben.

2. Die Lösung: „Kollaborations-Module“ (Die fertigen Rezepte)

FUTUREWEAVER führt eine neue Idee namens Kollaborations-Module ein.

Die Analogy: Stellen Sie sich vor, anstatt nur eine Liste einzelner Köche zu haben, besitzen Sie eine Bibliothek mit fertigen Rezepten.
- Rezept A: „Der Forscher und der Autor arbeiten zusammen, um eine Geschichte zu entwerfen.“
- Rezept B: „Drei Programmierer schreiben parallel Code, und ein Reviewer wählt den besten aus.“
Wie es funktioniert: Das System ruft nicht einfach nur einen Agenten auf; es kann ein ganzes „Rezept“ (ein Modul) aufrufen, das automatisch mehrere Agenten gleichzeitig koordiniert. Diese Rezepte werden nicht von Menschen handgeschrieben; das System lernt sie, indem es sich selbst beim Erfolg beobachtet. Es spielt das Spiel viele Male durch, sieht, welche Team-Kombinationen am besten funktioniert haben, und verwandelt diese erfolgreichen Muster in wiederverwendbare „Rezepte“.

3. Das Gehirn: „Dual-Level-Planung“ (Das GPS und der Scout)

Selbst mit großartigen Rezepten müssen Sie immer noch wissen, welches Sie in diesem Moment wählen sollen. FUTUREWEAVER nutzt ein zweiteiliges Planungssystem, das einem GPS kombiniert mit einem Scout ähnelt:

Kurzfristige Planung (Der Scout): Dieser betrachtet den unmittelbaren nächsten Schritt. „Wenn ich jetzt das Rezept ‚Forscher + Autor‘ verwende, sieht das basierend auf dem, was wir gerade getan haben, nach einer guten Idee aus?“ Er prüft, ob das Team mit dem Zug einverstanden ist und ob dieser Schritt in ähnlichen vergangenen Situationen gut funktioniert hat.
Langfristige Planung (Das GPS): Das ist der magische Teil. Er führt die Arbeit noch nicht tatsächlich aus; er stellt sich die Zukunft vor. Er fragt: „Wenn ich jetzt dieses Rezept wähle, werde ich mein Geld aufbrauchen, bevor ich das Rätsel gelöst habe?“ Er simuliert den Rest der Reise im Kopf (ohne echtes Geld auszugeben), um zu sehen, ob der Pfad machbar ist.
Das Ergebnis: Das System wählt den Zug, der nicht nur jetzt gerade gut ist, sondern der auch garantiert, dass es nicht pleitegeht, bevor die Aufgabe erledigt ist.

4. Das „Self-Play“ (Lernen durch Tun)

Woher weiß das System, welche Rezepte gut sind oder wie viel sie kosten? Es nutzt Self-Play Reflection.

Die Analogy: Denken Sie an einen Schachspieler, der tausende Partien gegen sich selbst spielt, um die besten Strategien zu lernen.
Wie es funktioniert: Bevor das System echte Probleme löst, durchläuft es viele Übungsaufgaben. Es zeichnet auf, wie viel jedes „Rezept“ gekostet hat und wie oft es zu einem Sieg geführt hat. Es nutzt diese Daten dann, um seine Rezeptbibliothek und seine Kostenschätzungen aufzubauen. Es ist wie ein Coach, der Spielvideos analysiert, um ein Playbook zu erstellen.

5. Die Ergebnisse: Mehr Leistung für das eingesetzte Budget

Das Paper testete dieses System bei drei schwierigen Herausforderungen:

Allgemeinwissen & Web-Browsing: Antworten im Internet finden.
Tiefgehende Recherche: Durch viele Dokumente graben, um spezifische Fakten zu finden.
Programmierung: Computercode schreiben und überprüfen.

Was passierte?

Alte Methoden haben oft Geld verschwendet. Sie gaben zu viel für frühe Schritte aus oder gerieten in Schleifen, wodurch sie kein Budget mehr für die finale Antwort übrig hatten.
FUTUREWEIVER lieferte konsistent bessere Antworten und blieb dabei innerhalb des Budgets. Es lernte, Geld dann aggressiv auszugeben, wenn es wichtig war (wie beim Überprüfen von Code), und dann, wenn es nicht nötig war, konservativ zu agieren.

Zusammenfassung

FUTUREWEIVER ist wie ein intelligenter Projektmanager für ein Team von KI-Agenten. Anstatt ihnen einfach nur zu sagen, sie sollen „härter arbeiten“,:

Erstellt es wiederverwendbare Teamwork-Rezepte basierend auf dem, was in der Vergangenheit funktioniert hat.
Plant zwei Schritte voraus (und darüber hinaus), um sicherzustellen, dass es nicht vor Abschluss der Aufgabe pleitegeht.
Lernt aus seinen eigenen Übungsrunden, um das Management des Teams zu verbessern.

Das Ergebnis ist ein System, das schwierigere Probleme mit demselben Budget löst, einfach weil es klüger damit umgeht, wie es sein Team einsetzt.

Technisches Resümee: FUTUREWEAVER

Problemstellung

Während die Skalierung der Test-Time-Computation nachweislich die Leistung von Large Language Models (LLMs) in Single-Agent-Umgebungen verbessert hat (z. B. durch Selbstkorrektur, iterative Verifizierung oder Best-of-N-Sampling), stellt die Ausweitung dieser Techniken auf Multi-Agenten-Systeme besondere Herausforderungen dar. Bestehende Ansätze verlassen sich häufig auf starre Orchestrator-Worker-Paradigmen, die Agenten sequenziell ausführen, und versäumen es so, Synergien zwischen heterogenen Agenten zu nutzen. Darüber hinaus mangelt es aktuellen Methoden an prinzipienbasierten Mechanismen zur Zuweisung von Rechenleistung unter strengen Budgetbeschränkungen. Sie optimieren oft innerhalb fixer Inferenzstrukturen oder versäumen es, die Inferenz als ein Trajektorien-Planungsproblem über einen kombinatorischen Raum von Agenten-Aufrufen zu behandeln. Infolgedessen können Systeme in Phasen mit geringem Hebelwirkung zu viel investieren oder in kritischen späteren Koordinationsschritten zu wenig investieren, was selbst bei verfügbarem Budget zu suboptimaler Leistung führt.

Methodik: FUTUREWEVER

Das Paper schlägt FUTUREWEAVER vor, ein Framework, das darauf ausgelegt ist, die Zuweisung der Test-Time-Compute in Multi-Agenten-Systemen unter festen Budgets zu optimieren. Das Framework integriert drei Kernkomponenten:

1. Kollaborationsmodule

Um über die sequentielle Ein-Agent-nach-dem-anderen-Ausführung hinauszugehen, führen die Autoren Kollaborationsmodule ein. Dabei handelt es sich um modulare, aufrufbare Funktionen, die hochgradene Koordinationsstrategien zwischen mehreren Agenten kapseln (z. B. „suchen dann browsen“ oder „Ensemble-Reasoning“).

Abstraktion: Module werden als $m = (S, \kappa)$ formalisiert, wobei $S$ eine Teilmenge von Worker-Agenten und $\kappa$ eine Koordinationsstrategie ist.
Entdeckung: Module werden nicht manuell entworfen, sondern automatisch mittels Self-Play Reflection induziert. Das System führt Trajektorien auf Validierungsaufgaben aus, identifiziert wiederkehrende Interaktionsmuster, die zum Erfolg führen, und abstrahiert diese in wiederverwendbare Module.
Aktionsraum: Der Aktionsraum des Orchestrators wird erweitert, um sowohl individuelle Basis-Agenten als auch diese Kollaborationsmodule zu umfassen ( $A' = A \cup M$ ).

2. Dual-Level-Planungsarchitektur

Um den kombinatorischen Raum von Agenten-/Modul-Aufrufen unter einem harten Budget zu navigieren, nutzt FUTUREWEAVER eine Dual-Level-Planungsstrategie, die von A*-Suche und spekulativem Dekodieren inspiriert ist:

Kurzfristige Planung (Lokaler Gewinn): Bewertet das unmittelbare Versprechen einer Kandidatenaktion $\alpha_t$ . Sie berechnet einen Gewinnwert $g(\alpha_t)$ basierend auf:
- Selbstkonsistenz (SC): Misst den lokalen Konsens unter den Stichproben-Aktionen, um das Vertrauen zu bestimmen.
- Performance Prior (PP): Ein empirischer Zuverlässigkeitswert, der aus den Erfolgsraten ähnlicher historischer Trajektorien im Experience-Buffer abgeleitet wird.
- Der Gewinn wird als geometrisches Mittel berechnet: $g(\alpha_t) = \sqrt{SC(\alpha_t) \cdot PP(\alpha_t)}$ .
Langfristige Planung (Globale Machbarkeit): Führt ein abstraktes Lookahead durch, um abzuschätzen, ob eine Kandidatenaktion innerhalb des verbleibenden Budgets zu einer erfolgreichen Trajektorie führen kann.
- Der Orchestrator generiert spekulative Trajektorien symbolisch (ohne die Agenten tatsächlich auszuführen), welche potenzielle zukünftige Sequenzen von Modulen repräsentieren.
- Unter Verwendung von Kostenschätzungen, die durch Self-Play gewonnen wurden, werden Trajektorien, die das verbleibende Budget überschreiten, herausgefiltert.
- Ein Machbarkeitswert $h(\alpha_t)$ wird basierend auf dem Anteil der Kandidatenaktionen berechnet, die budgetkonforme Fortsetzungen zulassen.
- Dieser Wert steuert den Kurzfrist-Planer aktiv und stellt sicher, dass lokale Entscheidungen mit der globalen Machbarkeit im Einklang stehen.
Selektion: Die endgültige Utility ist $f(\alpha_t) = g(\alpha_t) + h(\alpha_t)$ . Die Aktion mit der höchsten Utility wird ausgewählt, wodurch ein Gleichgewicht zwischen unmittelbarem Fortschritt und langfristiger Budgetkonformität hergestellt wird.

3. Self-Play Reflection

Dieser Offline-Prozess erfolgt iterativ und dient als Motor des Frameworks:

Er generiert Ausführungstrajektorien auf einer Teilmenge von Validierungsaufgaben, um einen Experience-Buffer aufzubauen.
Er liefert Kostenschätzungen (gemittelt über beobachtete Subtasks) und Leistungsschätzungen (Trajektorien-basierte Erfolgsraten) sowohl für Basis-Agenten als auch für entdeckte Module.
Er treibt die Entdeckung von Kollaborationsmodulen voran, indem er erfolgreiche Trajektorien auf wiederkehrende Muster analysiert.

Experimentelle Ergebnisse

Die Autoren evaluierten FUTUREWEAVER auf drei Benchmarks: GAIA (allgemeine KI-Assistenten-Aufgaben), BrowseComp-Plus (Web-Browsing) und BigCodeBench (Coding). Sie verglichen es mit fixen Workflows (ADAS, AFlow), Standard-ReAct mit Test-Time-Scaling (Best-of-N, Iterative Verification) sowie ReAct mit Kollaborationsmodulen (Budget-Unaware/Aware).

Leistung: FUTUREWEAVER übertraf durchweg alle Baselines über verschiedene Budget-Einstellungen hinweg auf allen drei Benchmarks. Beispielsweise erreichte es auf GAIA mit Claude-Modellen eine Genauigkeit von 48,15 % bei einem 0,5-Budget, verglichen mit 38,27 % der besten ReAct-Variante.
Budgetausnutzung: Im Gegensatz zu Baselines, die oft verfügbare Budgets unternutzen (wobei die Gesamtkosten weit unter der Beschränkung stagnieren), nutzte FUTUREWEAVER das Budget aggressiv und effektiv aus und überführte Rechenressourcen direkt in Leistungssteigerungen.
Komponentenanalyse: Ablationsstudien zeigten, dass die kurzfristige Planung allein zwar eine Steigerung bewirkte und die langfristige Planung allein bei höheren Budgets etwas besser abschnitt, die Dual-Level-Kombination jedoch die stärksten Ergebnisse lieferte. Dies bestätigt die Notwendigkeit der Integration von lokalen und globalen Signalen.

Bedeutung und Ansprüche

Das Paper behauptet, dass FUTUREWEAVER eine kritische Lücke in Multi-Agenten-Systemen schließt: das Fehlen prinzipienbasierter Mechanismen für die budgetbeschränkte Rechenleistung-Zuweisung und die effektive Kollaboration.

Kernbeitrag: Die Arbeit formuliert die Multi-Agenten-Optimierung als ein Trajektorien-Planungsproblem über einem kombinatorischen Raum von Agenten- und Modul-Aufrufen, statt als ein einfaches Ressourcenallokationsproblem.
Innovation: Durch die Behandlung der Koordination als ein Function-Calling-Problem mit automatisch induzierten Modulen und dem Einsatz eines Dual-Level-Planers, der Lookahead mit Kandidatengenerierung koppelt, ermöglicht das Framework Systemen, dynamisch zu entscheiden, wann und wie komplexe Kollaborationen aufgerufen werden.
Ergebnis: Die Ergebnisse zeigen, dass strukturierte Kollaboration und vorausschauende Planung essenziell sind, um feste Rechenbudgets in effektive Multi-Agenten-Leistung umzuwandeln, was einen vielversprechenden Weg für den Bau adaptiverer und recheneffizienterer Systeme eröffnet.

Die Autoren bleiben bescheiden hinsichtlich zukünftiger Implikationen und konzentrieren sich strikt auf die Validierung der Effektivität ihres Frameworks bei der Optimierung der Inferenzzeit für die Multi-Agenten-Kollaboration unter strengen Beschränkungen.