Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks

Die Arbeit stellt AggAgent vor, einen Aggregations-Agenten, der parallele Testzeit-Rollouts für langfristige Agentenaufgaben durch gezielte Inspektion und Synthese von Trajektorien effizient zusammenführt und dabei bestehende Methoden signifikant übertrifft, ohne den Kontextfenster-Beschränkungen zu unterliegen.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine extrem schwierige Aufgabe vor sich, zum Beispiel: „Finden Sie heraus, welche Stadt den ältesten amtierenden Bürgermeister hat, basierend auf einer Liste von Hochhäusern aus dem Jahr 1990."

Ein einzelner KI-Agent (ein „digitaler Assistent") versucht diese Aufgabe zu lösen. Er sucht im Internet, liest Dokumente und rechnet nach. Aber manchmal macht er Fehler, verirrt sich oder übersieht wichtige Details.

Das Problem: Der „Einzelkämpfer" ist nicht perfekt.
Wenn Sie nur einen Assistenten schicken, ist das Risiko hoch, dass er scheitert. Wenn Sie aber acht Assistenten gleichzeitig losschicken (parallel), haben Sie acht verschiedene Lösungswege. Das ist wie bei einer Jury: Wenn acht Menschen unabhängig voneinander recherchieren, ist die Chance größer, dass mindestens einer den richtigen Weg findet.

Das alte Problem: Wie fasst man die Ergebnisse zusammen?
Hier gab es bisher zwei schlechte Optionen:

1. Die „Mehrheitsabstimmung": Man schaut, welche Antwort die meisten Assistenten gegeben haben. Das Problem: Wenn alle acht Assistenten denselben Fehler machen (weil sie alle denselben falschen Link angeklickt haben), stimmt die Mehrheit trotzdem falsch.
2. Die „Zusammenfassung": Man lässt jeden Assistenten einen langen Bericht schreiben und fasst diese dann zusammen. Das ist wie ein Stau im Kopf: Die KI muss sich zu viel auf einmal merken, verliert Details und wird verwirrt. Außerdem ist das sehr teuer und langsam.

Die Lösung: AggAgent – Der „Detektiv-Manager"
Die Forscher von Princeton haben AggAgent entwickelt. Stellen Sie sich AggAgent nicht als einen weiteren Assistenten vor, der einfach nur liest, sondern als einen erfahrenen Detektiv oder Projektleiter.

So funktioniert AggAgent mit einer genialen Metapher:

Stellen Sie sich vor, die acht Lösungswege der Assistenten sind acht verschiedene Spurensammler, die in einem riesigen, verworrenen Wald (den Daten) unterwegs sind.

• Der alte Ansatz war: „Wer hat die meiste Beute gesammelt? Wir nehmen den." (Oft falsch).
• Der neue Ansatz (AggAgent) ist: Der Detektiv steht auf einem Hügel und hat Werkzeuge, um die Spurensammler zu steuern, ohne selbst den ganzen Wald durchlaufen zu müssen.

Die Werkzeuge des Detektivs:

1. „Wo seid ihr gelandet?" (get_solution): Der Detektiv ruft kurz an und fragt alle acht: „Was ist euer Endergebnis?"
2. „Suche nach dem Stichwort" (search_trajectory): Wenn zwei Assistenten widersprüchliche Ergebnisse haben, sagt der Detektiv: „Assistent 3, such mal in deinem Notizbuch nach dem Wort 'Bürgermeister'." Er muss nicht das ganze Buch lesen, nur die relevanten Seiten.
3. „Zeig mir den Beweis" (get_segment): Wenn etwas unklar ist, sagt er: „Assistent 5, zeig mir genau die Seite, auf der du die Information gefunden hast." Er prüft die Originalquelle, nicht nur die Interpretation des Assistenten.

Warum ist das so clever?

• Kein Gedächtnis-Overload: Der Detektiv muss nicht die acht langen Bücher (die kompletten Lösungswege) gleichzeitig auf dem Tisch liegen haben. Er holt sich nur die Seiten, die er gerade braucht. Das spart Zeit und Geld.
• Qualitätskontrolle: Der Detektiv merkt sofort, wenn ein Assistent halluziniert (etwas erfindet). Er vergleicht die Behauptung mit dem tatsächlichen Beweis im Notizbuch des Assistenten.
• Die beste Lösung erfinden: Manchmal hat Assistent A den richtigen Teil der Antwort, aber Assistent B hat den anderen Teil. Der Detektiv kombiniert die besten Teile aller acht Wege zu einer perfekten, neuen Antwort. Er ist nicht nur ein Zähler, sondern ein Synthesizer.

Das Ergebnis:
In Tests hat sich gezeigt, dass dieser „Detektiv-Manager" (AggAgent) deutlich besser ist als alle bisherigen Methoden. Er findet die richtige Antwort öfter, ist schneller und kostet weniger als die alten Methoden, die alles auf einmal lesen wollten.

Kurz gesagt:
Statt acht Leute blind zu wählen oder ihre langen Berichte mühsam zusammenzufassen, schicken Sie einen klugen Manager, der gezielt nach den besten Beweisen in den acht Berichten sucht und daraus eine perfekte Lösung zusammenstellt. Das ist AggAgent.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung des Parallel Scaling (paralleler Skalierung) bei Long-Horizon-Agenten-Aufgaben (Aufgaben mit langem Zeithorizont), wie z. B. agentenbasierter Suche und tiefgehender Forschung (Deep Research).

• Hintergrund: Während das parallele Skalieren (Erzeugen mehrerer unabhängiger Lösungswege oder „Rollouts") bei Chain-of-Thought-Aufgaben wie Mathematik oder Coding erfolgreich ist, stoßen Agenten-Aufgaben an Grenzen.
• Spezifische Schwierigkeiten:
  • Lange Trajektorien: Agenten-Aufgaben bestehen aus hunderten von Schritten mit verzahnten Tool-Aufrufen (z. B. Websuche, Datenabruf) und Beobachtungen.
  • Offene Enden: Die Ausgaben sind oft lange Berichte oder komplexe Antworten, keine einfachen Ja/Nein- oder Single-Choice-Antworten.
  • Informationsverlust vs. Kontextlimit:
    • Methoden, die nur die Endantworten aggregieren (z. B. Mehrheitsvoting), verlieren die reichhaltigen Beweise und den Denkprozess aus den Zwischenschritten.
    • Methoden, die alle Trajektorien zusammenfügen, sprengen den Kontextfenster-Limit (Context Window) der Modelle, da jede Trajektorie Zehntausende von Tokens umfassen kann.
    • Methoden, die Trajektorien zusammenfassen (Summary Aggregation), führen zu irreversiblen Informationsverlusten und sind rechnerisch teuer.

2. Methodik: AggAgent

Die Autoren stellen AggAgent vor, einen neuen Ansatz, der die Aggregation selbst als eine agentische Aufgabe formuliert. Anstatt die Trajektorien statisch zu verarbeiten, behandelt AggAgent die Menge der parallelen Trajektorien als eine interaktive Umgebung.

• Architektur:
  • Ein Aggregator-Agent (basierend auf einem LLM) erhält Metadaten zu den parallelen Trajektorien (Schrittanzahl, Token-Gesamtzahl, Tool-Nutzung), aber nicht den vollständigen Text im Kontext.
  • Die Trajektorien liegen als Array im Speicher und werden on-demand abgerufen.
• Werkzeuge (Tools): AggAgent verfügt über drei leichte, speicherinterne Tools, um die Trajektorien zu navigieren:
  1. get_solution: Ruft die finale Lösung einer oder aller Trajektorien ab.
  2. search_trajectory: Sucht nach Schlüsselwörtern innerhalb einer Trajektorie und gibt die relevantesten Schritte zurück (basierend auf ROUGE-L-Scores).
  3. get_segment: Liest den vollständigen Inhalt eines bestimmten Bereichs von Schritten (inklusive Denkprozessen und Tool-Beobachtungen).
  4. finish: Reicht die synthetisierte Lösung ein.
• Workflow (Coarse-to-Fine):
  1. Der Agent scannt zunächst die Metadaten und die Endlösungen, um Konsens und Konflikte zu identifizieren.
  2. Bei Unstimmigkeiten nutzt er search_trajectory, um spezifische Behauptungen zu verifizieren.
  3. Er nutzt get_segment, um tiefer in kritische Abschnitte einzutauchen und die Rohdaten der Tool-Aufrufe zu prüfen.
  4. Basierend auf dieser evidenzbasierten Analyse synthetisiert er eine neue, korrigierte Lösung, die die besten Teile aller Trajektorien kombiniert.

3. Schlüsselbeiträge

• Paradigmenwechsel: Die Umformulierung der Aggregation von einer statischen Zusammenfassung zu einer interaktiven, agentischen Suche über die Trajektorien hinweg.
• Kosteneffizienz: Da AggAgent nur Teile der Trajektorien lädt und nicht den gesamten Kontext, bleibt die Aggregationskosten auf das Niveau eines einzelnen Agenten-Rollouts beschränkt. Dies ist unabhängig von der Anzahl der parallelen Trajektorien ($K$).
• Vollständige Treue (Full Fidelity): Im Gegensatz zu Zusammenfassungen gehen keine Informationen durch Komprimierung verloren; der Agent kann auf die originalen Tool-Beobachtungen zugreifen.
• Skalierbarkeit: Der Ansatz funktioniert effektiv mit bestehenden (off-the-shelf) LLMs ohne spezifisches Training des Aggregators.

4. Ergebnisse

Die Evaluation erfolgte auf sechs Benchmarks (darunter BrowseComp, HLE, DeepSearchQA, Healthbench-Hard, ResearchRubrics) mit drei Modellfamilien (GLM-4.7, Qwen3.5, MiniMax-M2.5).

• Leistungssteigerung:
  • AggAgent übertrifft alle bestehenden Aggregationsmethoden (einschließlich Mehrheitsvoting, Best-of-N, Solution Aggregation und Summary Aggregation) konsistent.
  • Durchschnittliche Verbesserung: Bis zu +5,3 Prozentpunkte im Vergleich zu den besten Baselines.
  • Deep Research Tasks: Auf Aufgaben der tiefgehenden Forschung beträgt die Steigerung sogar bis zu +10,3 Prozentpunkte.
  • AggAgent erreicht oft bessere Ergebnisse als das bloße „Pass@8" (die beste Lösung aus 8 Versuchen zu wählen), was zeigt, dass die Synthese neue, korrekte Lösungen aus fehlerhaften Einzeltrajektorien erzeugen kann.
• Kosten-Leistungs-Verhältnis (Pareto-Optimalität):
  • Im Vergleich zu Summary Aggregation (die bei $K=8$ einen Overhead von 41 % verursacht) liegt der Overhead von AggAgent nur bei 5,7 %.
  • Es bietet die beste Balance zwischen Genauigkeit, Kosten und Latenz.
• Robustheit: Der Ansatz funktioniert auch dann gut, wenn die einzelnen Agenten-Rollouts fehlerhaft sind, indem er widersprüchliche Informationen auflöst und Teilergebnisse kombiniert.

5. Bedeutung und Fazit

Das Paper etabliert die agente Aggregation als einen effektiven und kosteneffizienten Paradigmenwechsel für das Test-Time Scaling bei komplexen Agenten-Aufgaben.

• Praktische Relevanz: Da die Kosten für das Laden ganzer Trajektorien in den Kontext prohibitiv sind, bietet AggAgent eine skalierbare Lösung für Produktionsumgebungen, in denen paralleles Rechnen genutzt wird, um die Zuverlässigkeit von Agenten zu erhöhen.
• Zukunftsaussichten: Die Arbeit zeigt, dass ein stärkeres Modell als Aggregator (Orchestrator) eingesetzt werden kann, um schwächere Rollout-Agenten zu leiten, und öffnet die Tür für das Training spezialisierter Aggregator-Agenten in der Zukunft.

Zusammenfassend beweist AggAgent, dass durch intelligente, tool-gestützte Navigation über parallele Lösungswege hinweg komplexe Probleme effizienter gelöst werden können als durch einfache Abstimmung oder vollständige Kontextübertragung.