Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks

Het paper introduceert AggAgent, een aggregatie-agent die parallelle rollouts voor lange agente taken synthetiseert door deze als omgeving te behandelen en met hulpmiddelen te doorzoeken, waardoor deze bestaande methoden significant overtreft met minimale kosten.

De kern

Stel je voor dat je een heel lastige vraag hebt, bijvoorbeeld: "Wie is de oudste burgemeester van de stad waar het 44e, 45e en 46e hoogste gebouw ter wereld in 1990 stond?"

Dit is geen simpele vraag. Je moet eerst de gebouven vinden, dan de steden, dan de burgemeesters van die steden opzoeken, en tenslotte hun geboortedata vergelijken. Voor een kunstmatige intelligentie (een AI) is dit als een lange, moeilijke wandeling door een doolhof.

In het verleden probeerden AI's dit probleem op te lossen door één keer te proberen. Soms lukte het, maar vaak liepen ze vast of maakten ze een fout.

De auteurs van dit papier hebben een slimme oplossing bedacht: AggAgent. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Eenzame Wandeltocht"

Stel je voor dat je een groep vrienden hebt die allemaal dezelfde moeilijke wandeling maken.

• Vriend A loopt de weg, maar mist een bordje en loopt de verkeerde kant op.
• Vriend B loopt de weg, ziet het bordje, maar leest de verkeerde straatnaam op.
• Vriend C loopt de weg, ziet het bordje, maar vergeet de naam van de burgemeester.

Als je nu alleen kijkt naar wie er als eerste aankomt (de "winnaar"), heb je misschien pech dat Vriend A de snelste was, maar hij was wel de verkeerde. Als je alle verhalen van de vrienden samenvat in één kort verslag, verlies je de belangrijke details (zoals waar ze precies de fout maakten).

2. De Oude Oplossingen (Die niet werken)

Tot nu toe hadden AI's twee manieren om met meerdere vrienden (trajecten) om te gaan:

• Stemmen (Majority Voting): "Wie heeft het vaakst hetzelfde antwoord?" Dit werkt goed als iedereen hetzelfde antwoord geeft, maar in complexe zoektochten heeft vaak niemand het helemaal goed.
• Samenvatten (Summary Aggregation): Je vraagt een andere AI om de lange verhalen van alle vrienden in te korten tot één pagina. Het probleem? Hierbij gaan de fijne details verloren, net als wanneer je een film samenvat in één zin: je vergeet de plotwendingen.

3. De Nieuwe Oplossing: AggAgent (De Slimme Regisseur)

De auteurs introduceren AggAgent. Dit is geen simpele stemmachine of samenvatter. Het is een slimme regisseur die de wandeltochten van al zijn vrienden als een "speelveld" ziet.

AggAgent heeft geen zin om alle verhalen van A, B en C in één keer te lezen (dat is te lang en te duur). In plaats daarvan heeft hij drie speciale gereedschappen:

1. De Zoektocht (Search): "Vriend B, waar heb je dat bordje gezien?"
2. De Detaillezer (Get Segment): "Laat me even zien wat er precies op dat bordje stond, woord voor woord."
3. De Oplosser (Get Solution): "Wat was jullie eindantwoord?"

Hoe werkt het in de praktijk?
Stel, Vriend A zegt: "Het is Houston." Vriend B zegt: "Het is New York." Vriend C zegt: "Het is Houston."
Een simpele stemmachine zou zeggen: "Houston wint!" (Fout!).

Maar AggAgent doet dit:

• Hij ziet dat er een meningsverschil is.
• Hij vraagt Vriend B: "Waarom denk je New York?"
• Vriend B zegt: "Ik zag een lijst van gebouwen."
• AggAgent vraagt: "Laat me die lijst zien."
• AggAgent ziet dat Vriend B de lijst goed heeft gelezen, maar de verkeerde stad heeft gekozen.
• AggAgent vraagt Vriend A: "Waarom Houston?"
• AggAgent ziet dat Vriend A de lijst verkeerd heeft gelezen.
• Conclusie: AggAgent combineert de goede leesvaardigheid van Vriend B met de correcte conclusie van Vriend C (die misschien een ander deel van de lijst goed had). Hij bouwt een nieuw, perfect antwoord op: "New York."

Waarom is dit zo cool?

• Het is goedkoop: In plaats van alle boeken (trajecten) op te slaan in het geheugen van de computer, pakt AggAgent alleen de bladzijden die hij nodig heeft. Dit bespaart tijd en geld.
• Het is accuraat: Het verliest geen details. Het kijkt naar de feiten (wat de tools zagen) en niet alleen naar wat de vrienden denken dat ze zagen.
• Het werkt beter: In tests bleek AggAgent veel slimmer te zijn dan de oude methoden. Het kon zelfs het juiste antwoord vinden, zelfs als niemand van de oorspronkelijke vrienden het helemaal goed had. Het was als een detective die uit losse aanwijzingen van drie verdachten de ware dader oplost.

De Grootte van de Winst

De onderzoekers hebben dit getest op zes verschillende moeilijke taken (zoals diep zoeken op internet en medische vragen).

• AggAgent was gemiddeld 5% beter dan de beste oude methoden.
• Bij de allerlastigste taken (diepe research) was het wel 10% beter.

Samenvatting in één zin

AggAgent is als een slimme chef die niet alleen kijkt wie het snelst klaar is, maar die de beste onderdelen van alle pogingen van zijn team verzamelt, de fouten eruit filtert en zo een perfect eindresultaat creëert, zonder dat hij de hele bibliotheek hoeft te lezen.

Technische samenvatting

Titel: Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks

Auteurs: Yoonsang Lee, Howard Yen, Xi Ye, Danqi Chen (Princeton University)

---

1. Probleemstelling

Het paper adresseert de uitdaging om de prestaties van Large Language Models (LLMs) te verbeteren bij lange-horizon agentische taken (zoals diep onderzoek, webnavigatie en complexe zoekopdrachten) door middel van parallelle testtijd-schaalvergroting (parallel test-time scaling).

Hoewel het genereren van meerdere onafhankelijke trajecten (rollouts) en het aggregeren van deze resultaten succesvol is gebleken voor Chain-of-Thought (CoT) taken (zoals wiskunde en coderen), stellen langdurige agentische taken unieke uitdagingen:

• Complexiteit en Lengte: Trajecten zijn multi-turn, kunnen honderden stappen bevatten en bevatten interleaved tool-aanroepen (zoals webzoekopdrachten) en observaties.
• Open-ended Outputs: De antwoorden zijn vaak lang en niet beperkt tot een enkel woord of getal.
• Beperkingen van Bestaande Methodes:
  • Stemmen (Voting): Werkt niet goed voor multi-antwoord of lange rapporten.
  • Oplossingsaggregatie (Solution Aggregation): Neemt alleen de eindantwoorden en verwijdert rijke, tussenliggende redenering en bewijsmateriaal.
  • Samenvattingsaggregatie (Summary Aggregation): Comprimeert elk traject tot een samenvatting, wat leidt tot verlies van cruciale details (informatieverlies) en hoge kosten (extra LLM-aanroepen per traject).
  • Concatenatie: Het samenvoegen van alle trajecten in één context overschrijdt de contextvensterlimieten van het model.

De kernvraag is: Hoe kunnen we meerdere parallelle trajecten effectief aggregeren zonder informatie te verliezen en zonder de kosten of latentie te laten exploderen?

---

2. Methodologie: AggAgent

De auteurs introduceren AggAgent, een nieuw aggregatiekader dat aggregatie zelf behandelt als een agentische taak. In plaats van statisch te stemmen of te samenvatten, behandelt AggAgent de set van parallelle trajecten als een interactieve omgeving.

Kernarchitectuur:

• Aggregator als Agent: Een specifieke "aggregator-agent" (vaak dezelfde LLM als de roll-out agent, maar kan ook een sterker model zijn) navigeert door de geslaagde trajecten.
• Lightweight Tools: De aggregator beschikt over drie specifieke tools om trajecten op verzoek te inspecteren, zonder dat de volledige trajecten vooraf in het contextvenster hoeven te worden geladen:
  1. get_solution: Haalt de definitieve oplossing op uit één of alle trajecten.
  2. search_trajectory: Zoekt naar trefwoorden binnen een specifiek traject en retourneert de meest relevante stappen (gebaseerd op ROUGE-L).
  3. get_segment: Leest een specifiek continu bereik van stappen uit een traject om de ruwe tool-observaties en redenering te verifiëren.
• Werkstroom (Coarse-to-Fine):
  1. Verkenning: De agent leest metadata en haalt alle eindoplossingen op (get_solution) om consensus en afwijkingen te identificeren.
  2. Verificatie: Bij twijfel of tegenstrijdigheden gebruikt de agent search_trajectory om specifieke claims te lokaliseren en get_segment om de onderliggende tool-observaties te controleren.
  3. Synthese: De agent synthetiseert een nieuwe, correcte oplossing op basis van de geverifieerde bewijslast uit meerdere trajecten, zelfs als individuele trajecten onjuist waren.
  4. Afsluiting: De agent roept finish aan met de geaggregeerde oplossing en een onderbouwing.

Kostenvoordeel: Omdat de trajecten in het geheugen worden opgeslagen en slechts op verzoek worden opgehaald, blijft de aggregatiekost beperkt tot één enkel agentisch traject, onafhankelijk van het aantal parallelle rollouts ($K$). Dit voorkomt de hoge kosten van het samenvatten van alle trajecten.

---

3. Belangrijkste Bijdragen

1. AggAgent Framework: Een training-vrij, plug-and-play framework dat parallelle trajecten behandelt als een interactieve omgeving voor cross-traject redenering.
2. Tool-gebaseerde Navigatie: Het introduceren van lichtgewicht tools die het mogelijk maken om trajecten te doorzoeken en te inspecteren zonder contextvenster-beperkingen of verlies van informatie.
3. Pareto-Optimaliteit: Het bewijzen dat AggAgent een optimale balans bereikt tussen prestaties en kosten, waarbij het aanzienlijk beter presteert dan bestaande methodes met minimale extra overhead.
4. Empirische Validatie: Uitgebreide evaluatie over zes benchmarks en drie verschillende model-families (GLM-4.7, Qwen3.5, MiniMax-M2.5).

---

4. Resultaten

De auteurs hebben AggAgent getest op zes benchmarks (waaronder BrowseComp, HLE, DeepSearchQA, Healthbench-Hard en ResearchRubrics) met $K=8$ parallelle rollouts.

• Prestatieverbetering: AggAgent overtreft alle bestaande aggregatiemethoden (zoals Majority Voting, Best-of-N, Solution Aggregation en Summary Aggregation) consistent.
  • Gemiddelde verbetering: +5,3% absoluut ten opzichte van de sterkste baseline.
  • Bij diep onderzoekstaken (Deep Research): Tot +10,3% verbetering.
  • AggAgent presteert zelfs beter dan Pass@8 (de beste van 8 losse rollouts zonder aggregatie), wat aantoont dat het systeem correcte oplossingen kan synthetiseren die in geen enkel enkel traject aanwezig waren.
• Kosten en Latentie:
  • AggAgent voegt slechts 5,7% overhead toe aan de kosten van het draaien van 8 parallelle agents.
  • In vergelijking: Summary Aggregation voegt 41% overhead toe omdat het elk traject eerst moet samenvatten.
  • AggAgent is Pareto-optimaal: het biedt de hoogste prestaties voor de laagste kosten/latentie.
• Modelonafhankelijkheid: De methode werkt effectief met verschillende modelgroottes en -families. Het gebruik van een sterker model voor de aggregator (bijv. MiniMax-M2.5) terwijl de rollouts door een zwakker model worden gedaan, leidt tot verdere prestatiewinst.

---

5. Significatie en Conclusie

Dit paper vestigt agentic aggregation als een fundamenteel nieuwe en kostenefficiënte paradigma voor het schalen van testtijd-berekeningen bij complexe, langdurige taken.

• Overbrugt de Kloof: Het lost het probleem op van het verlies van informatie bij het samenvatten en de onhaalbaarheid van het laden van alle data in de context.
• Kwaliteit boven Kwantiteit: Het toont aan dat het niet alleen gaat om het genereren van meer antwoorden, maar om het intelligent combineren van fragmentarische bewijslast uit meerdere pogingen om een superieure oplossing te bouwen.
• Toekomstperspectief: De methode is training-vrij en werkt met bestaande LLM's, maar opent ook de deur voor het trainen van gespecialiseerde "aggregator agents" in de toekomst.

Kortom, AggAgent biedt een schaalbare, robuuste en goedkope manier om de intelligentie van LLM-teams te maximaliseren bij complexe taken door slimme, agentische samenwerking in plaats van brute kracht of verliesgevoelige compressie.