Technische Samenvatting: A-MapReduce: Het uitvoeren van brede zoekopdrachten via Agentic MapReduce

1. Probleemstelling

Hedendaagse op Large Language Models (LLM) gebaseerde multi-agent systemen (MAS) hebben aanzienlijk succes getoond in "diepe zoek"-taken, die vertrouwen op iteratieve, verticaal gestructureerde redenering. Deze systemen worstelen echter met brede zoek-taken—scenario's die worden gekenmerkt door grootschalige, breed georiënteerde informatieverwerving waarbij het doel is om een enorme set zwak gekoppelde entiteiten te dekken en deze te aggregeren in een gestructureerde output.

Bestaande agentische frameworks, ontworpen rond sequentiële, verticale redenering, kampen bij toepassing op brede zoekopdrachten met twee primaire beperkingen:

1. Target Management Dilemma: De meeste MAS vertrouwen op impliciete dialooggeschiedenis of vrij vormgegeven plannen om doelwitten voor informatieverwerving te beheren. Bij langdurige executies leidt dit tot ontbrekende vermeldingen, redundante informatieverwerving en een mismatch in doelwitten.
2. Execution Pattern Dilemma: Huidige systemen herplannen typisch de executiepipelines voor elke query zonder structurele patronen die gedeeld worden tussen vergelijkbare queries te abstraheren of te hergebruiken. Dit verhindert de accumulatie van ervaring en de evolutie van executiebeslissingen.

De auteurs stellen dat brede zoekopdrachten niet gemodelleerd moeten worden als een diep redeneerprobleem, maar als een horizontaal gestructureerd informatieverwervingsprobleem dat organisatie, allocatie, tracking en aggregatie van grootschalige doelwitten vereist.

2. Methodologie: A-MapReduce

Om deze uitdagingen aan te pakken, stellen de auteurs A-MapReduce voor, een multi-agent executieframework geïnspireerd door het MapReduce-paradigma uit databasesystemen. Het herconceptualiseert brede zoekopdrachten als een gedistribueerd berekeningsproces voor gestructureerde informatieverwerving, bestaande uit drie kerncomponenten:

A. Agentic MapReduce Executie

Het framework structureert executiebeslissingen expliciet als een drietal $\Theta_q = (M_q, P_q, B_q)$:

• Taakmatrix ($M_q$): Codeert $N$ doelentiteiten met bekende attributen, wat dient als het expliciete schema voor de reikwijdte van de informatieverwerving.
• Template ($P_q$): Een query-specifieke string met placeholders die uitgelijnd zijn met de kolommen van $M_q$.
• Batching Strategie ($B_q$): Een discrete strategie (bijv. per-atoom, attribuut-gewijs of adaptief) die de atonische taken verdeelt in disjuncte batches.

De executie volgt een tweestaps-pipeline:

1. Mapping Fase: Een manager-agent ($A_{manage}$) analyseert de query en de geaccumuleerde observaties om een hoogwaardige beslissing $\Theta_q$ te selecteren. Het instantiëren van atonische informatieverwervingstaken gebeurt door de template $P_q$ in te vullen met rijen uit $M_q$. Deze taken worden vervolgens verdeeld in batches op basis van $B_q$.
2. Reducing Fase: Onafhankelijke zoekagenten ($A_{search}$) voeren batches parallel uit. De manager-agent aggregeert de gedeeltelijke resultaten tot een uniforme tabel, valideert deze tegen het schema en triggert indien nodig een lichtgewicht "delta-patch" ronde als de volledigheid wordt geschonden.

B. Ervaringsgestuurde Evolutie

A-MAPREDUCE introduceert een mechanisme voor ervaringsgeheugen om de voortdurende evolutie van executiebeslissingen aan te drijven. Het geheugen $\mathcal{M}$ slaat op:

• Record Set ($D$): Historische taakniveau-informatie inclusief queries, gerealiseerde beslissingen, executietracen en nut-feedback.
• Hint Pool ($H$): Gedestilleerde, herbruikbare structurele hints (bijv. optimale batching-strategieën of template-restricties) afgeleid van eerdere successen.
• Distillatie Operator ($F_\psi$): Consolideert records tot cluster-niveau representatieve hints om redundantie en semantische drift te voorkomen.

De Evolutie-loop:

1. Geheugen Retrieval: Voor een nieuwe query haalt het systeem semantisch vergelijkbare positieve (hoge nut) en negatieve (laag nut) historische records op.
2. Conditionele Beslissing Sampling: Het systeem construeert een experiële prior $\Delta_q$ door de opgehaalde hints te combineren met exemplarische records. Deze prior fungeert als een beslissingsanker, waardoor de sampling van de executiebeslissing $\Theta_q$ wordt gestuurd naar historisch hoog-nutrijke regio's in de beslissingsruimte.
3. Feedback Update: Na de executie werkt het systeem het geheugen bij met het nieuwe record en verfijnt het de hint-scores op basis van nut-feedback, wat leidt tot progressieve verbetering in executie-efficiëntie en robuustheid.

3. Belangrijkste Bijdragen

Het paper beschrijft drie primaire bijdragen:

1. Paradigma Herformulering: De introductie van A-MapReduce, een open-source framework dat brede zoekopdrachten herformuleert als een controleerbaar, MapReduce-achtig executieproces. Het maakt persistente dekking-tracking, parallelle mapping en principiële reductie naar schema-consistente tabellen mogelijk.
2. Praktische Evolutie: De ontwikkeling van een ervaring-gebaseerd evolutiemechanisme dat MapReduce-executie koppelt aan een ervaringsgeheugen. Dit stelt het systeem in staat om progressief de query-geconditioneerde beslissingsverdelingen te verfijnen, wat leidt tot steeds adaptievere en kostenefficiëntere executie.
3. Experimentele Evaluatie: Een uitgebreide evaluatie over vijf agentische benchmarks die aantoont dat A-MapReduce state-of-the-art prestaties levert terwijl de kosteneffectiviteit aanzienlijk wordt verbeterd.

4. Experimentele Resultaten

De auteurs evalueerden A-MapReduce op WideSearch, DeepWideSearch, en een geconstrueerde Agentic-Wide Subset afgeleid van xBench, WebWalkerQA en TaskCraft.

• Prestaties: A-MapReduce behaalde state-of-the-art resultaten op WideSearch en DeepWideSearch.
  • Op WideSearch verbeterde het de gemiddelde Item F1 met 5,64% tot 27,62% vergeleken met sterke baselines (inclusief OpenAI o3 en Gemini 2.5 Pro backbones).
  • Op DeepWideSearch toonde het absolute winsten van 3,52% tot 19,09% in Core Entity Accuracy en 9,71% tot 30,18% in Column-F1 vergeleken met open-source multi-agent frameworks.
  • Het behaalde een Success Rate van 4,43% op DeepWideSearch, wat aanzienlijk beter is dan de baselines die rond de 0–2% schommelden.
• Efficiëntie en Kosten:
  • A-MapReduce verminderde de looptijd met 45,8% vergeleken met representatieve multi-agent baselines.
  • Het behaalde superieure kost-prestatie verhoudingen, waarbij het gemiddeld $1,10 per taak bespaarde en de API-kosten met wel 47,5% verlaagde terwijl het hogere kwaliteit outputs leverde.
• Ablatie-studies: Het verwijderen van het ervaringsgeheugen resulteerde in een daling van 5,15% in Item F1 en een daling van 5,73% in Row F1, terwijl de kosten toenamen. Het verwijderen van structurele beslissingen (taakmatrix of batching-strategie) veroorzaakte nog scherpere dalingen in prestaties, wat de noodzaak van de gestructureerde aanpak bevestigt.

5. Betekenis en Claims

Het paper claimt dat A-MapReduce een kritiek gat in multi-agent systemen opvult door de focus te verleggen van verticale, diepe redenering naar horizontale, gestructureerde informatieverwerving. De betekenis ligt in:

• Expliciet State Management: Door de informatieverwerving-doelstellingen te externaliseren naar een schema-gealigneerde taakmatrix, maakt het framework de executiestaten observeerbaar en corrigeerbaar, wat veelvoorkomende foutmodi zoals verlies van dekking en gefragmenteerde bewijsvoering in langdurige taken mitigeert.
• Ervaringsgestuurde Optimalisatie: Het framework demonstreert dat multi-agent systemen kunnen "leren hoe ze moeten plannen" door executiepatronen uit de historie te distilleren, in plaats van enkel meer content op te halen. Dit leidt tot progressieve verbeteringen in efficiëntie en robuustheid zonder dat de onderliggende LLM's opnieuw getraind hoeven te worden.
• Schaalbaarheid: Het MapReduce-geïnspireerde ontwerp maakt parallelle verwerking van massale informatieverwervingstargets mogelijk, wat een schaalbare oplossing biedt voor breed georiënteerde informatiezoektochten die bestaande sequentiële frameworks niet efficiënt kunnen afhandelen.

De auteurs concluderen dat A-MapReduce een hulpbron-efficiënt en betrouwbaar paradigma biedt voor brede informatieverwerving, wat de drempel voor de grootschalige inzet van agentische systemen voor complexe, data-intensieve taken kan verlagen.