💬 NLP

A-MapReduce: Executing Wide Search via Agentic MapReduce

A-MapReduce ist ein neuartiges Multi-Agenten-Framework, das ein MapReduce-Paradigma nutzt, um weit gefasste Suchaufgaben in parallele, horizontal strukturierte Retrieval-Prozesse zu transformieren und dadurch eine State-of-the-Art-Performance sowie signifikante Effizienzgewinne gegenüber bestehenden sequenziellen agentischen Systemen zu erzielen.

Ursprüngliche Autoren: Mingju Chen, Guibin Zhang, Heng Chang, Yuchen Guo, Shiji Zhou

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingju Chen, Guibin Zhang, Heng Chang, Yuchen Guo, Shiji Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „endlose Flur“ vs. die „Bibliothek“

Stellen Sie sich vor, Sie haben einen sehr intelligenten Assistenten (einen KI-Agenten) und stellen ihm eine Frage, die das Finden vieler Informationen erfordert.

Tiefe Suche (Deep Search) ist so, als würden Sie Ihren Assistenten bitten, ein komplexes mathematisches Problem zu lösen. Er denkt Schritt für Schritt, nacheinander, und geht tief in die Logik. Das funktioniert gut.
Breite Suche (Wide Search) ist so, als würden Sie Ihren Assistenten fragen: „Finde mir die Top 100 Restaurants in Paris, ihre Adressen und ihre Sternebewertungen.“

Aktuelle KI-Systeme versuchen, diese „Breite Suche“ genauso durchzuführen wie das tiefe Denken: Sie gehen einen langen, einzelnen Flur entlang, prüfen ein Restaurant, dann das nächste, dann das nächste.

Das Problem: Wenn die Liste riesig ist, verliert sich der Assistent. Er vergisst, was er früher gefunden hat, besucht dasselbe Restaurant zweimal oder die Zeit geht ihm zu Ende, bevor er die Liste abgeschlossen hat. Es ist, als würde man versuchen, eine riesige Bibliothek zu reinigen, indem man Gang für Gang abläuft, dabei müde wird und vergisst, welche Bücher man bereits überprüft hat.

Die Lösung: A-MapReduce (Der „Fließband“-Ansatz)

Die Autoren schlagen ein neues Framework namens A-MapReduce vor. Sie nehmen ein Konzept aus der Informatik (MapReduce) und wenden es auf KI-Agenten an.

Betrachten Sie A-MapReduce nicht als eine einzelne Person, die einen Flur entlangläuft, sondern als eine hoch organisierte Fabrik-Montagelinie.

1. Die „Map“-Phase: Das Aufteilen

Anstatt dass ein einziger Agent alles macht, agiert das System wie ein Projektmanager.

Die Analogie: Stellen Sie sich vor, Sie müssen 1.000 Kartons für einen Umzug packen. Anstatt dass eine Person einen Karton nach dem anderen trägt, erstellt der Projektmanager eine Liste aller 1.000 Kartons (die „Task Matrix“).
Was es tut: Der Manager zerlegt die große Frage („Finde 100 Restaurants“) in 100 winzige, spezifische Aufgaben („Finde Infos für Restaurant A“, „Finde Infos für Restaurant B“).
Die Magie: Er listet sie nicht nur auf; er findet heraus, wie er sie am besten gruppiert. Vielleicht gruppiert er sie nach Stadtvierteln, damit die Agenten nicht weit reisen müssen. Dies wird als Adaptive Batching bezeichnet.

2. Die „Reduce“-Phase: Das Zusammenführen

Die Analogie: Sobald die 100 Kartons von einem Team aus 10 Arbeitern (Such-Agenten) gepackt wurden, die gleichzeitig (parallel) arbeiten, bringen sie alle ihre Kartons zu einer zentralen Station.
Was es tut: Ein „Reducer“-Agent nimmt all diese separaten Informationsstücke und fügt sie zu einer perfekten, organisierten Tabelle zusammen. Wenn ein Teil fehlt, weiß das System genau, welchen Karton es öffnen und reparieren muss, anstatt von vorne zu beginnen.

Das Geheimrezept: Das „Erfahrungsgemäße Gedächtnis“ (Experience Memory)

Die Arbeit führt ein spezielles Merkmal ein, das Experiential Memory genannt wird. Dies ist die Art und Weise des Systems, „aus seinen Fehlern zu lernen“, ohne einen menschlichen Lehrer zu benötigen.

Die Analogie: Stellen Sie sich einen erfahrenen Koch vor, der dasselbe Gericht schon 100 Mal gekocht hat.
- Ohne Gedächtnis: Jedes Mal, wenn Sie nach dem Gericht fragen, fängt der Koch bei Null an, verbrennt vielleicht den Toast oder vergisst ein Gewürz, weil er nicht weiß, was beim letzten Mal passiert ist.
- Mit Gedächtnis: Der Koch hat ein „Rezeptbuch“. Bevor er mit dem Kochen beginnt, schaut er in das Notizbuch. Dort steht: „Letztes Mal haben wir die Zutaten nach Farben gruppiert, und das hat 10 Minuten gespart. Außerdem haben wir vergessen, die Ofentemperatur zu prüfen, also lassen Sie uns das korrigieren.“
Wie es in der Arbeit funktioniert:
- Wenn das System eine Aufgabe abschließt, speichert es eine Notiz darüber, was gut funktionierte und was nicht.
- Wenn das System das nächste Mal eine ähnliche Frage erhält, ruft es diese Notizen ab.
- Es nutzt diese Notizen, um zu entscheiden: „Soll ich 10 Arbeiter oder 50 schicken? Soll ich nach Stadt oder nach Preis gruppieren?“
- Mit der Zeit wird das System schneller, günstiger und genauer, weil es seine „Montagelinie“ ständig basierend auf vergangenen Erfahrungen verfeinert.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren haben dieses System auf fünf verschiedenen Benchmarks (wie „WideSearch“ und „DeepWideSearch“) getestet und es mit anderen Top-KI-Systemen verglichen.

Es ist schneller: Da es parallele Arbeiter verwendet (viele Agenten, die gleichzeitig arbeiten) anstatt einer langsamen Schlange, hat es Aufgaben 45,8 % schneller abgeschlossen als andere Systeme.
Es ist günstiger: Da es keine Zeit verschwendet, Arbeit doppelt zu erledigen oder sich zu verlaufen, hat es weniger Geld (API-Kosten) verbraucht, um die gleichen oder bessere Ergebnisse zu erzielen.
Es ist intelligenter: Es erzielte bessere Werte bei der Genauigkeit (F1-Scores), weil es die gesamte Liste besser im Blick behielt und so sicherstellte, dass keine Elemente übersehen wurden.

Zusammenfassung in einem Satz

A-MapReduce verwandelt eine chaotische, langsame Suche nach massiven Mengen an Informationen in eine gestraffte, parallele Montagelinie, die mit jedem abgeschlossenen Job intelligenter und effizienter wird, indem sie sich merkt, was am besten funktioniert hat.

Technisches Resümee: A-MapReduce: Ausführung breiter Suche mittels agentischer MapReduce

1. Problemstellung

Zeitgenössische auf Large Language Models (LLM) basierende Multi-Agenten-Systeme (MAS) haben signifikante Erfolge bei „Deep Search“-Aufgaben (tiefgehende Suche) erzielt, die auf iterativer, vertikal strukturierter Argumentation beruhen. Diese Systeme haben jedoch Schwierigkeiten mit Wide Search-Aufgaben (breite Suche) – Szenarien, die durch groß angelegte, breitenorientierte Informationsbeschaffung charakterisiert sind, bei denen das Ziel darin besteht, eine massive Menge schwach gekoppelter Entitäten abzudecken und diese in einer strukturierten Ausgabe zu aggregieren.

Bestehende agentische Frameworks, die um sequenzielle, vertikale Argumentation herum konzipiert sind, stehen bei der Anwendung auf die breite Suche vor zwei primären Limitationen:

Target Management Dilemma (Zielmanagement-Dilemma): Die meisten MAS verlassen sich auf implizite Dialoghistorien oder freiformatige Pläne, um Suchziele zu verwalten. Bei Langzeit-Ausführungen führt dies zu fehlenden Einträgen, redundanter Suche und einer Fehlausrichtung der Ziele.
Execution Pattern Dilemma (Ausführungsmuster-Dilemma): Aktuelle Systeme entwerfen typischerweise die Ausführungspipelines für jede Abfrage neu, ohne strukturelle Muster zu abstrahieren oder wiederzuverwenden, die über ähnliche Abfragen hinweg geteilt werden. Dies verhindert die Akkumulation von Erfahrung und die Evolution von Entscheidungen bei der Ausführung.

Die Autoren argumentieren, dass die breite Suche nicht als Problem der tiefen Argumentation modelliert werden sollte, sondern als ein horizontal strukturiertes Informationsbeschaffungsproblem, das die Organisation, Allokation, Verfolgung und Aggregation groß angelegter Suchziele erfordert.

2. Methodik: A-MapReduce

Um diese Herausforderungen zu adressieren, schlagen die Autoren A-MapReduce vor, ein Multi-Agenten-Ausführungsframework, das vom MapReduce-Paradigma aus Datenbank-Systemen inspiriert ist. Es konzeptualisiert die breite Suche als einen verteilten Rechenprozess für strukturierte Informationsbeschaffung, bestehend aus drei Kernkomponenten:

A. Agentische MapReduce-Ausführung

Das Framework strukturiert Ausführungsentscheidungen explizit als Tripel $\Theta_q = (M_q, P_q, B_q)$ :

Task Matrix ( $M_q$ - Aufgabenmatrix): Kodiert $N$ Zielentitäten mit bekannten Attributen und dient als explizites Schema für den Umfang der Informationsbeschaffung.
Template ( $P_q$ - Vorlage): Eine abfragespezifische Zeichenkette mit Platzhaltern, die auf die Spalten von $M_q$ abgestimmt sind.
Batching Strategy ( $B_q$ - Batching-Strategie): Eine diskrete Strategie (z. B. pro Atom, attributweise oder adaptiv), die die atomaren Aufgaben in disjunkte Batches (Pakete) unterteilt.

Die Ausführung folgt einer zweistufigen Pipeline:

Mapping-Phase: Ein Manager-Agent ( $A_{manage}$ ) analysiert die Abfrage und die akkumulierten Beobachtungen, um eine High-Level-Entscheidung $\Theta_q$ zu sampeln. Er instanziiert atomare Suchaufgaben, indem er die Vorlage $P_q$ mit Zeilen aus $M_q$ füllt. Diese Aufgaben werden dann basierend auf $B_q$ in Batches unterteilt.
Reducing-Phase: Unabhängige Such-Agenten ( $A_{search}$ ) führen Batches parallel aus. Der Manager-Agent aggregiert die Teilergebnisse zu einer einheitlichen Tabelle, validiert sie gegen das Schema und löst bei Verletzung der Vollständigkeit eine leichte „Delta-Patch“-Runde aus.

B. Erfahrungsbasierte Evolution

A-MAPREDUCE führt einen Mechanismus des erfahrungbasierten Gedächtnisses ein, um die kontinuierliche Evolution von Ausführungsentscheidungen voranzutreiben. Das Gedächtnis $\mathcal{M}$ speichert:

Record Set ( $D$ - Datensatz): Historische Aufgabeninformationen einschließlich Abfragen, realisierter Entscheidungen, Ausführungstraces und Nutzen-Feedback.
Hint Pool ( $H$ - Hinweis-Pool): Destillierte, wiederverwendbare strukturelle Hinweise (z. B. optimale Batching-Strategien oder Template-Constraints), die aus vergangenen Erfolgen abgeleitet wurden.
Distillation Operator ( $F_\psi$ - Destillations-Operator): Konsolidiert Datensätze zu Cluster-level Repräsentanten-Hinweisen, um Redundanz und semantische Drift zu verhindern.

Der Evolutionszyklus:

Gedächtnisabruf: Für eine neue Abfrage ruft das System semantisch ähnliche positive (hoher Nutzen) und negative (niedriger Nutzen) historische Datensätze ab.
Bedingte Entscheidungs-Sampling: Das System konstruiert einen erfahrungbasierten Prior $\Delta_q$ , indem es abgerufene Hinweise mit Exemplar-Datensätzen kombiniert. Dieser Prior fungt als Entscheidungshalter (Anchor), der das Sampling der Ausführungsentscheidung $\Theta_q$ in Richtung historisch hoch nützlicher Regionen des Entscheidungsraums verzerrt.
Feedback-Update: Nach der Ausführung aktualisiert das System das Gedächtnis mit dem neuen Datensatz und verfeinert die Hinweis-Scores basierend auf dem Nutzen-Feedback, was eine progressive Verbesserung der Ausführungseffizienz und Robustheit ermöglicht.

3. Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

Paradigma-Reformulierung: Die Einführung von A-MapReduce, einem Open-Source-Framework, das die breite Suche als kontrollierbaren, MapReduce-ähnlichen Ausführungsprozess reformuliert. Es ermöglicht persistente Abdeckungstrackung, parallele Kartierung und eine prinzipielle Reduktion in schemaskonsistente Tabellen.
Praktische Evolution: Die Entwicklung eines erfahrungsbasierten Evolutionsmechanismus, der die MapReduce-Ausführung mit einem erfahrungsbasierten Gedächtnis koppelt. Dies ermöglicht es dem System, die abfragebedingten Entscheidungsverteilungen progressiv zu verfeinern, was zu zunehmend adaptiven und kosteneffizienten Ausführungen führt.
Experimentelle Evaluierung: Eine umfassende Evaluierung über fünf agentische Benchmarks hinweg, die zeigt, dass A-MapReduce eine State-of-the-Art-Performance erreicht und gleichzeitig die Kosteneffizienz signifikant verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten A-MapReduce auf WideSearch, DeepWideSearch und einem konstruierten Agentic-Wide Subset, das aus xBench, WebWalkerQA und TaskCraft abgeleitet wurde.

Performance: A-MapReduce erreichte State-of-the-Art-Ergebnisse auf WideSearch und DeepWideSearch.
- Auf WideSearch verbesserte es den durchschnittlichen Item F1 um 5,64 % bis 27,62 % im Vergleich zu starken Baselines (einschließlich OpenAI o3 und Gemini 2.5 Pro Backbones).
- Auf DeepWideSearch erzielte es absolute Gewinne von 3,52 % bis 19,09 % bei der Core Entity Accuracy und 9,71 % bis 30,18 % beim Column-F1 im Vergleich zu Open-Source Multi-Agenten-Frameworks.
- Es erreichte eine Erfolgsquote (Success Rate) von 4,43 % auf DeepWideSearch und übertraf damit die Baselines, die nahe bei 0–2 % lagen, signifikant.
Effizienz und Kosten:
- A-MapReduce reduzierte die Laufzeit um 45,8 % im Vergleich zu repräsentativen Multi-Agenten-Baselines.
- Es erreichte überlegene Kosten-Leistungs-Verhältnisse, wobei es im Durchschnitt 1,10 $ pro Aufgabe einsparte und die API-Kosten um bis zu 47,5 % senkte, während es qualitativ hochwertigere Ausgaben lieferte.
Ablationsstudien: Das Entfernen des erfahrungsbasierten Gedächtnisses führte zu einem Rückgang des Item F1 um 5,15 % und des Row F1 um 5,73 %, während die Kosten stiegen. Das Entfernen struktureller Entscheidungen (Aufgabenmatrix oder Batching-Strategie) verursachte noch stärkere Leistungsabfälle, was die Notwendigkeit des strukturierten Ansatzes bestätigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass A-MapReduce eine kritische Lücke in Multi-Agenten-Systemen schließt, indem es den Fokus von vertikaler, tiefer Argumentation auf horizontale, strukturierte Informationsbeschaffung verschiebt. Seine Bedeutung liegt in:

Explizitem Zustandsmanagement: Durch die Externalisierung der Suchziele in eine schema-konforme Aufgabenmatrix macht das Framework die Ausführungszustände beobachtbar und korrigierbar, was häufige Fehlermodi wie Verlust der Abdeckung und fragmentierte Evidenz bei Langzeit-Aufgaben abmildert.
Erfahrungsbasierter Optimierung: Das Framework demonstriert, dass Multi-Agenten-Systeme „lernen können, wie man plant“, indem sie Ausführungsmuster aus der Historie destillieren, anstatt lediglich mehr Inhalte abzurufen. Dies führt zu progressiven Verbesserungen der Effizienz und Robustheit, ohne dass das zugrunde liegende LLM neu trainiert werden muss.
Skalierbarkeit: Das von MapReduce inspirierte Design ermöglicht die parallele Verarbeitung massiver Suchziele und bietet eine skalierbare Lösung für die breit angelegte Informationssuche, die bestehende sequentielle Frameworks nicht effizient handhaben können.

Die Autoren kommen zu dem Schluss, dass A-MapReduce ein ressourceneffizientes und zuverlässiges Paradigma für die breite Informationsbeschaffung bietet, welches potenziell die Hürden für den skalierbaren Einsatz agentischer Systeme bei komplexen, datenintensiven Aufgaben senkt.