💬 NLP

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

Die Arbeit stellt \textbf{\ExtAgents} vor, ein Multi-Agenten-Framework, das die Skalierung externer Wissensinputs über die Kontextfenster von LLMs hinaus ermöglicht und dabei die Leistung bestehender nicht-trainierender Methoden bei der Integration massiver Wissensmengen signifikant verbessert, ohne längere Kontextfenster zu erfordern.

Ursprüngliche Autoren: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Fei Huang, Yang Liu

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Fei Huang, Yang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (das ist die KI), der einen riesigen Fall lösen muss. Um den Fall zu lösen, braucht er Beweise. Aber hier ist das Problem: Der Detektiv hat nur einen sehr kleinen Schreibtisch (den Kontext-Fenster der KI). Wenn Sie ihm einen ganzen Stapel Akten (das Wissen) auf den Tisch legen, der größer ist als der Tisch selbst, muss er den Rest einfach wegwerfen oder den Stapel so stark zusammenfassen, dass wichtige Details verloren gehen.

Das ist das Hauptproblem, das diese Forscher lösen wollten: Wie kann man einer KI mehr Wissen geben, als sie auf einmal „sehen" kann, ohne dass sie den Überblick verliert?

Die Lösung, die sie entwickelt haben, nennen sie EXTAGENTS. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar kreativen Vergleichen:

1. Das alte Problem: Der überlastete Einzelkämpfer

Früher versuchte man, den KI-Modellen einfach noch mehr Platz auf dem Schreibtisch zu geben (längere Kontext-Fenster). Das ist aber teuer, langsam und wie ein Versuch, einen Elefanten in einen Miniauto zu quetschen.
Andere Methoden nutzten einen „Such-und-Zusammenfassen"-Ansatz (wie RAG). Das ist wie wenn Sie einem Detektiv sagen: „Such dir die 5 wichtigsten Seiten aus 1000 Seiten aus." Das Problem: Wenn der Detektiv die falschen 5 Seiten auswählt, verpasst er die entscheidende Spur.

2. Die neue Lösung: Ein gut organisiertes Team (EXTAGENTS)

Statt einen einzigen riesigen Detektiv zu haben, der alles auf einmal lesen muss, bauen die Forscher ein Team von kleinen Agenten.

Stellen Sie sich eine riesige Bibliothek vor, die Sie durchsuchen müssen, um eine Antwort zu finden.

Die Such-Agenten (Seeking Agents):
Das Team wird in viele kleine Gruppen aufgeteilt. Jede Gruppe bekommt nur einen kleinen Stapel Bücher (einen „Chunk").
- Die alte Methode: Diese Gruppen würden sich nur mit ihren direkten Nachbarn unterhalten. Das ist wie ein Telefonspiel, bei dem die Nachricht am Ende völlig verzerrt ist.
- Die EXTAGENTS-Methode: Hier passiert etwas Magisches. Alle Gruppen können gleichzeitig mit jedem anderen im Raum sprechen. Sie tauschen nicht die ganzen Bücher aus, sondern nur die wichtigsten Notizen („Die Top-3-Informationen").
- Der Vergleich: Es ist wie ein globales Meeting, bei dem jeder nur die eine wichtigste Erkenntnis seines Bereichs in die Mitte wirft. Niemand muss den ganzen Stapel lesen, aber alle wissen, was wichtig ist.
Der Denk-Agent (Reasoning Agent):
Das ist der Chef-Detektiv. Er sitzt in der Mitte.
- Er bekommt nicht alle Notizen auf einmal (das würde ihn wieder überfordern).
- Stattdessen bekommt er sie schrittweise. Zuerst die 2 wichtigsten Notizen, dann die 4 wichtigsten, dann die 8, und so weiter.
- Der Vergleich: Stellen Sie sich vor, Sie essen einen riesigen Kuchen. Statt ihn auf einmal zu verschlingen (was Sie krank machen würde), bekommen Sie erst ein kleines Stück, dann noch eines, dann noch eines. Der Chef-Detektiv kann so langsam verdauen, was er gelernt hat, und entscheidet erst am Ende: „Okay, jetzt habe ich genug Beweise, um den Fall zu lösen!"

3. Warum ist das so genial?

Kein Informationsverlust: Weil die Agenten global kommunizieren, gehen keine wichtigen Details verloren, nur weil sie in einem anderen Buchstapel standen.
Keine Überlastung: Der Chef-Detektiv wird nicht mit einem Berg Papier erschlagen. Er bekommt das Wissen in verdaulichen Häppchen.
Geschwindigkeit: Da alle kleinen Agenten gleichzeitig arbeiten (parallel), geht es viel schneller, als wenn einer nach dem anderen lesen müsste.

Zusammenfassung in einem Satz

EXTAGENTS ist wie ein gut organisiertes Ermittlerteam, bei dem jeder nur einen kleinen Teil des Falls liest, aber alle ihre wichtigsten Erkenntnisse sofort mit dem Team teilen, damit der Chef-Detektiv schrittweise und ohne Stress die perfekte Lösung findet – egal wie riesig die Aktenberge sind.

Das Ergebnis: Die KI wird schlauer, wenn man ihr mehr Wissen gibt, auch wenn dieses Wissen viel größer ist als ihr eigentliches „Gedächtnis".

1. Problemstellung

Trotz der rasanten Fortschritte bei Large Language Models (LLMs) und deren Kontextfenstern (die mittlerweile über 100.000 Token reichen), stoßen diese Modelle bei realen Anwendungen an ihre Grenzen, wenn die Menge an externem Wissen (z. B. lange Dokumente, Unternehmensdatenbanken, akademische Forschungsarbeiten) die Kontextfenstergröße übersteigt.

Herausforderung: Die direkte Eingabe riesiger Wissensmengen ist durch die begrenzte Kontextlänge des LLMs unmöglich.
Bestehende Lösungen & deren Mängel:
- Retrieval-Augmented Generation (RAG): Verliert Informationen durch Ranking-Fehler (wichtige Beweise werden nicht zurückgegeben).
- Kompression: Führt zu Informationsverlust, da subtile Hinweise beim Zusammenfassen verloren gehen.
- Training längerer Kontexte: Ökonomisch untragbar und technisch schwierig (quadratische Komplexität der Attention-Mechanismen, Mangel an Trainingsdaten).
- Bestehende Multi-Agenten-Systeme: Aktuelle Ansätze (wie Chain of Agents oder LLM×MapReduce) scheitern oft daran, dass sie bei Skalierung der Eingabemenge die Leistung nicht konsistent verbessern oder sogar verschlechtern. Sie leiden unter zwei Hauptengpässen:
  1. Eingeschränkte Bandbreite der Wissenssynchronisation: Agenten tauschen nur mit lokalen Nachbarn aus, was die globale Informationsverbreitung verlangsamt.
  2. Informationsüberlastung im Reasoning: Der Reasoning-Agent erhält zu viele redundante Informationen, was die Leistung beeinträchtigt.

2. Methodik: EXTAGENTS

Die Autoren stellen EXTAGENTS vor, ein Multi-Agenten-Framework, das die Skalierung externer Wissensinputs über die Kontextfenster hinaus ermöglicht, ohne das LLM neu trainieren zu müssen. Das Framework nutzt eine verteilte Architektur mit zwei spezialisierten Agentenrollen:

A. Agenten-Rollen

Seeking Agents (Such-Agenten):
- Jeder Such-Agent ist für einen spezifischen Kontext-Chunk (ein Teil des großen Eingabedokuments) verantwortlich.
- Ihre Aufgabe ist es, den Chunk zu verstehen, relevante Informationen zu extrahieren und diese bezüglich der Fragestellung zu bewerten (Raten).
Reasoning Agent (Schlussfolgerungs-Agent):
- Integriert die gesammelten Informationen der Such-Agenten schrittweise, um die finale Antwort zu generieren.
- Kann die Beantwortbarkeit einer Frage prüfen und bei unzureichenden Informationen die Antwort verweigern (Vermeidung von Halluzinationen).

B. Kernkomponenten

Globale Wissenssynchronisation (Global Knowledge Synchronization):
- Im Gegensatz zu lokalen Austauschmechanismen (Nachbarn tauschen nur untereinander aus) ermöglicht EXTAGENTS einen globalen Austausch.
- Jeder Such-Agent bewertet die Relevanz seiner extrahierten Informationen für die Gesamtfrage.
- Es wird eine Top-k-Auswahl der relevantesten Nachrichten aus allen Agenten getroffen, bevor sie zum Reasoning-Agent weitergeleitet werden. Dies maximiert die „Bandbreite" der Informationsweitergabe und stellt sicher, dass nur die wichtigsten Informationen den Kontext des Reasoning-Agenten füllen.
- Dies geschieht parallel, was die Latenz reduziert.
Wissensakkumulierende Schlussfolgerung (Knowledge-Accumulating Reasoning):
- Der Reasoning-Agent verarbeitet die Informationen nicht auf einmal, sondern in iterativen Schritten.
- In jedem Schritt $s$ werden die Top- $2^s$ relevantesten Nachrichten aus der Synchronisationsphase hinzugefügt.
- Dieser inkrementelle Ansatz verhindert die Informationsüberlastung (Overload) und erlaubt dem Modell, schrittweise komplexere Zusammenhänge zu erkennen, ohne den Kontext zu sprengen.

3. Wichtige Beiträge

Problemdefinition: Die Autoren definieren und adressieren erstmals systematisch das Problem der Skalierung externer Wissensinputs über die Kontextfenster hinaus ohne Training.
Benchmark-Erweiterung (∞Bench+): Sie identifizieren Verzerrungen in bestehenden Benchmarks (wie ∞Bench), bei denen Antworten oft in kleinen Fenstern gefunden werden können. Sie entwickeln ∞Bench+, einen verbesserten Multi-Hop-QA-Benchmark, der sicherstellt, dass Antworten nur durch die Aggregation von Informationen über große Dokumentenbereiche hinweg möglich sind.
Framework-Design: Einführung von EXTAGENTS, das die Engpässe der Synchronisation (durch globale Bandbreite) und des Reasonings (durch inkrementelle Akkumulation) überwindet.
Effizienz: Durch die Parallelisierung der Such-Agenten und die asynchrone Pipeline wird eine hohe Effizienz trotz großer Eingaben erreicht.

4. Ergebnisse

Die Evaluation erfolgte auf den Benchmarks HotpotQA, ∞Bench+ (Englisch und Chinesisch) und AutoSurvey (Erstellung langer Übersichten).

Leistungsskalierung: EXTAGENTS zeigt eine konsistente Leistungssteigerung mit zunehmender Menge an externem Wissen. Im Gegensatz zu Baselines (wie LLM×MapReduce oder Direct Input), deren Leistung stagniert oder sinkt, wenn der Input die Kontextfenstergröße (z. B. 128k Token) übersteigt, verbessert sich EXTAGENTS weiter (bis zu 1.024k Token Input).
Vergleich mit State-of-the-Art:
- Auf HotpotQA erreichte EXTAGENTS mit einem 8B-Modell (Llama-3.1) einen F1-Score von 0,412 bei 1024k Input, während LLM×MapReduce nur bei 256k Input getestet wurde und schlechter abschnitt.
- Bei der Erstellung langer Übersichten (AutoSurvey) erzielte EXTAGENTS höhere Qualitätsbewertungen (LLM-as-a-Judge: 7,63 vs. 6,75), mehr Zitationen und eine geringere Duplikationsrate.
Robustheit: Das System funktioniert effektiv mit verschiedenen LLM-Familien (Open-Source wie Llama, Closed-Source wie GPT-4o) und zeigt, dass stärkere Modelle noch mehr von der Skalierbarkeit profitieren.
Effizienz: Die Latenzanalyse zeigt, dass EXTAGENTS bei hoher Parallelisierung eine lineare Skalierung der Latenz aufweist, während direkte Eingaben quadratisch ansteigen.

5. Bedeutung und Ausblick

Praktische Relevanz: EXTAGENTS bietet eine praktikable Lösung für Anwendungen, die massive externe Wissensmengen erfordern (z. B. juristische Analyse, medizinische Forschung, Unternehmenswissen), ohne dass teures Training langer Kontextmodelle nötig ist.
Paradigmenwechsel: Die Arbeit zeigt, dass Multi-Agenten-Kollaboration nicht nur ein Werkzeug für komplexe Aufgaben ist, sondern der Schlüssel zur Überwindung der Hardware- und Architekturgrenzen von LLMs bezüglich der Eingabelänge.
Zukunft: Die Autoren sehen Potenzial in adaptiver Agenten-Orchestrierung, der Integration von Werkzeugen und der Feinabstimmung spezialisierter Modelle für die Synchronisation.

Fazit: EXTAGENTS demonstriert, dass durch intelligente Orchestrierung von Agenten (globale Synchronisation + inkrementelles Reasoning) die Grenzen des Kontextfensters effektiv umgangen werden können, was zu einer signifikanten Steigerung der Leistung bei Aufgaben mit massivem externem Wissen führt.