Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

Probleemstelling

Grote Taalmodellen (LLMs) hebben recentelijk enorme vooruitgang geboekt in hun contextvensters, maar zelfs de langste vensters (bijv. 128k tokens) zijn vaak onvoldoende voor complexe real-world taken zoals meerhop-vraagbeantwoording (multi-hop QA) over enorme documenten of het genereren van uitgebreide onderzoeksartikelen (surveys).

De huidige oplossingen voor het verwerken van kennis die groter is dan het contextvenster hebben aanzienlijke nadelen:

1. Truncatie: Essentiële bewijsstukken gaan verloren.
2. Retrieval-Augmented Generation (RAG): Beperkt door rankingfouten; cruciale informatie kan worden overgeslagen.
3. Compressie: Leidt vaak tot informatieverlies, waarbij subtiele aanwijzingen worden verwijderd.
4. Bestaande Multi-Agent Systemen: Methoden zoals Chain of Agents of LLM×MapReduce lijden onder twee fundamentele bottlenecks:
   • Beperkte Bandbreedte voor Kennissynchronisatie: Agents communiceren slechts lokaal met hun buren, wat de verspreiding van cruciale informatie vertraagt of blokkeert.
   • Informatie-overload in Redenering: De redenerende agent moet vaak te veel (redundante) informatie verwerken in één keer, wat de prestaties verslechtert.

Het paper stelt de vraag of het mogelijk is om de prestaties van LLMs consistent te verbeteren door de hoeveelheid externe kennis te schalen, zelfs wanneer deze ver buiten het contextvenster valt, zonder extra training van het model.

Methodologie: EXTAGENTS

De auteurs introduceren EXTAGENTS, een schaalbaar multi-agent framework dat inference-time kennisintegratie mogelijk maakt zonder het contextvenster fysiek te verlengen. Het framework deelt het volledige inputmateriaal op in chunks die passen binnen een klein contextvenster en gebruikt twee gespecialiseerde rollen voor agents:

1. Seeking Agents (Zoekagents):

   • Elk Seeking Agent verwerkt een specifieke chunk van de externe kennis.
   • Hun taak is het extraheren van relevante informatie en het beoordelen van de relevantie van die informatie voor de query.
   • Innovatie: In plaats van lokale uitwisseling, voeren Seeking Agents Globale Kennissynchronisatie uit. Ze scoren hun geëxtraheerde informatie en wisselen de top-k meest relevante berichten uit met alle andere agents. Dit maximaliseert de "bandbreedte" en zorgt ervoor dat cruciale informatie snel door het hele systeem verspreid wordt.

2. Reasoning Agent (Redenerende Agent):

   • Deze agent integreert de kennis die door de Seeking Agents is verzameld om het uiteindelijke antwoord te genereren.
   • Innovatie: Het gebruikt Kennis-accumulerende Redenering (Knowledge-Accumulating Reasoning). In plaats van alle informatie in één keer te verwerken, integreert de agent de informatie geleidelijk in iteraties (bijv. eerst de top 1, dan top 2, top 4, etc.).
   • De agent controleert in elke iteratie of de vraag beantwoord kan worden. Als de informatie onvoldoende is, wacht hij op de volgende ronde van kennisaccumulatie. Dit voorkomt overbelasting en zorgt voor een gefaseerde redenering.

Schaalbaarheid en Parallelisme:
Het framework is ontworpen voor hoge paralleliteit. Seeking Agents kunnen parallel werken, en de ranking-mechanismen maken het mogelijk om de meest relevante informatie te selecteren zonder het volledige contextvenster te vullen met irrelevante data.

Belangrijkste Bijdragen

1. Probleemdefinitie: Het paper definieert en adresseert het specifieke probleem van het schalen van externe kennisinput buiten de grenzen van het contextvenster, een gat in de huidige LLM-deployments.
2. Nieuw Framework (EXTAGENTS): Het introduceert een architectuur die de bottlenecks van bestaande multi-agent systemen (bandbreedte en redundantie) overwint door globale synchronisatie en geleidelijke kennisaccumulatie.
3. Verbeterde Benchmark (∞Bench+): De auteurs hebben de bestaande ∞Bench benchmark verbeterd tot ∞Bench+. Ze filteren samples eruit die met een klein venster (8k tokens) kunnen worden beantwoord, waardoor ze een dataset creëren die echt vereist dat het systeem informatie over grote documentsegmenten moet integreren.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat EXTAGENTS consistent beter presteert dan state-of-the-art methoden (zoals LLM×MapReduce, Chain of Agents, en directe input) op multi-hop QA en het genereren van lange surveys.

Resultaten

De experimenten werden uitgevoerd op diverse benchmarks, waaronder HotpotQA, ∞Bench+ (in het Engels en Chinees), en AutoSurvey.

• Prestaties: EXTAGENTS toont een duidelijke schaalbaarheid: naarmate de hoeveelheid externe kennis toeneemt (van 8k tot 1024k tokens), verbeteren de prestaties. Bestaande methoden vertonen vaak een daling of plateau in prestaties wanneer de input het contextvenster overschrijdt.
  • Op HotpotQA bereikte EXTAGENTS een F1-score van 0.534 met 1024k tokens input, vergeleken met 0.482 voor de beste baseline (DRAG) met 128k tokens.
  • Op ∞Bench+ (En.QA) behaalde EXTAGENTS een F1 van 0.382 met 1024k tokens, terwijl baselines rond de 0.25-0.37 bleven.
• Efficiëntie: Door het gebruik van parallelle Seeking Agents en een geïnterleaved asynchrone pipeline, behoudt EXTAGENTS een lineaire groei in latentie in plaats van de kwadratische groei die vaak gezien wordt bij directe input of sequentiële methoden.
• Heterogene Modellen: Het framework is flexibel genoeg om kleinere, efficiëntere modellen te gebruiken voor Seeking Agents en sterkere modellen voor de Reasoning Agent, wat leidt tot een snelheidsverbetering van ~3.1x zonder kwaliteitsverlies.
• Kwaliteit: Bij het genereren van lange surveys (AutoSurvey) leverde EXTAGENTS resultaten op met meer citaties, hogere relevantie en minder duplicatie in vergelijking met de baseline.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het aantoont dat het mogelijk is om de kennisintegratie van LLMs te schalen zonder de dure en complexe training van modellen met nog langere contextvensters.

• Praktische Toepassing: Het biedt een oplossing voor real-world scenario's waar enorme hoeveelheden data (zoals juridische dossiers, academische literatuur of bedrijfskennisbanken) moeten worden verwerkt.
• Paradigmaverschuiving: Het verschuift de focus van "grotere modellen" naar "slimmere agenten-orchestration" tijdens de inferentie.
• Toekomstig Werk: De auteurs wijzen op de noodzaak van verdere kalibratie van de ranking-mechanismen en het integreren van tools voor waarheidsgetrouwheid om hallucinaties te verminderen, vooral bij het verwerken van tegenstrijdige informatie.

Kortom, EXTAGENTS bewijst dat door intelligente coördinatie van meerdere agents, LLMs effectief kunnen "lezen" en redeneren over kennisbronnen die vele malen groter zijn dan hun eigen contextvenster.