💬 NLP

AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory

AgentIR introduceert een werklastadaptieve cascade-retrievalsubstraat voor langetermijnconversatiememorie dat dynamisch dure dichte retrieval overslaat op basis van betrouwbaarheidsdrempels en een tijdsgepartitioneerde index gebruikt om een latentie van onder de 10 ms en een snelheidswinst tot 132x te bereiken, terwijl de retrievalnauwkeurigheid over diverse benchmarks behouden of verbeterd blijft.

Oorspronkelijke auteurs: Aojie Yuan, Haiyue Zhang, Shahin Nazarian

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aojie Yuan, Haiyue Zhang, Shahin Nazarian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Slimme Bibliothecaris voor AI-Agenten

Stel je een zeer slimme AI-assistent (een "agent") voor die je maanden of zelfs jaren helpt. Na verloop van tijd verzamelt deze agent een enorm dagboek van gesprekken, tool-gebruik en plannen – miljoenen pagina's notities.

Elke keer als de agent een stap zet om een probleem op te lossen, moet het door dit dagboek bladeren om de juiste informatie te vinden. Als de agent 20 stappen zet, moet het dagboek 20 keer achter elkaar worden doorzocht. Als de zoektocht zelfs maar een fractie van een seconde te lang duurt, voelt het hele gesprek voor de menselijke gebruiker "vastzittend" of traag.

Het probleem? De tools die we normaal gebruiken om bibliotheken te doorzoeken (zoals standaardzoekmachines), zijn gebouwd voor het doorzoeken van het hele internet, niet voor het doorzoeken van een enkel, constant groeiend dagboek waar de belangrijkste notities meestal die zijn die zojuist zijn geschreven.

AgentIR is een nieuwe, gespecialiseerde zoekmachine die specifiek is gebouwd voor deze AI-agenten. Het is sneller, slimmer in wat het moet zoeken, en schaalt op zonder vertraagd te raken.

1. De "Tijdsreizen"-Planken (Temporele Partitionering)

Het Probleem: Stel je een bibliotheek voor waar elke seconde boeken worden toegevoegd. Als je om een boek vraagt, moet een standaardbibliothecaris misschien de planken van het oudste boek tot het nieuwste, één voor één, controleren. Naarmate de bibliotheek groeit tot miljoenen boeken, wordt deze zoektoct steeds trager.

De AgentIR-oplossing: AgentIR organiseert de bibliotheek anders. In plaats van één gigantische rij boeken, plaatst het ze op planken op basis van wanneer ze zijn geschreven.

De Analogie: Denk eraan als een "Tijdsreizen"-bibliotheek. De meest recente boeken staan op een speciale, makkelijk bereikbare plank helemaal vooraan. Oudere boeken worden verder naar achteren geduwd.
Hoe het werkt: Omdat AI-agenten meestal informatie nodig hebben uit recente gesprekken (zoals "wat hebben we net opgelost?"), kijkt het systeem eerst alleen naar de planken vooraan. Als het daar het antwoord vindt, stopt het direct. Het verspillen geen tijd aan het controleren van de stoffige planken achteraan.
Het Resultaat: Zelfs als de bibliotheek 1.000 keer groter wordt, neemt de zoektijd nauwelijks toe. Het is alsof je een naald in een hooiberg zoekt, maar de naald zit altijd in de bovenste 1% van het hooi.

2. De "Twee-Tool"-Strategie (Hybride Zoeken)

Het Probleem: Soms moet je zoeken op exacte woorden (zoals het vinden van een specifieke foutcode), en soms moet je zoeken op betekenis (zoals het vinden van een gesprek over "het oplossen van een bug" zelfs als het woord "bug" niet wordt gebruikt).

Tool A (BM25): Uitstekend in exacte woordmatching, supersnel.
Tool B (Dense/Vector): Uitstekend in het begrijpen van betekenis, maar traag en zwaar.

De AgentIR-oplossing: AgentIR dwingt je niet om beide tools voor elke enkele vraag te gebruiken. Het fungeert als een slimme verkeersregelaar.

De Analogie: Stel je voor dat je op zoek bent naar een specifiek item in een winkel.
- Als je vraagt: "Waar is de rode hamer?", weet het systeem dat je alleen naar de "Hammer"-gang hoeft te kijken (Tool A). Het slaat de dure, trage "Betekenis"-scanner over.
- Als je vraagt: "Waar is het ding dat de piepende deur repareert?", weet het systeem dat het de "Betekenis"-scanner (Tool B) nodig heeft om het concept te begrijpen.
De Cascade: Het systeem probeert eerst de snelle tool. Als de snelle tool zeer zeker is dat het het antwoord heeft gevonden, stopt het daar. Als het niet zeker is, roept het dan de trage, zware tool in. Dit bespaart een enorme hoeveelheid tijd.

3. De "Vormveranderende"-Strategie (Werklast-Adaptief)

Het Probleem: Verschillende soorten vragen vereisen verschillende zoekstrategieën.

Op één dataset (LongMemEval) werkte het mixen van woordmatching en betekenismatching het beste.
Op een andere dataset (LoCoMo) was alleen woordmatching eigenlijk beter en sneller.
Oude systemen dwingen je om één strategie te kiezen en je er voor altijd aan te houden.

De AgentIR-oplossing: AgentIR is een "chameleont". Het heeft een kleine, snelle classifier (een beslisser) die naar je vraag kijkt en zegt: "Ah, dit is een 'Tijd'-vraag, laten we Strategie A gebruiken," of "Dit is een 'Feiten'-vraag, laten we Strategie B gebruiken."

Het Resultaat: Het stemt zichzelf automatisch af. Op één test slaagde het erin om de trage tool 63% van de tijd over te slaan. Op een andere test slaagde het erin om deze 100% van de tijd over te slaan omdat de snelle tool perfect was. Het past zich aan de klus aan zonder opnieuw getraind te hoeven worden.

4. De "Super-Snelheid"-Motor (GPU & CPU-optimalisatie)

Het Probleem: Het uitvoeren van deze zoekopdrachten op standaardcomputerchips (CPU's) is snel, maar het doen op krachtige grafische kaarten (GPU's) is meestal lastig omdat de wiskunde niet perfect overeenkomt. Ook hebben standaardzoekmachines vaak verborgen bugs die ze iets minder nauwkeurig maken wanneer je probeert ze te versnellen.

De AgentIR-oplossing:

De Motor: Ze hebben een aangepaste motor gebouwd die perfect werkt op zowel CPU's als GPU's.
De "Bug-fix": De auteurs vonden drie subtiele "bugs" die vaak voorkomen wanneer mensen proberen zoekmachines te versnellen (zoals het verkeerd normaliseren van getallen of het vergeten om het geheugen te legen). Deze bugs maken zoekresultaten 6 tot 8 keer slechter zonder dat iemand het merkt. AgentIR heeft deze opgelost, zodat de supersnelle GPU-versie exact dezelfde correcte antwoorden geeft als de langzamere CPU-versie.
Het Resultaat: Ze bereikten snelheden tot wel 132 keer sneller dan standaardsystemen op bepaalde taken, terwijl ze de nauwkeurigheid exact hetzelfde hielden.

Samenvatting van Resultaten

Snelheid: Het kan miljoenen records verwerken en antwoordt toch binnen 100 microseconden (dat is 1/10.000e van een seconde) voor recente data.
Efficiëntie: Het kan 8 verschillende AI-agenten tegelijkertijd bedienen op één computer zonder vertraagd te raken.
Nauwkeurigheid: Het komt overeen met of verslaat de beste bestaande zoekmachines (zoals Lucene) in het vinden van de juiste antwoorden, maar doet dit veel sneller.
Kosten: Omdat het zo snel en efficiënt is, kost het een miniem fractie van wat commerciële cloudzoekdiensten in rekening brengen.

In het kort: AgentIR is een gespecialiseerde, supersnelle zoekmachine die weet wanneer het naar recente notities moet kijken, wanneer het eenvoudige woordmatching moet gebruiken, en wanneer het het zware werk helemaal kan overslaan, zodat AI-agenten snel en responsief blijven, zelfs naarmate hun geheugens enorm groeien.

Technische Samenvatting: AgentIR

Probleemstelling

Langdurig conversatiememorium voor LLM-agenten vormt een ophaalwerklast die fundamenteel verschilt van klassieke Informatieretrieval (IR)-systemen zoals Lucene, FAISS of PISA. Waar traditionele engines uitgaan van statische corpora, stationaire query-distributies en latentiebudgetten die worden gemeten in tientallen milliseconden, vertoont agentgeheugen vijf onderscheidende eigenschappen die deze aannames doorbreken:

Extreme Recente Voorkeur: Ophaalqueries concentreren zich sterk op het meest recente deel van de records (bijvoorbeeld de bovenste 20–27% van sessies), in tegenstelling tot de trage verschuiving van webzoekopdrachten.
Niet-statische Indexgroei: Het corpus groeit monotoon tijdens de query-stroom (met het conversatietempo), waardoor traditionele indexheropbouw of incrementele updates (die hoge tail-latentie met zich meebrengen) onpraktisch worden.
Heterogene Query-types: Een enkele agent-sessie bevat feitelijke opzoekingen, meerstapsredenering en temporele queries, waarbij geen enkele fusiestrategie (BM25, Dense of RRF) alle types domineert.
Strikte Latentiebudgetten: Met 5–20 ophaalacties per agentstap is het budget per query onder de 10 ms. Dichte encoders (zoals SPLADE++) overschrijden dit budget vaak vanwege de coderingskosten.
Rol-gestructureerde Records: Data bevat metadata (rol, sessie-ID, tooltype) die specifieke filtering en fusielogica vereist die verder gaat dan standaard tekstmatching.

Bestaande systemen slagen er niet in om deze eigenschappen te benutten, behandelen agentgeheugen vaak als "kleine IR" en lijden onder lineaire schaalingskosten en suboptimale fusiestrategieën.

Methodologie: AgentIR Substraat

AgentIR is een werklast-adaptief cascade-ophaalsubstraat dat is ontworpen om deze structurele eigenschappen aan te pakken via een tweedimensionaal adaptief besturingsoppervlak: (1) het selecteren van de optimale fusiestrategie per query, en (2) het bepalen of de dure dichte channel überhaupt moet worden uitgevoerd.

1. Architectuur en Pipeline

Het systeem voert drie gelijktijdige kanalen uit over een enkel CSR (Compressed Sparse Row)-substraat:

SIMD-versnelde BM25: Een CPU-gebaseerde spaarzoekopdracht met gebruik van AVX2/NEON-vectorisatie en MaxScore-pruning.
Dichte Channel: Een HNSW-gebaseerde ANN-zoekopdracht voor dichte embeddings (bijvoorbeeld BGE-small).
Temporeel Gepartitioneerde Index: Een tijdsgebaseerde indexstructuur die documenten partitioneert in 7-dagenbakken.

Tweedimensionale Adaptatie:

Fusie-selectie: Het systeem kiest op basis van het query-type tussen BM25, Dense, RRF of een "agent-bewuste" RRF (die een recency-bonus en een belangrijkheidsweegfactor toevoegt).
Cascade-routing: Een door vertrouwen getriggerde router beslist of de dichte channel volledig kan worden overgeslagen. Als de top- $k$ -marge van BM25 hoog is (wat hoge zekerheid aangeeft), stopt het systeem vroegtijdig; anders eskaleert het naar de volledige hybride pipeline.

2. Belangrijkste Optimalisaties

Sub-lineaire Temporele Schaling: Door gebruik te maken van de exponentiële recency-voorkennis van agentwerklasten, doorzoekt de temporele index alleen de meest recente partities. Stelling 4.1 bewijst dat onder deze bias de verwachte arbeid $O(\log(1/\varepsilon))$ is, onafhankelijk van de totale corpusgrootte $N$ .
Heterogene CPU/GPU-pipeline:
- CPU: Geoptimaliseerd voor geheugen-gebonden HNSW en reken-gebonden BM25 via SIMD en meerdraadse parallelisme.
- GPU: Een twee-kernel CUDA-pipeline voor gebatchte BM25-scoreberekening (CSR-indeling) en top- $k$ -selectie. Het systeem identificeert en corrigeert drie specifieke correctheidsvalkuilen bij het opnieuw implementeren van BM25 op moderne hardware: voor-genormaliseerde termfrequentie, lineaire winst nDCG en verouderde gedeelde-geheugenlezingen in GPU top- $k$ -kernels.
Werklast-voorwaardelijke Fusie: Een runtime-router (met TF-IDF of lichtgewicht classifiers) voorspelt het query-type en selecteert de beste fusiestrategie. Een "zachte router" mengt ranglijsten op basis van classifier-posteriors om ambiguë queries af te handelen.

Belangrijkste Bijdragen

Implementatie van het Sub-lineaire Regime: Demonstreert dat een tijdsgepartitioneerde index $O(\log(1/\varepsilon))$ arbeid kan bereiken voor werklasten met recency-scheefheid. Empirisch leidt het vergroten van het corpus met 1.234× (van 4K naar 5M records) tot een toename van de latentie met slechts 3,6×, wat een snelheidswinst van 1.769× oplevert ten opzichte van een sequentiële scan bij 5M records met een $p50$ -latentie onder de 100 $\mu$ s.
Hoogpresterende Hybride Engine: Levert Lucene-kwaliteit ophaal (binnen $\pm 0,020$ nDCG@10) over 9 BEIR-datasets (tot 8,8M documenten) terwijl het gemiddeld 10× sneller draait dan Pyserini (8-thread) en 11× sneller dan PISA-1T (BlockMax-WAND). Het valideert ook bit-perfecte correctheid tussen CPU- en GPU-implementaties.
Bewijs voor Werklast-voorwaardelijke Fusie over Werklasten: Toont empirisch aan dat de optimale fusiestrategie varieert per werklast en query-type.
- Op LongMemEval (500 vragen) presteert een hybride RRF + recency-strategie beter dan statische baselines. Een geleerde router bereikt de "discrete orakel"-grens (0,300 door LLM beoordeelde nauwkeurigheid) onder gpt-4o.
- Op LoCoMo (1.982 vragen) is BM25 alleen het sterkste systeem.
- Een Cascade-router past zich automatisch aan over deze benchmarks: het slaat de dichte channel over voor 63% van de LongMemEval-queries (2,67× snelheidswinst) en voor 100% van de LoCoMo-queries (132× snelheidswinst), terwijl de nauwkeurigheid gelijk blijft.

Resultaten

Kwaliteit: Komt overeen met of overtreft Pyserini Lucene op 5 van de 9 BEIR-datasets. Hybride RRF met BGE-small verbetert de gemiddelde nDCG@10 met +0,033 ten opzichte van alleen BM25. Op LongMemEval bereikt agent-bewuste fusie een R@10 van 0,978 en een door LLM beoordeelde nauwkeurigheid van 0,254 (tegenover 0,246 voor BM25).
Latentie en Doorvoer:
- Temporele Schaling: Bij 5M records bedient temporele partitionering queries in <100 $\mu$ s ( $p50$ ), terwijl een sequentiële scan ongeveer 159 ms kost.
- Multi-tenant: Een 8-core VM bedient 8 gelijktijdige agenten met een onveranderlijke $p50$ -latentie (~0,38 ms) en 5,5× totale doorvoer.
- Cascade-efficiëntie: De cascade-router verlaagt de geamortiseerde latentie van 53,2 ms naar 19,9 ms (2,67×) op LongMemEval en naar 0,4 ms (132×) op LoCoMo.
Correctheid: Het artikel documenteert en corrigeert drie subtiele bugs (voor-genormaliseerde TF, lineaire winst nDCG, GPU-verouderd geheugen) die eerder regressies van 6–8× in nDCG@10 veroorzaakten. Na correctie komen CPU en GPU overeen binnen 0,0002 nDCG@10.

Betekenis en Aanspraken

Het artikel betoogt dat agentgeheugen niet zomaar "kleine IR" is, maar een distinct werklastregime dat architecturale specialisatie vereist. De betekenis van AgentIR ligt in:

Benutting van Structurele Eigenschappen: Door recency-scheefheid, monotoone groei en query-heterogeniteit als ontwerpinvoer te behandelen, bereikt het systeem een arbeid per query die orde van grootte lager ligt dan bij generieke engines.
Werklast-voorwaardelijke Adaptatie: Het demonstreert dat een enkele implementatie zich kan aanpassen aan sterk verschillende operationele punten (bijvoorbeeld hybride fusie versus alleen BM25) op basis van de specifieke werklast, met behulp van een lichtgewicht router en cascade-mechanisme.
Correctheid en Reproduceerbaarheid: Het artikel biedt een geverifieerde, bit-perfecte implementatie van BM25 op moderne CPU/GPU-hardware, waarmee stille regressies die gebruikelijk zijn bij herimplementaties worden gecorrigeerd.
Kostenefficiëntie: De kosten van het ophaalsubstraat worden geschat op 2–3 orde van grootte lager dan de LLM-tier, waardoor het een kritiek onderdeel wordt voor schaalbare, kosteneffectieve agentsystemen.

De auteurs concluderen dat de combinatie van temporele partitionering, werklast-voorwaardelijke fusie en cascade-routing het mogelijk maakt dat één systeem langdurig agentgeheugen bedient met sub-milliseconden latentie op handelsware-hardware, een regime dat voorheen onbereikbaar was met statische IR-engines.