💻 computer science

InfiniRetri: Attention-Guided Retrieval for Enhancing LLMs' Long-Context Processing

InfiniRetri is een methode die geen training vereist en gebruikmaakt van de intrinsieke aandachtmechanismen van een vooraf getraind LLM om iteratief relevante context uit willekeurig lange inputs te distilleren, wat efficiënte en zeer nauwkeurige long-context retrieval en redeneren mogelijk maakt zonder de noodzaak van externe embeddingmodellen of kostbare hertraining.

Oorspronkelijke auteurs: XiaoJu YE, Fang Wang, FangFang Wang, YuanRui Ren

Gepubliceerd 2026-10-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: XiaoJu YE, Fang Wang, FangFang Wang, YuanRui Ren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentiesystemen, bekend als grote taalmodellen, zijn opmerkelijk bekwaam geworden in het begrijpen en genereren van menselijke taal. Ze kunnen verhalen schrijven, wiskundige problemen oplossen en complexe vragen beantwoorden. Deze systemen worden echter geconfronteerd met een aanzienlijke fysieke beperking: ze kunnen tegelijkertijd slechts een bepaalde hoeveelheid informatie vasthouden in hun "werkgeheugen". Wanneer een gebruiker het model vraagt om een zeer lang document te lezen, zoals een volledige roman of een verzameling juridische dossiers, heeft het systeem vaak moeite. Het heeft de neiging om details uit het begin van de tekst te vergeten of de draad van het hoofdpunt te verliezen naarmate de invoer langer wordt. Dit gebeurt omdat het wiskundige proces dat het model gebruikt om woorden met elkaar te verbinden, ongelooflijk duur en traag wordt naarmate de tekst groter wordt. Om dit op te lossen, hebben onderzoekers twee hoofdbenaderingen geprobeerd. De ene is het dwingen van het model om te leren hoe het langere teksten moet verwerken door middel van dure en tijdrovende hertraining. De andere is het gebruiken van een hulpsysteem dat relevante delen van de tekst doorzoekt voordat het model deze leest, maar deze helper vertrouwt vaak op eenvoudige woordmatching waardoor de diepere betekenis verloren gaat.

Een team van onderzoekers van WenHua College in China heeft een andere oplossing voorgesteld die geen hertraining en geen externe zoekinstrumenten vereist. Ze ontdekten dat het model al over het vermogen beschikt om de juiste informatie binnen een lange tekst te vinden; het moet alleen worden begeleid om dit te gebruiken. Door te observeren hoe het interne aandachtmechanisme (attention mechanism) van het model werkt, ontdekten zij dat het model van nature zijn aandacht richt op de specifieke zinnen die de antwoorden op een vraag bevatten, zelfs wanneer die zinnen diep begraven liggen in een massief document. Dit patroon is het meest zichtbaar in de laatste laag van het verwerkingsnetwerk van het model. De onderzoekers ontwikkelden een methode genaamd InfiniRetri die dit natuurlijke gedrag uitbuit. In plaats van te proberen de tekst te comprimeren tot kleinere, onleesbare fragmenten of te vertrouwen op een aparte zoekmachine, leest hun methode iteratief stukken van het lange document, vraagt het model om de meest relevante zinnen te identificeren op basis van zijn eigen interne focus, en slaat alleen die volledige zinnen op in een kleine, efficiënte geheugencache.

Het proces werkt als een zorgvuldige lezer die pagina voor pagina door een dik boek gaat. De onderzoekers splitsen de lange tekst op in hanteerbare secties. Voor elke sectie voeren ze de tekst samen met de vraag van de gebruiker in het model in. Het model kijkt vervolgens naar hoeveel aandacht de interne mechanismen van het model besteden aan verschillende delen van die sectie. De onderzoekers extraheren een kaart van deze aandacht, waarbij ze specifiek kijken naar hoe de vraagwoorden verbinding maken met de woorden in de tekst. Ze ontdekten dat de aandachtsscores van het model fungeren als een precies signaal, dat exact de zinnen markeert die het antwoord bevatten. Het systeem selecteert vervolgens de zinnen met de hoogste score en slaat deze op in een lichte cache. Deze cyclus herhaalt zich voor elk deel van het document. Tegen de tijd dat de volledige tekst is verwerkt, bevat de cache alleen de meest cruciale zinnen die nodig zijn om de vraag te beantwoorden, waardoor de rest van de ruis effectief wordt weggefilterd. Ten slotte leest het model deze kleine, gecureerde collectie zinnen en genereert het het uiteindelijke antwoord.

De resultaten van deze aanpak zijn opmerkelijk. In tests waarbij het model een verborgen feit binnen een massief document moest vinden, behaalde een zeer kleine versie van het model met deze methode een perfecte nauwkeurigheid, zelfs wanneer de tekst meer dan één miljoen woorden bevatte. Dit is een significante verbetering ten opzichte van eerdere methoden, die vaak faalden wanneer de tekst de grens van 32.000 woorden overschreed. De methode bleek ook zeer effectief bij het beantwoorden van vragen die het vinden van informatie over meerdere documenten vereisen, waarbij het superieur presteerde aan andere geavanceerde technieken die vertrouwen op complexe training of externe databases. Opmerkelijk genoeg werd dit hoge niveau van prestatie bereikt met slechts twee gigabyte aan computergeheugen, een omvang die klein genoeg is om te draaien op standaard consumentenhardware. De onderzoekers merkten op dat de methode het beste werkt wanneer er een duidelijke vraag gesteld kan worden, aangezien het systeem de vraag nodig heeft om de aandacht te sturen. Hoewel het minder verbetering liet zien bij taken zoals het samenvatten van een heel boek, waarbij het doel is om alles samen te vatten in plaats van een specifiek feit te vinden, vertegenwoordigt het vermogen om precieze informatie te extraheren uit vrijwel onbeperkte tekstlengtes zonder dure training een grote stap voorwaarts. De studie suggereert dat door te vertrouwen op de eigen interne signalen van het model, we het vermogen kunnen ontsluiten om te lezen en te redeneren over teksten van elke omvang.

Technische Samenvatting: InfiniRetri

Probleemstelling

Large Language Models (LLMs) lijden aan consistente prestatievermindering naarmate de invoerlengte toeneemt, wat zowel directe retrieval als complexe redenering over lange documenten beïnvloedt. Bestaande oplossingen kampen met aanzienlijke beperkingen:

Context Window Extension: Het uitbreiden van contextvensters via voortgezette training is prohibitief duur vanwege de kwadratische complexiteit van aandachtmechanismen (attention mechanisms).
Prompt Compressie: Huidige methoden (bijv. SelectiveContext, LLMLingua) opereren vaak op tokenniveau, waardoor semantische eenheden worden weggegooid en er onleesbare tekst ontstaat, wat de prestaties schaadt zonder training.
KV Cache Compressie: Methoden zoals H2O of SnapKV behouden slechts gedeeltelijke Key-Value toestanden, falen in het comprimeren van alle toestanden op een training-vrije wijze en negeren vaak fijnmazige aandachtspatronen.
Retrieval-Augmented Generation (RAG): Standaard RAG vertrouwt op externe embedding-modellen die slechts oppervlakkige lexicale relevantie vastleggen, waardoor ze moeite hebben om semantische hiaten te overbruggen of associaties tussen meerdere opgehaalde passages te leggen.

Methodologie: InfiniRetri

De auteurs stellen InfiniRetri voor, een training-vrije methode die gebruikmaakt van de intrinsieke aandachtmechanismen van vooraf getrainde LLM's om relevante informatie uit willekeurig lange inputs te halen en te cachen. De aanpak is gebaseerd op de ontdekking van het Attention-Aligned Retrieval (AAR) patroon.

Kerninzicht: Attention-Aligned Retrieval (AAR)

Door middel van laag-specifieke visualisatie en analyse observeerden de auteurs dat:

Retrieval Capaciteit: De vraag-naar-context aandacht sub-matrix van een vooraf getrainde LLM (specifiek in de laatste transformer-laag) een precieze, interpreteerbare signaal biedt voor het identificeren van inhoud die relevant is voor een query. Het model "weet" inherent welke context-segmenten relevant zijn.
Laagdiepte: Dit retrieval-patroon versterkt met de diepte, met een piek in de laatste transformer-laag, waar de aandacht tussen relevante en irrelevante context het meest discriminerend is.

Workflow

InfiniRetri verwerkt lange contexten via een iteratieve lus bestaande uit vijf stappen:

Chunking: De lange context wordt opgesplitst in segmenten bij zinsgrenzen om de semantische integriteit te bewaren.
Merging: Een lichtgewicht externe cache van eerder opgehaalde zinnen wordt voorafgevoegd aan de huidige chunk.
LLM Inferentie: De samengevoegde context en de gebruikersvraag worden in de LLM gevoed.
Retrieval in Attention:
- De laatst-laag aandacht matrix wordt geëxtraheerd.
- De vraag-naar-context sub-matrix wordt uitgesneden (exclusief attention sinks).
- Aandachtsscores worden geaggregeerd op zinsniveau met behulp van 1-D sum-pooling.
- De Top-K meest relevante posities worden geïdentificeerd op basis van de geaggregeerde scores.
Cache Update: In plaats van individuele tokens op te slaan, worden de volledige zinnen die de top-K tokens bevatten, opgehaald uit de originele context en aan de cache toegevoegd.

Na het verwerken van alle chunks wordt het uiteindelijke antwoord gegenereerd met behulp van de geaccumuleerde cache en de originele vraag.

Belangrijkste Bijdragen

Identificatie van het AAR Patroon: Het artikel identificeert dat de vraag-naar-context aandacht sub-matrix in de laatste laag van vooraf getrainde LLM's dient als een nauwkeurig, betrouwbaar en interpreteerbaar retrieval-signaal, waardoor externe embedding-modellen overbodig worden.
InfiniRetri Framework: Een training-vrije methode die iteratief volledige, relevante zinnen destilleert naar een lichtgewicht cache. Het sluit aan bij de doelen van prompt compressie maar opereert op zinsniveau voor betere interpreteerbaarheid en semantische coherentie.
Omvattende Evaluatie: De methode wordt geëvalueerd tegen drie families van baselines: prompt compressie, KV cache compressie en RAG, waarbij superieure prestaties worden aangetoond over meerdere benchmarks.

Experimentele Resultaten

InfiniRetri werd geëvalueerd op LongBench, LongBenchV2, $\infty$ Bench en de Needle-In-a-Haystack (NIH) test.

LongBench Prestaties:
- Prompt Compressie: Presteerde beter dan de vorige training-vrije SOTA (DAC) met 11,4% in gemiddelde score (42,05 vs. 37,76) met een aanzienlijk lagere compressieratio (0,26 vs. 0,5).
- KV Cache Compressie: Overtrof de sterkste eerdere methode, CompilerKV (die offline kalibratie vereist), met 15,9% overall op Qwen2-7B. Opvallend genoeg behaalde het een verbetering van 238,7% in multi-document QA taken (13,40 $\to$ 45,38).
- RAG: Presteerde beter dan leidende embedding-gebaseerde retrievers (BGE-M3, Stella-v5) en geavanceerde RAG-systemen (GraphRAG, RQ-RAG). Het volgde enkel MemoRAG, dat profiteert van full-stage training.
Ultra-Lange Context Capaciteiten:
- NIH Test: Behaalde 100% nauwkeurigheid op de NIH-test met een 0,5B-parameter model over 1 miljoen tokens, waarbij slechts 2GB GPU-geheugen nodig was.
- $\infty$ Bench: Een 1,5B model behaalde 100% nauwkeurigheid op ultra-lange retrieval taken (214K tokens), waarmee het grotere modellen met KV-retrieval methoden overtrof.
- LongBenchV2: Een 7B model dat InfiniRetri gebruikt, bereikte prestatie-gelijkwaardigheid met zijn 72B tegenhanger, met name op long-text taken.
Complexiteit: De methode reduceert de inferentiecomplexiteit van kwadratisch $O(N^2)$ naar ongeveer lineair $O(mN)$ , waarbij $m$ de chunk grootte is, door de context te snoeien tot een kleine cache van relevante zinnen.

Betekenis en Claims

Het artikel claimt dat InfiniRetri een nieuw paradigma voor informatie-retrieval vestigt, gebouwd op de intrinsieke capaciteiten van LLM's. Door gebruik te maken van de eigen aandachtmodules van het model, overbrugt het de semantische kloof tussen queries en documenten zonder externe retrieval-componenten of training.

De auteurs benadrukken dat:

Interpreteerbaarheid: In tegen tegenstelling tot token-niveau compressie, behoudt InfiniRetri volledige zinnen, wat het retrieval-proces transparant en menselijk leesbaar maakt.
Efficiëntie: Het vermindert de geheugenoverhead drastisch (bijv. 2GB voor 1M tokens) en de computationele kosten, terwijl de nauwkeurigheid behouden blijft of zelfs verbetert.
Generaliseerbaarheid: De methode is toepasbaar op elke attention-gebaseerde LLM en ondersteunt theoretisch oneindige contextlengtes.

Erkende Beperkingen:
Het artikel merkt op dat InfiniRetri een vooraf gedefinieerde vraag vereist (wat scenario's zonder vraaggeneratie beperkt) en beperkte winst laat zien op samenvattings-taken (summarization), die mogelijk aggregatie van informatie over meerdere vensters vereisen buiten de huidige single-pass retrieval mechanisme. Daarnaast is de prestatie gevoelig voor hyperparameter afstemming, specif gezien de frase grootte ten opzichte van de doelantwoord lengte.