💬 NLP

When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

Het artikel introduceert ReaLM-Retrieve, een raamwerk dat de ophaaltiming voor grote redeneringsmodellen optimaliseert door kennislacunes op het niveau van redeneerstappen te detecteren, wat de nauwkeurigheid van antwoorden en de ophaalefficiëntie aanzienlijk verbetert en tegelijkertijd onnodige ophaaloproepen vermindert in vergelijking met standaard- en vaste-intervalbenaderingen.

Oorspronkelijke auteurs: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Bibliotheekbezoek"-Mismatch

Stel je voor dat je een briljante detective bent (het Grote Redeneringsmodel) die probeert een complex mysterie op te lossen. Je hebt een notitieboekje waar je je gedachten stap voor stap in opschrijft. Soms raak je vast omdat je een specifiek feit niet weet, zoals de naam van een getuige of de datum van een gebeurtenis.

De Oude Manier (Standaard RAG):
Momenteel handelen de meeste systemen als een bibliothecaris die je een stapel boeken geeft voordat je zelfs maar begint met schrijven in je notitieboekje. Je leest de boeken en probeert vervolgens het hele mysterie op te lossen.

De Tekortkoming: Als je halverwege je 20 pagina's lange denkproces vastloopt omdat je een detail bent vergeten, kun je niet terugkeren om een nieuw boek te vragen. Je zit vast aan de informatie die je aan het begin kreeg, zelfs als die niet voldoende was voor de latere stappen.

De Nieuwe Manier (ReaLM-Retrieve):
Dit paper introduceert een systeem genaamd ReaLM-Retrieve. In plaats van alle boeken in één keer te krijgen, mag de detective halverwege het schrijven van zijn notities naar de bibliotheek lopen, maar alleen wanneer hij het echt nodig heeft.

Hoe Het Werkt: De Drie Magische Hulpmiddelen

De onderzoekers hebben een systeem gebouwd met drie hoofdonderdelen om deze "bibliotheektocht halverwege het denken" perfect te laten werken.

1. De "Zekerheidscontrole" (Onzekerheid op Stapsniveau)

Stel je voor dat de detective na elke alinea van zijn notitieboekje pauzeert. Hij vraagt zichzelf af: "Weet ik dit eigenlijk wel, of gok ik gewoon?"

Oude methoden controleerden dit bij elk enkel woord (te frequent) of bij elke zin (te star).
ReaLM-Retrieve controleert op de logische stap. Het vraagt: "Heb ik zojuist een complete gedachte afgerond? Voel ik me onzeker over de volgende logische sprong?"
Als de detective een "kennisgat" (onzekerheid) voelt, markeert het systeem dit. Het is als een "Controlelampje Motor" dat alleen oplicht wanneer de auto echt brandstof nodig heeft, niet zomaar omdat de motor draait.

2. De "Slimme Manager" (Gestudeerd Interventiebeleid)

Alleen omdat de detective zich onzeker voelt, betekent niet dat hij elke keer naar de bibliotheek moet rennen. Soms denken ze gewoon diep na, zonder dat feiten ontbreken.

Dit systeem fungeert als een slimme manager die naast de detective zit.
De manager kijkt naar de "Zekerheidscontrole" en de geschiedenis van de zaak. Hij besluit: "Oké, we moeten nu echt dat specifieke feit opzoeken," OF "Nee, blijf nadenken, je komt er wel."
Hij helpt ook bij het formuleren van de perfecte vraag voor de bibliothecaris (de zoekopdracht), zodat de detective precies de juiste pagina krijgt, en niet een heel boek met irrelevante informatie.

3. De "Snelle Bezorging" (Efficiënte Integratie)

Naar de bibliotheek gaan kost tijd. Als de detective 5 minuten stopt elke keer dat hij een feit nodig heeft, wordt het hele proces traag.

De onderzoekers bouwden een snelbezorgservice.
In plaats van de detective een heel boek te geven, geven ze hem alleen de exacte alinea die hij nodig heeft (informatie comprimeren).
Ze gebruiken ook een "speculatieve" truc: Als de detective waarschijnlijk als volgend een feit over "Parijs" nodig heeft, haalt het systeem die informatie op terwijl de detective nog steeds de huidige zin schrijft. Als hij het nodig heeft, staat het er direct.
Resultaat: Het systeem is 3,2 keer sneller in het ophalen van informatie dan oudere methoden.

De Resultaten: Slimmer, Sneller, Goedkoper

Het team testte dit op drie moeilijke puzzelspellen (MuSiQue, HotpotQA en 2WikiMultiHopQA) waarbij veel punten met elkaar verbonden moeten worden om een antwoord te vinden.

Betere Antwoorden: Het systeem gaf 10% vaker het juiste antwoord dan de standaardmethode "alle boeken in één keer ophalen".
Minder Tochten: Het maakte 47% minder tochten naar de bibliotheek. In plaats van elke paar zinnen de bibliotheek te checken (zoals de oude IRCoT-methode), ging het alleen wanneer het absoluut noodzakelijk was.
Het Sweet Spot: Bij de moeilijkste puzzels (waar 4 logische stappen voor nodig waren) was de nieuwe methode aanzienlijk beter. Het bewees dat minder, goed getimede tochten naar de bibliotheek beter zijn dan frequente, willekeurige tochten.

Een Reëel Voorbeeld uit het Paper

Het paper geeft een voorbeeld van een vraag: "Wie regisseerde de film die Beste Film won in het jaar dat de Berlijnse Muur viel?"

De Gedachtegang van de Detective:
1. "De Berlijnse Muur viel in 1989." (Zeker, geen bibliotheektocht nodig).
2. "De Beste Film van 1989 was Driving Miss Daisy." (Zeker, geen tocht).
3. "Wie regisseerde het?" (Hier voelt de detective een gat. Het systeem zegt: GA NAAR DE BIBLIOTHEEK).
4. Het systeem haalt de naam van de regisseur direct op.
5. De detective maakt het antwoord af.
De Oude Manier: Zou de naam van de regisseur helemaal aan het begin hebben opgehaald, zelfs al had de detective die pas bij stap 3 nodig, waardoor tijd verloren ging en de detective mogelijk verward werd door te veel informatie te vroeg.

Samenvatting

ReaLM-Retrieve leert AI-modellen om te stoppen en hulp te vragen precies wanneer ze vastlopen, in plaats van hulp te vragen voordat ze beginnen of te vaak hulp te vragen. Het is als het hebben van een slimme assistent die precies weet wanneer het de encyclopedie moet openen, wat tijd bespaart en betere resultaten oplevert.

1. Probleemstelling

Het paper adresseert een fundamentele temporele misalignering tussen Large Reasoning Models (LRM's) zoals DeepSeek-R1 en OpenAI o1, en traditionele Retrieval-Augmented Generation (RAG)-systemen.

Het Mismatch: Standaard RAG volgt een "retrieve-then-generate"-paradigma, waarbij context voordat het redeneren begint wordt ingebracht. LRMs genereren echter uitgebreide denkketens (12.000–25.000 tokens) die multi-stap inferentie, zelfverificatie en teruglopen omvatten. Kenniskloven ontstaan vaak tijdens de inferentie en kunnen op het moment van de query niet worden voorspeld.
Beperkingen van Bestaande Iteratieve Methoden: Huidige iteratieve zoekmethoden (zoals IRCoT, FLARE) zijn ongeschikt voor LRMs vanwege:
1. Granulariteitsmismatch: Ze triggeren zoekopdrachten op token- of zinsniveau, terwijl LRMs opereren op het niveau van redeneerstappen (logische eenheden die over meerdere zinnen lopen).
2. Signalenonbeschikbaarheid: Methoden die vertrouwen op token-probabiliteiten (FLARE) of interne attention-staten (DRAGIN) falen bij "completion-only"-modellen (zoals o1) die deze interne details niet blootleggen.
3. Efficiëntie-inzakking: Vaste-interval zoeken (bijvoorbeeld na elke zin) is onbetaalbaar duur voor lange ketens, wat aanzienlijke latentie en token-overhead toevoegt.

2. Methodologie: ReaLM-Retrieve

De auteurs stellen ReaLM-Retrieve voor, een redeneringsbewust kader dat zoeken dynamisch integreert tijdens de inferentieketen. Het bestaat uit drie kerncomponenten:

A. Segmentatie van Redeneerstappen

In plaats van segmentatie op zinsniveau, identificeert het systeem logische redeneerstappen.

Mechanisme: Een lichtgewicht 3-laags transformer-classificator detecteert stapgrenzen op basis van discoursmarkers ("daarom", "echter"), logische connectieven, onderwerpverschuivingen (via embedding-ähnelijkheid) en leestekens.
Training: Getraind op menselijk geannoteerde traces van DeepSeek-R1, met een F1-score van 94,2% bij het identificeren van grenzen. Dit stelt het systeem in staat de redeneerketen te behandelen als een reeks discrete logische eenheden in plaats van een stroom van tokens.

B. Detectie van Onzekerheid op Stapriveau (RSUS)

Het systeem berekent een Reasoning Step Uncertainty Score (RSUS) om te bepalen of een stap externe kennis vereist.

Samengestelde Score: $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$ $R S U S (r_{i}) = α \cdot U_{v er b} + β \cdot U_{e n t} + γ \cdot U_{co n s}$
- $U_{verb}$ (Verbaliseerde Onzekerheid): Het model wordt gevraagd om zijn vertrouwen te beoordelen (0–100). Voor "completion-only"-modellen schat een geleerde MLP-proxy dit in op basis van oppervlaktekenmerken en aantallen entiteiten.
- $U_{ent}$ (Entiteit-entropie): Meet de ambiguïteit/spaarzame dekking van naamlijke entiteiten in het opgehaalde corpus. Hoge entropie geeft aan dat het model kennis mist over specifieke entiteiten.
- $U_{cons}$ (Consistentie): Meet overeenstemming over meerdere gesamplede voortzettingen van de huidige stap.
Efficiëntie: Deze berekening voegt slechts ~8% overhead toe, waardoor de enorme kosten van semantische entropie of zelf-consistentie-sampling worden vermeden.

C. Geleerde Interventiebeleid & Efficiënte Integratie

Beleid ( $\pi$ ): Een contextueel bandit-model beslist of er gezocht moet worden, welke query moet worden geformuleerd en hoe het bewijs moet worden geïntegreerd. Het wordt getraind via REINFORCE om antwoordnauwkeurigheid te maximaliseren terwijl zoekkosten (latentie en aantal oproepen) worden bestraft.
Query-formulering: Het beleid genereert specifieke queries die gericht zijn op de informatiebehoefte (bijvoorbeeld "Wat is de relatie van [entiteit] tot [concept]?") in plaats van alleen de huidige stap te herhalen.
Efficiëntie-optimalisaties:
- Impliciete compressie: Behoudt alleen zinnen uit opgehaalde documenten die een belangrijkheidstreshold overschrijden, wat de contextuitbreiding met 73% reduceert.
- Speculatieve caching: Haalt vooraf documenten op voor waarschijnlijke queries van de volgende stap parallel; als de gok correct is (37% hit-rate), wordt zoeklatentie geëlimineerd.
- KV-Cache-behoud: Voor open-weight-modellen worden de gecachete key-value-toestanden behouden voor onveranderde contextgedeelten, wat de time-to-first-token met 2,1× reduceert.

3. Belangrijkste Bijdragen

Granulariteit op Stapriveau: Verplaatst de zoektrigger van token-/zinsniveau naar redeneerstapniveau, in lijn met de logische structuur van LRMs.
Black-Box Compatibele Onzekerheid: Introduceert RSUS, een methode die werkt op "completion-only"-modellen (zoals o1) zonder toegang te vereisen tot token-probabiliteiten of interne attention-staten.
Efficiëntie-geoptimaliseerde Integratie: Reduceert de overhead per zoekopdracht met 3,2× ten opzichte van naïeve integratie door speculatieve caching en contextcompressie, waardoor praktische implementatie mogelijk wordt.

4. Experimentele Resultaten

Geëvalueerd op MuSiQue, HotpotQA en 2WikiMultiHopQA met behulp van DeepSeek-R1 en QwQ-modellen.

Nauwkeurigheid: ReaLM-Retrieve bereikt een gemiddelde absolute verbetering van 10,1% in F1 ten opzichte van standaard RAG en 4,6% ten opzichte van de sterkste eerdere methode (ReARTeR).
- Op MuSiQue (2–4 hop redenering) bereikt het 71,2% F1 (tegenover 65,4% voor IRCoT).
Efficiëntie:
- Minder Oproepen: Reduceert zoekoproepen met 47% ten opzichte van vaste-intervalbenaderingen (1,8 oproepen versus 3,4 oproepen voor IRCoT op MuSiQue).
- Latentie: Bereikt 1,33× lagere end-to-end latentie dan IRCoT en 1,50× lager dan naïeve interleaving.
- Kosten: Reduceert output-tokenkosten met 16% door kortere redeneerketens (bewijs lost onzekerheid sneller op).
Zoekkwaliteit: Verbeterd Recall@5 naar 81,3% (tegenover 72,6% voor IRCoT), wat bewijst dat het systeem beter bewijs op het juiste moment ophaalt.
Generalisatie: Het beleid generaliseert goed naar verschillende modelarchitecturen (bijvoorbeeld QwQ) en is overdraagbaar tussen benchmarks (getraind op HotpotQA, getest op MuSiQue) met minimale prestatieverlies.

5. Betekenis

Paradigmaverschuiving: Het paper demonstreert dat "minder, beter getimede zoekopdrachten" presteren dan frequente, vaste-interval zoekopdrachten. Dit vestigt een nieuwe Pareto-grens voor de afweging tussen nauwkeurigheid en efficiëntie bij redeneringsintensieve taken.
Schaalbaarheid: Door te opereren op redeneerstapniveau en "completion-only"-modellen te ondersteunen, is het kader toepasbaar op de meest capabele proprietaire LLM's (zoals o1), die momenteel ontoegankelijk zijn voor veel RAG-onderzoeksinspanningen.
Systeemontwerp: Het biedt een blauwdruk voor het integreren van zoeken in redeneringstaken met een lange horizon, waardoor RAG verschuift van een statische pre-processing-stap naar een dynamische, adaptieve redeneerpartner.

Concluderend lost ReaLM-Retrieve de kritieke timing-mismatch in LRM-RAG-integratie op en levert het state-of-the-art nauwkeurigheid met aanzienlijk gereduceerde rekentkosten.