💻 computer science

When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1

Dit artikel presenteert een methode die een gestructureerd oordeelskader voor voldoendeheid en tekortkomingen aanpast aan een bevroren Search-R1-pipeline, waarbij het aantal retrieval-oproepen succesvol met 3,70% wordt verminderd met slechts een marginale daling van 0,625 procentpunt in de exact match-nauwkeurigheid op HotpotQA, terwijl er expliciet wordt opgemerkt dat dit geen verbeterde algehele nauwkeurigheid of lagere totale inferentiekosten garandeert.

Oorspronkelijke auteurs: Weimeng Luo

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weimeng Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een slimme robotassistent voor die probeert een lastig raadsel op te lossen. Om het antwoord te krijgen, kan de robot een bibliothecaris om hulp vragen. Deze bibliothecaris is een gigantische database vol feiten. De robot heeft een keuze: om één boek vragen, het lezen en dan gokken; of om een tweede boek vragen, een derde, en doorgaan tot hij zich 100% zeker voelt. Dit wordt "Retrieval-Augmented Generation" genoemd, of afgekort RAG. Het is als een student die een toets maakt waarbij een tekstboek is toegestaan, maar de student moet zelf beslissen wanneer hij stopt met lezen en zijn antwoord opschrijft.

Het grote probleem is weten wanneer te stoppen. Als de student te vroeg stopt, mist hij misschien een cruciaal feit en krijgt hij het antwoord fout. Als hij door blijft lezen nadat hij het antwoord al heeft, verspilt hij tijd, energie en geduld. In de wereld van kunstmatige intelligentie betekenen "tijd" en "energie" computerkracht en geld. Dus proberen wetenschappers AI-assistenten een "onderbuikgevoel" aan te leren voor wanneer ze genoeg informatie hebben om te stoppen. Het doel is om het ideale evenwicht te vinden: net op tijd stoppen om middelen te besparen zonder de juistheid van het antwoord op te offeren.

Het verhaal van het paper: De robot leren wanneer hij moet stoppen

Dit paper pakt het "wanneer te stoppen"-probleem aan met een specif으로ke AI-systeem genaamd Search-R1. Denk aan Search-R1 als een zeer slimme, maar iets te enthousiaste detective. Hij heeft de gewoonte om meer aanwijzingen op te vragen (documenten op te halen), zelfs nadat hij de oplossing al heeft gevonden. De onderzoekers wilden kijken of ze deze detective konden leren om eerder te stoppen zonder minder slim te worden.

Om dit te doen, hebben ze niet het brein van de detective of de bibliotheek veranderd. In plaats daarvan voegden ze een nieuw personage toe: een Rechter (Judge). Deze Rechter is een kleinere, gespecialiseerde AI (een Qwen3.5-2B model) wiens enige taak het is om het werk van de detective te observeren en te zeggen: "Stop! Je hebt genoeg!" of "Ga door, je mist iets."

Het Experiment: Een Strikte Test
De onderzoekers hebben een zeer zorgvuldig experiment opgezet met 1.000 moeilijke vragen. Ze hebben deze vragen in groepen verdeeld om ervoor te zorgen dat de Rechter de antwoorden niet gewoon uit het hoofd leerde.

De Training: Ze hebben de Rechter getraind op 900 vragen, waarbij gebruik werd gemaakt van 3.009 specifieke staten (momentopnames van de voortgang van de detective) afgeleid van die vragen, om het hem voorbeelden te geven van wanneer de detective genoeg informatie had en wanneer dat niet zo was.
De Test: Ze hebben de instellingen van de Rechter vastgezet en hem getest op de resterende 800 vragen (de "bevestigingsset", specifiek indices 200–999) om te zien hoe hij presteerde op nieuwe, onbekende gevallen.

De Resultaten: Tijd Besparen, Maar met een Addertje onder het Gras
De resultaten waren een mix van goed nieuws en een noodzakelijke waarschuwing.

Het Goede Nieuws: Het nieuwe beleid werkte! Door de Rechter te gebruiken om te beslissen wanneer te stoppen, maakte het systeem 77 minder zoekoproepen dan het oorspronkelijke Search-R1. Dat is een reductie in zoeken van 3,70%. De detective was in staat om eerder te stoppen en middelen te besparen.
De Nauwkeurigheidscontrole: Werd de detective fout door eerder te stoppen? Het antwoord is: "Een beetje, maar niet te veel." Het oorspronkelijke systeem had ongeveer 44,88% van de tijd het juiste antwoord. Het nieuwe systeem met de Rechter had het 44,25% van de tijd goed. Dat is een daling van 0,625 procentpunt.
Het Oordeel: De onderzoekers hadden vooraf een regel vastgesteld: ze zouden het nieuwe systeem alleen accepteren als de nauwkeurigheid niet met meer dan 2 procentpunten zou dalen. Aangezien de daling slechts 0,625 was, slaagde het systeem voor de test. Het slaagde erin het aantal zoekopdrachten te verminderen terwijl de nauwkeurigheid "grotendeels behouden bleef" (wat betekent dat het binnen de veilige zone bleef).

Wat het Paper Expliciet Uitsluit
Het is cruciaal om te begrijpen wat dit paper niet beweert, want de auteur is zeer voorzichtig om de resultaten niet te overschatten:

Het is GEEN "Veilige Stop": Het paper stelt expliciet dat dit geen "veilige stopregel" is. Van de 69 keren dat de Rechter de detective vertelde om vroegtijdig te stoppen, waren 27 van die stops "onveilig". Dit betekent dat in die 27 gevallen de detective stopte voordat hij daadwerkelijk genoeg informatie had, ook al was het uiteindelijke antwoord soms toch toevallig juist. Het systeem is niet risicovrij.
Het is GEEN Overwinning voor Totale Kosten: Het paper beweert niet dat het systeem onder de streep goedkoper is. De Rechter zelf gebruikt namelijk ook computerkracht om na te denken. De onderzoekers hebben niet gemeten of de tijd die bespaard werd door minder te zoeken, genoeg was om de tijd die de Rechter nodig had om na te denken, terug te verdienen. Ze hebben alleen gemeten dat het aantal zoekoproepen afnam.
Het is GEEN Verbetering in Nauwkeurigheid: Het nieuwe systeem gaf niet betere antwoorden; het gaf simpelweg iets minder correcte antwoorden terwijl het minder zoekopdrachten gebruikte.

De Kernboodschap
Dit paper laat zien dat we een AI kunnen leren om eerder te stoppen met zoeken, waardoor het ongeveer 3,7% van zijn zoekinspanning bespaart. Dit gaat echter gepaard met een afweging: het systeem maakt vaker fouten wanneer het besluit te stoppen. De onderzoekers hebben bewezen dat deze afweging acceptabel is als men bereid is een kleine daling in nauwkeurigheid (minder dan 2 punten) te tolereren. Maar ze waarschuwen ook dat dit geen perfecte, risicovrije oplossing is. De "Rechter" is goed in het besparen van tijd, maar niet perfect in het precies weten wanneer de detective echt klaar is om op te geven. Het is een stap voorwaarts in het efficiënter maken van AI, maar het is niet het definitieve antwoord op het probleem.

Technische Samenvatting: Wanneer moet Multi-Round RAG stoppen?

Probleemformulering
Multi-round Retrieval-Augmented Generation (RAG) systemen, zoals Search-R1, staan voor een sequentieel selectieprobleem: bepalen wanneer het ophalen van bewijs moet stoppen terwijl het redeneerproces zich ontvouwt. In tegenstelling tot onafhankelijke staat-classificatietaken, wordt een ingezet beleid (policy) bepaald door de eerste drempeloverschrijding op een traject. Bijgevolg kan een vroege fout-positieve uitslag alle daaropvolgende correcte staten onderdrukken, terwijl een te conservatieve classifier er niet in slaagt de ophaalkosten te verlagen. Bestaande methoden (bijv. SIM-RAG, S2G-RAG) rapporteren vaak scores op staatsniveau of gemiddelden over het gehele proces die niet volledig verklaren waarom een ingezet beleid wel of niet slaagt. Dit paper adresseert de kloof tussen de rangschikkingskwaliteit op staatsniveau en het systeemgedrag van de "eerste-overschrijding"-beslissing, en vraagt specifiek hoe de ophaalkosten kunnen worden verlaagd zonder een vooraf gespecificeerde tolerantie voor nauwkeurigheid te schenden.

Methodologie
De studie past het gestructureerde oordeel van de "sufficiency-and-gap" (voldoende en gat) mechanisme van S2G-RAG aan op een bevroren Search-R1 pipeline. Het kernontwerp van het experiment bestaat uit drie stadia:

Geauditeerd Upstream Systeem: De auteur maakt gebruik van de officiële Search-R1 Qwen2.5-7B PPO v0.2 checkpoint met een E5 top-3 retriever over de Wiki-2018 corpus en een budget van vier zoekopdrachten. De redeneerder, de retriever en het zoekbudget blijven bevroren; de enige interventie is de beslissing om een staat vroegtijdig te accepteren.
Exploratieve Bereikbaarheidsaudit: Met behulp van een bevroren, niet-interveniërende "answer-only" probe op 200 native trajecten, schat de auteur empirische orakels in. Dit bepaalt hoe vaak een correct antwoord al bereikbaar is voordat het native systeem stopt, en hoeveel zoekoproepen theoretisch verwijderd kunnen worden zonder het uiteindelijke antwoord te veranderen.
Judge Training en Evaluatie:
- Training: Een Qwen3.5-2B judge wordt getraind op 3.009 staten afgeleid van 900 disjuncte HotpotQA vragen. De judge geeft een gestructureerd JSON-schema dat een Booleaanse sufficient (voldoende) veld bevat en een lijst met gap_items (gat-items).
- Validatie & Bevriezen: Een gegroepeerde validatieset (100 vragen) wordt gebruikt om de stoppunct-drempel te selecteren. De drempel wordt gekozen om de recall te maximaliseren met een minimale STOP-precisie van 0,90.
- Bevestigende Analyse: De uiteindelijke evaluatie wordt uitgevoerd op een gereserveerde testset (indices 200–999 van een 1.000-vragen HotpotQA set). Het beleid wordt geëvalueerd tegen twee bevroren criteria:
  - Niet-inferioriteit: Het verlies in Exact Match (EM) mag niet meer dan 2 procentpunten bedragen (ondergrens van de 95% CI voor $\Delta$ EM > -0,02).
  - Kostenreductie: Het gemiddelde aantal zoekoproepen moet afnemen (bovengrens van de 95% CI voor $\Delta$ search < 0).

Belangrijkste Bijdragen

Adaptatie van Gestructureerd Oordelen: Het paper past succesvol een S2G-stijl gestructureerd oordeelmechanisme (het voorspellen van voldoendeheid en ontbrekende informatie) aan op de Search-R1 staat-interface, waarbij een specifieke Qwen3.5-2B judge wordt getraind op Search-R1 staten.
Traject-bewuste Formulering: Het introduceert een formulering die kandidaat-bereikbaarheid, staat-rangschikking, eerste-overschrijding beleidsgedrag en systeemuitkomsten van elkaar scheidt. Dit benadrukt dat het verbeteren van de staat-rangschikking (Average Precision) niet automatisch leidt tot een verbeterde systeemprestatie als de drempeloverschrijding te agressief is.
Gecontroleerde Mechanisme-ladder: De studie demonstreert een gecontroleerd mechanisme waarbij binaire supervisie de gemiddelde precisie verbetert maar de systeemprestaties kan schaden, terwijl gestructureerde "gap" supervisie helpt bij het verminderen van overmatig stoppen zonder aanspraak te maken op systeemniveau superioriteit.

Resultaten
Op de bevestigende testset (800 vragen):

Reductie van Ophaalkosten: Het uitgebreide S2G-beleid vermindert de ophaaloproepen met 77 (3,70%), waarbij het gemiddelde daalt van 2,60125 naar 2,50500. De 95% betrouwbaarheidsinterval voor deze reductie is $[-0,12000, -0,07375]$ , wat nul uitsluit.
Impact op Nauwkeurigheid: De officiële Exact Match (EM) daalt van 0,44875 (Native) naar 0,44250 (Expanded), een verlies van 0,625 procentpunten. De 95% CI voor het verschil is $[-0,01250, 0]$ . Dit voldoet aan het criterium van niet-inferioriteit (verlies < 2 procentpunten).
Staat-Rangschikking: De uitgebreide judge verbetert de STOP Average Precision (AP) met 0,03983 ten opzichte van de Structured Base.
Risicoanalyse: Het beleid voert 69 systeem-niveau vroege stops uit. Hiervan zijn er 42 "veilig" (de bevroren probe kon het correct beantwoorden) en 27 "onveilig". Het geselecteerde deel van de onveilige vroege stops is 39,13%. De validatie-precisie van 0,9091 (gebaseerd op 11 staten) vertaalde zich niet naar de bevestigende set (precisie daalde naar 0,6216).

Betekenis en Claims
Het paper claimt dat de getrainde S2G-stijl gestructureerde judge de ophaaloproepen kan verminderen terwijl de antwoordnauwkeurigheid breed behouden blijft binnen een vooraf gespecificeerde tolerantie. Specifiek:

Het resultaat stelt vast dat een reductie in ophaalkosten van ~3,7% haalbaar is met een EM-verlies van minder dan 0,63 procentpunten op de bevestigende set.
Het paper claimt expliciet niet dat het beleid een "veilige stopregel" is. Het hoge deel van de onveilige vroege stops (39,13%) en de zwakke kalibratie (Brier score 0,2952) geven aan dat het beleid niet risico-gecertificeerd is.
Het resultaat impliceert geen verbeterde nauwkeurigheid, ongewijzigde nauwkeurigheid of lagere totale inferentiekosten (aangezien de rekenkosten van de judge zelf niet zijn genormaliseerd tegen de ophaalbesparingen).
De studie benadrukt dat "veilig stoppen" (lage conditionele fout onder geaccepteerde stops) en "nauwkeurigheid behouden" (gemiddelde kwaliteit over alle vragen) verschillende doelstellingen zijn, en het huidige beleid bereikt het laatste maar niet het eerste.

De auteur concludeert dat toekomstig werk een vierdelige evaluatie moet rapporteren: kandidaat-bereikbaarheid, staat-rangschikking, eerste-overschrijding beleidsgedrag, en gekoppelde kwaliteit-kosten-risico metrieken, waarbij wordt opgemerkt dat geen enkele weergave voldoende is.

Technische Samenvatting: Wanneer moet Multi-Round RAG stoppen?

Meer zoals dit