🤖 AI

Critic-R: Improving Agentic Search using Instruction-tuned Retrievers with Natural Language Introspective Feedback

Het artikel stelt Critic-R voor, een framework dat agentische zoekopdrachten verbetert door een critic-model te introduceren dat natuurlijke taal-gebaseerde introspectieve feedback geeft, wat iteratieve query-verfijning en automatische optimalisatie van het retrieval-model mogelijk maakt zonder de noodzaak van handmatige relevantie-annotaties.

Oorspronkelijke auteurs: Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer lastige puzzel probeert op te lossen, zoals het achterhalen van de alma mater van een filmregisseur. Je hebt een briljante Detective (de AI-redeneagent) die weet hoe hij moet denken, maar hij kan de wereld buiten zijn eigen geest niet zien. Om de puzzel op te lossen, moet hij een Librarian (het retrieval-model) vragen om boeken (documenten) te halen uit een enorme bibliotheek.

Op de oude manier van doen vroeg de Detective de Librarian om een boek, kreeg wat hem werd overhandigd en probeerde vervolgens direct de puzzel op te lossen. Als het boek het verkeerde was, probeerde de Detective vaak toch gewoon een antwoord te geven, of liep hij vast. De Librarian werd behandeld als een "black box"—je kon hem niet echt verbeteren, je moest er gewoon op hopen dat hij het goed deed.

Het paper introduceert een nieuw systeem genaamd Critic-R dat deze dynamiek verandert door een derde personage toe te voegen: De Critic.

De Drie Personages

De Detective (De Redeneerder): De slimme AI die probeert het antwoord te vinden. Hij denkt: "Ik moet eerst de regisseur vinden," en vraagt de Librarian om hulp.
De Librarian (De Retriever): Het systeem dat de bibliotheek doorzoekt en de bovenste paar boeken overhandigt.
De Critic (De Nieuwe Toevoeging): Een aparte, scherpzinnige redacteur die het hele proces in de gaten houdt. De Critic kijkt niet alleen naar de boeken; de Critic kijdt ook naar wat de Detective zegt over de boeken.

Hoe het werkt: De Tweeledige Strategie

Het paper stelt twee belangrijke manieren voor om deze Critic te gebruiken om het systeem slimmer te maken. Zie dit als "Nu meteen oplossen" en "Trainen voor de toekomst."

1. Critic-R-Zero: De "Nog een keer"-knop (Inference-Time)

Stel je voor dat de Detective de Librarian vraagt om een boek over "Christopher Nolan". De Librarian overhandigt een boek over de plot van de film, maar het vermeldt zijn opleiding niet.

Zonder Critic: De Detective zou in de war kunnen raken en een foutief antwoord kunnen geven.
Met Critic-R-Zero: De Critic kijkt naar de interne gedachten van de Detective ("Ik heb de biografie van de regisseur nodig, maar dit boek gaat alleen over de plot") en zegt: "Stop! Dit boek is niet nuttig. Laten we het opnieuw proberen."

De Critic herschrijft dan het verzoek voor de Librarian, waardoor het specifieker wordt: "Zoek de biografie van Christopher Nolan, niet de plot van de film." De Librarian probeert het opnieuw, vindt het juiste boek, en de Detective kan eindelijk de puzzel oplossen.

Dit gebeurt direct terwijl de AI aan het werk is. Het is alsof er een coach naast de speler staat die roept: "Die pass was slecht, probeer een andere hoek!" zonder de eigenlijke training van de speler te veranderen.

2. Critic-Embed: Het "Trainingskamp" (Retriever Fine-Tuning)

De "Nog een keer"-methode is geweldig, maar het kost elke keer dat je een vraag stelt extra tijd en computerkracht. Om de Librarian permanent beter te maken, gebruikt de auteur deze "Nog een keer"-sessies om een Trainingskamp te creëren.

Elke keer dat de Critic zegt: "Dat boek was slecht, probeer het opnieuw," slaat het systeem dit moment op.
Het slaat het "slechte boek" op als een Negatief Voorbeeld (Pak dit niet!).
Het slaat het "goede boek" dat uiteindelijk wel werkte op als een Positief Voorbeeld (Pak dit wel!).

De auteurs nemen vervolgens deze opgeslagen voorbeelden en leren de Librarian hoe hij de juiste boeken de eerste keer moet kiezen, zonder dat daarvoor een mens nodig is om elk boek te beoordelen. De Librarian leert van zijn eigen fouten en successen, waardoor hij een veel betere zoeker wordt op zichzelf.

De Resultaten: Waarom het ertoe doet

De auteurs hebben dit systeem getest op zeer moeilijke vragen die vereisen dat er verbanden worden gelegd tussen veel verschillende documenten (zoals "Wie regisseerde de film die de prijs won voor de acteur die in deze andere film speelde?").

De Detective + De Critic (Zero): Zelfs met een standaard, ongetrainde Librarian, maakte het toevoegen van de "Nog een keer"-loop van de Critic de antwoorden veel nauwkeuriger. Het loste fouten direct op.
De Getrainde Librarian (Embed): De Librarian die getraind is met de feedback van de Critic werd zo goed dat hij andere geavanceerde systemen overtrof, zelfs zonder de "Nog een keer"-loop.
Het Volledige Team (Critic-R): Wanneer zij de supergetrainde Librarian combineerden met de "Nog een keer"-loop van de Critic, behaalden ze de beste resultaten van allemaal. Het was alsof je een wereldklasse Librarian had die nog steeds een vangnet had om resterende fouten op te vangen.

De Kernboodschap

Het paper betoogt dat in AI-zoekopdrachten de Librarian (Retriever) vaak de zwakke schakel is, en niet de Detective (Reasoner). Door een Critic toe te voegen die het werk controleert en feedback geeft, kun je fouten direct herstellen én de Librarian trainen om de volgende keer beter te zijn.

Belangrijke beperkingen die worden genoemd:
Het paper merkt op dat dit systeem ervan afhangt dat de Detective slim genoeg is om te beseffen wanneer hij de verkeerde informatie heeft. Als de Detective te simpel of te verward is, krijgt de Critic geen goede signalen om mee te werken. Ook zijn de tests uitgevoerd op een statische bibliotheek (Wikipedia); de auteurs hebben dit nog niet getest op een chaotische, real-time internetzoekopdracht.

Technische Samenvatting: Critic-R

Probleemstelling

Agentische zoeksystemen, die interne redenering afwisselen met iteratieve ophaalacties, zijn uitgegroeid tot een standaard voor het oplossen van complexe, multi-hop queries. Er bestaat echter een kritieke bottleneck: terwijl redeneeragenten vaak worden geoptimaliseerd via reinforcement learning, worden de retrieval-modellen waar zij op vertrouwen vaak behandeld als bevroren black boxes. Bestaande benaderingen die proberen zowel retrievers als agenten gezamenlijk te optimaliseren, vereisen vaak intensieve co-training, gouden annotaties van passages, of de mogelijkheid om het redeneermodel zelf te hertrainen. Deze vereisten beperken de praktische toepasbaarheid, met name wanneer het redeneermodel vaststaat, de retriever extern wordt geleverd, of wanneer hoogwaardige relevantielabels niet beschikbaar zijn. De auteurs stellen dat suboptimale retrieval niet volledig kan worden gecompenseerd door enkel query-herformulering, wat de noodzaak onderbouwt voor een framework dat de feedbackloop tussen de agent en de retriever expliciet sluit zonder afhankelijk te zijn van handmatige supervisie.

Methodologie

De auteurs stellen Critic-R voor, een framework dat een toegewijd critic-model introduceert om het introspectieve redeneerspoor van de agent te evalueren nadat deze geëxtraheerde bewijslast heeft geconsumeerd. Het framework werkt via twee complementaire mechanismen:

1. Critic-R-Zero (Refinement tijdens inferentie)

Deze component werkt volledig tijdens de inferentiefase zonder dat gradiënt-updates of het hertrainen van de onderliggende modellen nodig zijn.

Mechanisme: Wanneer een agent een zoekopdracht uitvoert, worden de opgehaalde documenten speculatief gevoed aan de redeneerder om een introspectief redeneerspoor te genereren. Een apart critic-model ( $M_C$ ) analyseert dit spoor om te bepalen of de opgehaalde context de informatiebehoefte van de agent voldoende oplost.
Feedbackloop: Als de critic de bewijslast als onvoldoende beschouwt (negatieve feedback), maakt het gebruik van de expliciete ontevredenheid van de agent in diens redeneerspoor om de zoekquery en de retrieval-instructie te herschrijven. Deze verfijnde query triggert een nieuwe retrieval-poging.
Terminatie: Deze loop herhaalt zich tot een vooraf ingesteld budget ( $K$ ) of totdat de critic bevestigt dat de bewijslast bevredigend is. De uiteindelijke geselecteerde documenten worden vastgelegd in de redeneergeschiedenis.
Datacollectie: Dit proces genereert op natuurlijke wijze "positieve" documenten (die de agent voldoen) en "hard negative" documenten (die werden afgewezen tijdens onsuccesvolle verfijningspogingen), welke worden verzameld voor trainingsdoeleinden.

2. Critic-Embed (Retriever Fine-Tuning)

Om de computationele kosten van iteratieve verfijning te ammortiseren en de kwaliteit van de retrieval permanent te verbeteren, gebruiken de auteurs de trajecten die door Critic-R-Zero zijn gegenereerd als een bron van automatische supervisie.

Trainingssignaal: Documenten die door de critic als nuttig zijn geverifieerd, worden behandeld als positieve voorbeelden ( $D^+$ ), terwijl documenten die tijdens de verfijning zijn afgewezen, worden behandeld als harde intra-traject negatieve voorbeelden ( $D^-$ ).
Contrastief Leren: De retriever wordt gefinetuned met behulp van een InfoNCE-objectief met deze automatisch geconstrueerde contrastieve paren. Cruciaal is dat dit proces geen handmatige relevantie-annotaties (gouden passages) vereist.
Restrictie: Om de kwaliteit van de labels te waarborgen, worden alleen trajecten behouden waarbij de uiteindelijke voorspelling correct is volgens de downstream taakmetriek.

3. Verenigd Systeem

Het volledige Critic-R systeem combineert beide mechanismen: de Critic-Embed retriever biedt een domein-gealigneerde, hoogwaardige initiële retrieval, terwijl de Critic-R-Zero loop zorgt voor een safety net tijdens de inferentie om te herstellen van complexe edge-case fouten.

Belangrijkste Bijdragen

Sluiten van de Feedbackloop: Het paper introduceert een framework dat de feedbackloop tussen redeneeragenten en retrievers expliciet sluit tijdens zowel inferentie als training, wat de aanname uitdaagt dat redeneeragenten retrieval-fouten enkel kunnen compenseren.
Inference-Time Scaling voor Retrieval: Critic-R-Zero demonstreert dat het toewijzen van extra rekenkracht tijdens de inferentie om queries en instructies iteratief te verfijnen, de retrieval-fouten aanzienlijk kan verminderen zonder de redeneeragent of de retriever te wijzigen.
Automatische Supervisie voor Retrievers: Critic-Embed presenteert een nieuwe methode voor het finetunen van dense retrievers met behulp van intra-traject contrastief leren afgeleid van agent-critic interacties, waardoor de noodzaak voor dure gouden passage-annotaties vervalt.
Modulair Ontwerp: Het framework is ontworpen om orthogonaal te zijn aan het trainingsdoel van de redeneeragent, waardoor het kan worden toegepast op willekeurige agenten (bijv. Search-R1) en retrievers.

Experimentele Resultaten

Het framework werd geëvalueerd op vier uitdagende multi-hop QA benchmarks: HotpotQA, 2WikiMultihopQA, MuSiQue, en Bamboogle.

Inference-Time Refinement (RQ1): Gebruikmakend van een bevroren retriever, verbeterde Critic-R-Zero de antwoordnauwkeurigheid aanzienlijk over agenten van verschillende schalen (3B tot 14B). De methode leverde een algehele relatieve verbetering op van 12,4% in Exact Match (EM) en F1-scores. De auteurs merken op dat het schalen van de grootte van het critic-model (14B naar 72B) niet strikt een betere prestatie garandeert, waarbij een 32B critic vaak optimaal blijkt voor moeilijkere datasets.
Retriever Fine-Tuning (RQ2): De Critic-Embed retriever, getraind uitsluitend op Critic-R-Zero trajecten, presteerde beter dan zowel off-the-shelf dense retrievers (Stella-400M) als retrievers die end-to-end met search agents zijn co-getraind (Agentic-R). Het behaalde een relatieve verbetering van tot wel 7,5% in de algehele prestaties, wat aantoont dat de verzamelde trajecten overdraagbare supervisiesignalen bevatten.
Gecombineerd Systeem (RQ3): Het integreren van de getrainde Critic-Embed retriever met de Critic-R-Zero inferentie-loop leverde de sterkste resultaten op, met een algehele relatieve verbetering van 10,9%. De auteurs observeren dat de twee componenten complementair zijn in plaats van redundant, omdat ze verschillende aspecten van retrieval-fouten aanpakken.
Rol van Introspectieve Feedback (RQ4): Een ablatie-studie waarbij de introspectieve feedback van de agent ( $T_{i+1}$ ) werd verwijderd uit de input van de critic, resulteerde in een significante daling van de prestaties van de getrainde retriever. Dit bevestigt dat het interne redeneerspoor van de agent een primaire bron is van het supervisiesignaal, en niet slechts een marginale input.

Betekenis en Claims

Het paper claimt dat het expliciet modelleren en optimaliseren van de kwaliteit van retrieval vanuit de agentische loop een krachtig pad is naar robuustere agentische zoekopdrachten. De betekenis van Critic-R ligt in het vermogen om:

De kwaliteit van de retrieval en de downstream antwoordnauwkeurigheid te verbeteren zonder handmatige relevantie-annotaties te vereisen.
Effectief te functioneren in scenario's waarin het redeneermodel niet kan worden hertraind of de retriever een vast extern onderdeel is.
Een schaalbare, modulaire aanpak te bieden waarbij inference-time verfijning en offline retriever fine-tuning elkaar versterken.

De auteurs concluderen dat hoewel het framework veelbelovend is, het succes ervan afhangt van het vermogen van de redeneeragent om accurate introspectieve feedback te geven, en dat de effectiviteit in zeer dynamische omgevingen (bijv. real-time web zoeken) nog geëvalueerd moet worden.