💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

Dit paper introduceert CoSearch, een framework dat via versterkende leer een redenerende agent en een documentranker gezamenlijk optimaliseert om de beperkingen van statische zoeksystemen in agentic search te overwinnen.

Oorspronkelijke auteurs: Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat vergetelijke detective hebt. Deze detective (het AI-model) is goed in redeneren en vragen stellen, maar hij heeft een groot probleem: hij weet niet alles uit zijn hoofd. Om een moeilijke zaak op te lossen, moet hij een bibliotheek bezoeken.

In de oude manier van werken (zoals bij andere AI-systemen), deed de detective zijn best om de juiste vragen te stellen, maar de bibliothecaris (het zoeksysteem) was een vaste, starre medewerker die niet leerde. Soms vroeg de detective: "Wie won de Oscar in 1999?", en de bibliothecaris gaf hem een stapel boeken over de Oscar-ceremonie van 1998, of over de winnaar van 2000. De detective kon dan niet meer goed redeneren, omdat de informatie verkeerd was, zelfs als hij zelf slim genoeg was.

De onderzoekers van dit papier (COSEARCH) zeggen: "Wacht even, het probleem zit niet alleen bij de detective, maar ook bij de bibliothecaris!"

Hier is hoe ze het oplossen, vertaald naar alledaags taal:

1. Het Probleem: De Starre Bibliothecaris

De onderzoekers ontdekten dat de detective vaak de juiste vragen stelde, maar de bibliothecaris de verkeerde boeken gaf. Ze deden een experiment: wat als we de bibliothecaris dwingen om altijd het perfecte boek bovenop de stapel te leggen? Dan werd de detective plotseling veel beter (tot wel 26% beter!). Dit bewees dat de "bibliothecaris" (het zoeksysteem) de echte bottleneck was.

2. De Oplossing: COSEARCH (Samen Leren)

In plaats van de detective alleen te trainen, hebben ze COSEARCH bedacht. Dit is een systeem waar de detective en de bibliothecaris samen in een team werken en samen leren.

De Detective (Reasoning Agent): Hij denkt na, stelt vragen en probeert het antwoord te vinden.
De Nieuwe Bibliothecaris (Generative Ranker): In plaats van een starre robot, is dit nu ook een slimme AI die leert welke boeken het belangrijkst zijn.

Ze trainen ze tegelijkertijd. Als de detective een fout maakt, kijken ze niet alleen of de detective dom was, maar ook of de bibliothecaris de verkeerde boeken gaf. Ze leren elkaar dus aan.

3. De Uitdaging: Hoe leer je de bibliothecaris?

Hier komt het slimme deel. Normaal gesproken leer je een AI door hem een vraag te stellen, een antwoord te laten geven, en te zeggen of het goed of fout was. Maar de bibliothecaris krijgt verschillende vragen van de detective, afhankelijk van hoe de detective denkt.

Stel je voor dat je de bibliothecaris wilt leren, maar hij krijgt elke dag een andere vraag van de detective. Hoe leer je hem dan?

De slimme truc (Semantische Groepering): De onderzoekers zeggen: "Laten we de vragen niet één voor één bekijken, maar ze groeperen op basis van wat ze betekenen."
- Als de detective vraagt: "Wie won de Oscar in 1999?" en een andere keer: "Wie was de Oscar-winnaar in 1999?", dan zijn dat voor de bibliothecaris eigenlijk dezelfde vraag.
- Ze groeperen deze "soortgelijke" vragen samen. Zo kan de bibliothecaris leren van een hele groep vragen in plaats van van één losse vraag. Dit bespaart enorm veel tijd en energie.

4. De Beloning: Een Dubbel Scorebord

Hoe weet de bibliothecaris of hij het goed doet? Ze geven hem een combinatie-bonus:

Directe bonus: "Heb je het juiste boek bovenop de stapel gelegd?" (Dit is belangrijk voor de kwaliteit van de zoekresultaten).
Lange termijn bonus: "Heeft de detective uiteindelijk het juiste antwoord gevonden?" (Dit is belangrijk omdat het doel is om de vraag te beantwoorden, niet alleen om boeken te sorteren).

Als de bibliothecaris de juiste boeken geeft, maar de detective maakt een fout in zijn redenering, krijgt de bibliothecaris toch een beetje credit. Als de bibliothecaris de verkeerde boeken geeft, krijgt hij een straf, zelfs als de detective slim genoeg was om het toch te raden.

Het Resultaat

Door deze twee slimme partners (de detective en de bibliothecaris) samen te laten trainen, wordt het hele team veel sterker.

De detective krijgt betere informatie.
De bibliothecaris leert precies welke informatie de detective nodig heeft.

Kortom: In plaats van een slimme detective met een domme bibliothecaris, hebben ze nu een perfect team dat samenwerkt. Ze leren van elkaar, groeperen hun ervaringen slim, en krijgen een eerlijke beloning voor hun gezamenlijke succes. Hierdoor kunnen ze veel moeilijke vragen oplossen die voorheen onmogelijk leken.

1. Het Probleem

Agente zoeksystemen (agentic search) zijn geavanceerde AI-agenten die iteratief redeneren, zoekopdrachten genereren en geïntegreerde informatie gebruiken om complexe vragen te beantwoorden. Hoewel deze systemen, vaak getraind met Versterkingslering (RL), grote vooruitgang hebben geboekt, identificeren de auteurs een fundamentele beperking in de bestaande architectuur:

De "Vaste Tool" Aanname: In huidige systemen (zoals Search-R1) wordt het zoek- en ophaalsysteem (retrieval system) behandeld als een statisch, onveranderlijk hulpmiddel. De agent leert hoe ze het systeem moet gebruiken, maar het ophaalsysteem zelf past zich niet aan aan de redeneerbehoeften van de agent.
Het Ophaal-Bottleneck: De auteurs tonen aan dat veel fouten niet voortkomen uit het redeneren van de agent, maar uit het feit dat het ophaalsysteem geen relevante documenten teruggeeft, zelfs niet wanneer de agent een logische zoekopdracht formuleert.
Oracle Experiment: Een voorlopig experiment toonde aan dat het vervangen van het vaste ophaalsysteem door een "oracle" (een systeem dat altijd de perfecte documenten bovenaan zet) de prestaties (F1-score) met 14,7% tot 26,8% kan verbeteren. Dit bewijst dat het vaste ophaalsysteem een harde limiet zet aan de prestaties van de agent.

2. Methodologie: COSEARCH

Om dit probleem op te lossen, stellen de auteurs COSEARCH voor. Dit is een framework dat een redeneer-agent (main agent) en een generatieve document-ranker gezamenlijk traint via Versterkingslering (RL), specifiek met Group Relative Policy Optimization (GRPO).

Het systeem werkt als volgt:

Twee-staps Ophaalsysteem:
- Stap 1: Een vaste, dichte retriever haalt een grote set kandidaat-documenten ( $N$ ) op.
- Stap 2: Een trainbare generatieve ranker selecteert en herschikt een subset ( $K$ ) van deze documenten om de agent te presenteren.
Gecombineerde Training: Zowel de agent als de ranker worden simultaan geoptimaliseerd om de correctheid van het uiteindelijke antwoord te maximaliseren.

Technische Uitdagingen en Oplossingen

Het toepassen van GRPO op de ranker introduceert twee unieke uitdagingen die COSEARCH oplost:

Uitdaging 1: Variabele Inputs voor Groepering
- Probleem: GRPO vereist dat meerdere antwoorden worden gegenereerd vanuit dezelfde input-prompt om "voordelen" (advantages) te berekenen. Voor de agent is dit makkelijk (dezelfde gebruikersvraag), maar voor de ranker variëren de sub-vragen (sub-queries) per traject, waardoor directe groepering onmogelijk is.
- Oplossing (Semantische Groepering): De auteurs introduceren een strategie waarbij sub-vragen worden geklonterd op basis van token-level F1-similariteit. Sub-vragen die semantisch equivalent zijn (maar anders geformuleerd), worden gegroepeerd. Dit vormt geldige GRPO-groepen zonder extra rollouts te vereisen. Groepen die te klein zijn, worden verworpen om stabiele schattingen te garanderen.
Uitdaging 2: Het Toewijzen van Beloningen (Reward Design)
- Probleem: De ranker heeft een indirect effect op het eindantwoord. Een goede ranking kan toch leiden tot een fout antwoord als de redenering faalt, en vice versa. Een puur op het eindantwoord gebaseerde beloning is te luidruchtig (noisy) voor de ranker.
- Oplossing (Composite Reward): Ze ontwerpen een samengestelde beloning die twee signalen combineert:
  1. Relevantie-beloning ( $r_{rel}$ ): Gebaseerd op rankingkwaliteitsmetrieken (Hit@k) met betrekking tot pseudo-relevante documenten (documenten die het antwoord bevatten). Dit geeft direct feedback op de ranking.
  2. Traject-beloning ( $r_{main}$ ): Gebaseerd op de correctheid van het eindantwoord.
  - Logica: Als relevante documenten aanwezig zijn maar slecht gerangschikt, wordt alleen $r_{rel}$ gebruikt. Als de ranking goed is, wordt $r_{main}$ toegevoegd om te belonen of de gevonden documenten daadwerkelijk hebben bijgedragen aan het juiste antwoord.

3. Belangrijkste Bijdragen

Identificatie van de Bottleneck: Kwantificering van de prestatiekloof veroorzaakt door vaste ophaalsystemen (tot +26,8% F1-verlies).
COSEARCH Framework: Een nieuw RL-framework dat redenering en ranking gezamenlijk optimaliseert.
Semantische Groepering: Een innovatieve methode om GRPO toe te passen op componenten met variabele inputs (sub-vragen) zonder de rekentijd exponentieel te laten toenemen.
Composite Reward: Een beloningsstructuur die zowel directe rankingkwaliteit als lange-termijn redeneerresultaten integreert.

4. Resultaten

De auteurs evalueren COSEARCH op zeven QA-benchmarks (enkele en multi-hop vragen, zoals HotpotQA, Musique, PopQA) met Qwen2.5-modellen (3B en 7B parameters).

Prestatieverbetering: COSEARCH presteert consequent beter dan sterke baselines (zoals Search-R1, ZeroSearch en vaste rankers).
- Met een 7B-agent wordt een relatieve verbetering van +6,6% in F1-score behaald ten opzichte van Search-R1.
- Met een 3B-agent (gekoppeld aan een 7B-ranker) wordt een verbetering van +10,8% behaald.
Aanpak van de Bottleneck: Het systeem sluit ongeveer 26-27% van de kloof tussen het huidige systeem en de "oracle" (perfecte ranking) op.
Efficiëntie: COSEARCH vereist minder zoekrondes (search turns) dan systemen met vaste rankers, wat aangeeft dat de agent sneller de juiste informatie vindt.
Ablatie Studies:
- Het verwijderen van de semantische groepering leidt tot de grootste prestatiedaling (-3,3%), wat de cruciale rol van deze techniek bevestigt.
- De composite reward is essentieel; het verwijderen van de ranking-kwaliteitscomponent ( $r_{rel}$ ) leidt tot een daling van 2,8%.

5. Betekenis en Conclusie

Dit paper markeert een verschuiving in de ontwikkeling van agente zoeksystemen. In plaats van agents te trainen om statische tools te gebruiken, toont COSEARCH aan dat het gezamenlijk trainen van de agent en het zoekhulpmiddel niet alleen haalbaar is, maar essentieel voor het doorbreken van prestatielimieten.

De bevindingen suggereren dat toekomstige zoekagenten niet alleen moeten leren wat ze moeten zoeken, maar dat het zoek- en rangschikkingssysteem zelf dynamisch moet leren om de specifieke redeneerbehoeften van de agent te ondersteunen. Dit biedt een nieuwe richting voor de schaalbaarheid van complexe, kennisintensieve AI-taken.