💬 NLP

Rethinking On-policy Optimization for Query Augmentation

Deze studie vergelijkt prompt-gebaseerde en versterkingslering (RL)-gebaseerde query-augmentatie voor informatieretrieval, waarbij wordt aangetoond dat simpele, trainingsvrije methoden vaak concurreren met duurdere RL-varianten, en introduceert een nieuwe hybride methode genaamd OPQE die de flexibiliteit van prompting combineert met RL-optimisatie om superieure resultaten te behalen.

Oorspronkelijke auteurs: Zhichao Xu, Shengyao Zhuang, Xueguang Ma, Bingsen Chen, Yijun Tian, Fengran Mo, Jie Cao, Vivek Srikumar

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhichao Xu, Shengyao Zhuang, Xueguang Ma, Bingsen Chen, Yijun Tian, Fengran Mo, Jie Cao, Vivek Srikumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek moet doorzoeken om een antwoord op je vraag te vinden. Maar de bibliothecaris (de zoekmachine) is soms een beetje verward door hoe jij je vraag stelt. Misschien gebruik je de verkeerde woorden, of is je vraag te vaag.

Deze paper onderzoekt hoe we die vraag kunnen "opfrissen" zodat de bibliothecaris het juiste boek sneller vindt. Er zijn twee hoofdmanieren om dit te doen, en de auteurs hebben ze met elkaar vergeleken om te zien welke het beste werkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Twee Strategisten: De "Slimme Vriend" vs. De "Oefenende Student"

De auteurs vergelijken twee benaderingen:

Methode A: De "Slimme Vriend" (Prompting)
Stel je voor dat je een vraag hebt aan een zeer intelligente vriend (een groot taalmodel). Je zegt: "Ik zoek informatie over X. Schrijf eens een kort verhaal of een fictief document dat het antwoord zou bevatten."
De vriend schrijft een mooi, compleet verhaal. Jij neemt dat verhaal en gebruikt het als je nieuwe zoekopdracht.
- Voordeel: Het werkt direct, zonder dat je de vriend eerst maandenlang moet laten oefenen. Je gebruikt gewoon zijn bestaande kennis.
- Nadeel: Soms is het verhaal te langdradig of bevat het woorden die de bibliothecaris niet begrijpt.
Methode B: De "Oefenende Student" (Reinforcement Learning / RL)
Hierbij neem je een wat kleinere, minder intelligente student en laat je hem duizenden keren oefenen. Elke keer dat hij een vraag herschrijft, krijgt hij een puntje als de bibliothecaris het juiste boek vindt, en een straf als hij het mis heeft.
- Voordeel: Hij leert specifiek hoe hij moet praten met deze bibliothecaris om maximale punten te scoren.
- Nadeel: Het kost enorm veel tijd en energie (rekenkracht) om hem te trainen. En als je de bibliothecaris verandert, moet je hem opnieuw trainen.

2. De Grote Vergelijking: Wie wint er?

De auteurs hebben deze twee methoden tegen elkaar getest in verschillende situaties (zoals het zoeken naar feiten, het vinden van documenten, of het kiezen van de juiste computer-tools).

Het verrassende resultaat:
Onder normale omstandigheden (waarbij je rekening houdt met de tijd en energie die het kost), wint de "Slimme Vriend" (Methode A) vaak!

Het is alsof je een dure, ervaren gids (de grote AI) direct vraagt om te helpen, in plaats van een goedkope stagiair (de kleine AI) maandenlang te laten trainen.
De "Slimme Vriend" levert vaak net zo goede, of zelfs betere resultaten, zonder dat je eerst urenlang hoeft te rekenen.
De "Oefenende Student" (RL) werkt soms beter, maar alleen als je heel specifiek weet wat je nodig hebt en bereid bent om veel tijd en energie te steken in de training.

3. De Nieuwe Oplossing: De "Hybride Superheld" (OPQE)

De auteurs dachten: "Waarom kiezen we? Laten we het beste van beide werelden combineren!"

Ze bedachten een nieuwe methode genaamd OPQE.
Stel je voor dat je de "Oefenende Student" niet vraagt om je vraag in één zin te herschrijven, maar vraagt: "Schrijf een fictief document dat het antwoord bevat, net zoals onze Slimme Vriend dat zou doen, maar leer dan van je fouten om dat document nog beter te maken."

Hoe het werkt: De AI begint met het schrijven van een "fictief document" (zoals de Slimme Vriend), maar krijgt dan feedback van de zoekmachine om dat document te verfijnen (zoals de Oefenende Student).
Het resultaat: Dit werkt als een warm start. De AI begint al met een goed idee (dankzij de prompt) en wordt dan nog slimmer door te oefenen.
De uitkomst: Deze hybride methode (OPQE) deed het over het algemeen het allerbest, vooral bij complexe zoekopdrachten. Het combineert de creativiteit van de vriend met de precisie van de getrainde student.

Samenvatting in één zin

De paper laat zien dat je vaak beter kunt vertrouwen op de directe, slimme hulp van een grote AI (zonder training) dan op het duur trainen van een kleinere AI, maar dat je de allerbeste resultaten krijgt als je de slimme AI laat oefenen om nog slimmer te worden in het schrijven van "fictieve antwoorden" in plaats van alleen het herschrijven van je vraag.

Kortom: Soms is een goed gesprek met een slimme vriend beter dan jarenlang studeren, maar als je die vriend een beetje laat oefenen, wordt hij onverslaanbaar.

Probleemstelling

In veel real-world zoekscenario's (bijvoorbeeld bij het gebruik van API's zoals OpenAI's embedding-services of proprietary systemen zoals PubMed) is het niet mogelijk om de retriever zelf aan te passen. De verbetering van de zoekresultaten moet dan plaatsvinden aan de kant van de query. Er zijn twee dominante benaderingen voor query-augmentatie met Large Language Models (LLMs):

Prompt-based methoden: LLMs genereren antwoorden of "pseudo-documenten" die als nieuwe query dienen (bijv. HyDE, Query2Doc). Dit is trainingsvrij (zero-shot) en flexibel, maar de output is niet expliciet geoptimaliseerd voor zoekmetrieken en kan irrelevante termen introduceren.
Reinforcement Learning (RL) methoden: LLMs worden gefinetuned met on-policy RL (zoals PPO) om queries direct te herschrijven, waarbij de beloning (reward) gebaseerd is op zoekresultaten (bijv. Recall, NDCG). Dit is gericht op optimalisatie, maar vereist aanzienlijke rekenkracht voor training en vaak gelabelde data.

Er ontbreekt een systematische vergelijking tussen deze twee benaderingen onder consistente, "compute-aware" omstandigheden. De vraag is: wanneer is simpele prompting voldoende, en wanneer levert RL een significant voordeel op?

Methodologie

De auteurs voeren een rigoureuze empirische vergelijking uit tussen:

SPQE (Simple Pseudo-document Query Expansion): Een zero-shot prompting-methode waarbij een LLM een hypothetisch document genereert dat het antwoord op de query zou kunnen zijn. De query en dit document worden samengevoegd als de augmented query. Om een eerlijke vergelijking te maken, wordt hierbij gebruikgemaakt van krachtigere LLMs (zoals GPT-4o-mini of 32B/120B open-weight modellen) om de inferentie-kosten te verhogen, zodat deze vergelijkbaar is met de trainingskosten van RL.
DeepRetrieval (RL-baselines): Een bestaande RL-benadering waarbij een policy model (Qwen2.5-3B/7B) wordt getraind met PPO om de oorspronkelijke query direct te herschrijven ( $q \to q'$ ). De beloning is gebaseerd op de prestaties van de retriever.
OPQE (On-policy Pseudo-document Query Expansion): Een nieuwe hybride methode die de auteurs voorstellen. In plaats van de query te herschrijven, leert de RL-policy om een pseudo-document te genereren (net als bij prompting), maar dan geoptimaliseerd via on-policy RL. De output is dus een samengestelde string van de originele query en het gegenereerde document.

De evaluatie omvat diverse taken:

Evidence-seeking retrieval: NQ, TriviaQA, SQuAD.
Ad hoc retrieval: BEIR-datasets (FEVER, HotpotQA, etc.), MS MARCO, DL19/20.
Tool retrieval: ToolRet-datasets (voor LLM-agenten).
Retrievers: Zowel sparse (BM25) als dense (E5-base-v2, Contriever).

Belangrijkste Bijdragen

Systematische Vergelijking: De eerste uitgebreide vergelijking tussen prompting-based en RL-based query augmentatie onder compute-bewuste omstandigheden.
Kerninzicht: Simpele, trainingsvrije prompting (SPQE) met krachtige LLMs presteert vaak even goed als, of zelfs beter dan, duurdere RL-methoden die direct queries herschrijven. RL is soms nuttig voor specifieke domeinen of sparse retrievers, maar levert niet altijd een meerwaarde op voor dense retrievers.
OPQE Methode: De introductie van een hybride aanpak die de flexibiliteit van prompting (generatie van pseudo-documenten) combineert met de gerichte optimalisatie van RL. Hierdoor wordt de "warm start" van de LLM-kennis benut en vervolgens verfijnd door RL.

Resultaten

Prompting vs. RL (Directe Query Rewriting):
- Bij sparse retrievers (BM25) presteert SPQE consistent het beste, vaak met een aanzienlijke marge boven de RL-baselines.
- Bij dense retrievers is SPQE zeer competitief en soms superieur. RL-methoden (DeepRetrieval) tonen soms verbeteringen op specifieke datasets (bijv. FEVER), maar presteren op andere datasets (zoals ToolRet met dense retrievers) zelfs slechter dan de basislijn.
- In een geaggregeerde ranking (Borda count) over alle taken en retrievers behaalt SPQE de hoogste rang (1), terwijl de RL-methoden (DR-3B/7B) lager scoren.
Tool Retrieval:
- RL (DeepRetrieval) verbetert de prestaties voor sparse retrievers, maar degradeert deze voor dense retrievers. Dit suggereert dat RL-geoptimaliseerde queries te veel gericht zijn op keyword-matching ten koste van semantische embedding-kwaliteit.
- SPQE presteert hier consistent sterk op zowel sparse als dense systemen.
OPQE (Hybride Methode):
- OPQE combineert de sterke punten van beide werelden. Het presteert het beste in dense retrieval scenario's (bijv. een gemiddelde score van 58.1 op Ad Hoc retrieval, hoger dan zowel SPQE als DR-7B).
- Voor sparse retrieval is OPQE zeer competitief en sluit het de kloof met SPQE, terwijl het de standaard RL-methoden overtreft.
- Training Trajecten: Analyse toont aan dat OPQE begint met een hogere initiële beloning (door de kennis van de LLM) en een stabielere leercurve heeft dan directe query-rewriting RL.

Betekenis en Conclusie

Het paper concludeert dat de keuze voor query-augmentatie sterk afhangt van de beschikbare resources en het type retriever:

Zero-shot prompting is een krachtige, resource-efficiënte baseline die direct toepasbaar is zonder training, vooral effectief bij het gebruik van grote LLMs.
RL is nuttig om kleinere modellen te laten excelleren of om zich specifiek aan te passen aan een domein, maar is rekenintensief en niet altijd superieur.
OPQE biedt de beste van beide werelden: het gebruikt de generatieve structuur van prompting (pseudo-documenten) als basis voor RL-finetuning. Dit leidt tot de hoogste algehele prestaties, omdat het de semantische uitdagingen van dense retrievers beter aanpakt dan directe query-herschrijving.

De auteurs benadrukken dat de formulering van de taak (query herschrijven vs. pseudo-document genereren) cruciaal is voor het succes van RL in zoektoepassingen. De code is open-source beschikbaar gesteld om reproduceerbaarheid te waarborgen.