💬 NLP

Document Optimization for Black-Box Retrieval via Reinforcement Learning

Dit paper introduceert een Reinforcement Learning-methode die documenten optimaliseert via GRPO om de prestaties van black-box zoeksystemen te verbeteren, waardoor efficiëntere retrievers vaak grotere modellen overtreffen en zelfs de beste resultaten worden bereikt wanneer deze aanpak wordt gecombineerd met het fine-tunen van de retriever.

Oorspronkelijke auteurs: Omri Uzan, Ron Polonsky, Douwe Kiela, Christopher Potts

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Omri Uzan, Ron Polonsky, Douwe Kiela, Christopher Potts

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt, maar de boeken zijn geschreven in een taal die de bibliothecaris (de zoekmachine) niet helemaal begrijpt. Of misschien zijn de boeken zo rommelig opgesteld dat de bibliothecaris de juiste pagina's niet kan vinden, zelfs niet als hij de titel kent.

Dit is precies het probleem dat dit onderzoek oplost. De auteurs noemen hun methode "Documentoptimalisatie", maar laten het ons simpel uitleggen met een paar creatieve vergelijkingen.

1. Het Oude Probleem: "Meer van hetzelfde" werkt niet

Vroeger probeerden mensen boeken beter vindbaar te maken door er meer woorden aan toe te voegen (zoals een samenvatting of extra trefwoorden). Dit heette "documentexpansie".

De analogie: Stel je voor dat je een boek over "koffie" hebt. Om het vindbaarder te maken, plak je er een heel groot vel papier op met woorden als "koffie", "koffie", "koffie", "bonen", "bonen", "bonen".
Het probleem: Moderne zoekmachines (zoals die van Google of OpenAI) zijn slim genoeg om te zien dat dit boek nu "luidruchtig" is. Die extra woorden verstoppen de echte boodschap. Het is alsof je in een stilte een fluitje blaast: de zoekmachine hoort het fluitje, maar vergeet de tekst eronder.

2. De Nieuwe Oplossing: De "Vertaler" die leert van de "Bibliothecaris"

De auteurs zeggen: "Laten we niet zomaar woorden toevoegen. Laten we het boek herschrijven zodat het perfect past bij hoe de bibliothecaris denkt."

Ze gebruiken een slimme AI (een taalmodel) als een vertaler. Deze vertaler heeft een speciale opdracht:

"Schrijf dit document zo om dat de bibliothecaris het direct herkent als het antwoord op de vraag die mensen vaak stellen."

Maar hoe leert de vertaler dit? Dat is het geniale deel.

3. De Leermethode: "Probeer, Val, Leer" (Reinforcement Learning)

Stel je voor dat de vertaler een speler is in een spel.

De Proef: De vertaler neemt een document en herschrijft het op een nieuwe manier (bijvoorbeeld: hij maakt het korter, voegt een duidelijke zin toe, of verandert de structuur).
De Test: De "Bibliothecaris" (de zoekmachine) kijkt of dit nieuwe document nu beter gevonden wordt dan het oude.
De Beloning:
- Als de zoekmachine het document nu beter vindt voor de juiste vraag, krijgt de vertaler een sterrenplaatje (een beloning).
- Als de zoekmachine het document verkeerd vindt voor een vraag die het niet moet vinden, krijgt de vertaler een rode kaart (een straf).

De vertaler doet dit duizenden keren. Hij probeert verschillende herschrijvingen, kijkt welke beloningen opleveren, en leert langzaam wat er precies moet gebeuren. Dit noemen ze in het paper Reinforcement Learning (versterkend leren).

4. Wat gebeurt er in de praktijk? (Voorbeelden)

De auteurs hebben dit getest op twee gebieden:

Code zoeken: Stel je voor dat je zoekt naar een stukje computercode dat "een cirkel tekent". De originele code is misschien heel kort en cryptisch. De AI herschrijft het zo dat er duidelijke commentaren bij staan, zoals // Tekent een rode cirkel, en maakt de code iets leesbaarder. De zoekmachine vindt het nu direct, terwijl hij het voorheen over het hoofd zag.
- Resultaat: Een kleine, goedkope zoekmachine werd hierdoor zelfs slimmer dan een enorme, dure zoekmachine.
Zoeken in PDF's met plaatjes: Soms zijn documenten vol met grafieken en plaatjes. De AI kijkt naar de plaatjes en schrijft een tekstversie die precies beschrijft wat er in de grafiek staat, maar dan in de taal die de zoekmachine het liefst hoort.
- Resultaat: Mensen vinden de juiste grafieken veel sneller.

5. Waarom is dit zo cool?

Het werkt met "Zwarte Dozen": Je hoeft niet te weten hoe de zoekmachine van binnen werkt (zoals bij Google of OpenAI). Je hoeft alleen maar te kunnen zien: "Werkt het beter of slechter?" De AI leert daar zelf op.
Het is "Offline": Je doet dit werk vooraf. Je herschrijft de boeken in de bibliotheek voordat iemand ook maar een vraag stelt. Als iemand dan vraagt, is het antwoord er al klaar voor. Er is geen vertraging bij het zoeken.
Het is flexibel: Het werkt voor simpele zoekmachines (die op woorden letten) én voor super-slimme zoekmachines (die op betekenis letten).

Samenvattend

In plaats van te proberen de zoekmachine zelf te verbeteren (wat vaak duur en moeilijk is), verbeteren de auteurs de boeken in de bibliotheek. Ze laten een slimme AI de boeken herschrijven in een "dialect" dat de zoekmachine perfect begrijpt.

Het is alsof je een slechte vertaler hebt die een boek in het Frans schrijft, en je leert die vertaler om het boek in het Frans te herschrijven voor een lezer die alleen Frans spreekt, maar dan zo dat de zinnetjes precies kloppen met wat die lezer zoekt. Het resultaat? Iedereen vindt sneller wat hij zoekt, en dat met minder moeite en kosten.

Probleemstelling

Documentuitbreiding (document expansion) is een klassieke techniek om de kwaliteit van zoekopdrachten te verbeteren door documenten offline te verrijken met termen die waarschijnlijk in relevante zoekopdrachten voorkomen. Dit verlegt de rekenlast naar de offline fase en vermijdt extra verwerking tijdens het zoeken (query-time).

Echter, wanneer deze techniek op moderne neurale zoekmachines (retrievers) wordt toegepast, blijkt deze vaak de prestaties te verslechteren. Het naïef toevoegen van tekst introduceert ruis die het discriminerende signaal verstoort. Bestaande methoden zijn vaak statisch of "zero-shot" en nemen geen rekening met de specifieke representatieruimte van de gebruikte zoekmachine.

Methodologie: Documentoptimalisatie via Versterkend Leren

De auteurs herformuleren documentuitbreiding als een documentoptimalisatieprobleem. In plaats van documenten statisch uit te breiden, leren ze een taalmodel (LM) of vision-language model (VLM) om documenten te herschrijven in "zoekgerichte surrogaten". Deze herschrijvingen kunnen compressie, herschikking of parafrasing omvatten, zolang ze maar beter aansluiten bij de verwachte zoekopdrachtverdeling van de doelzoekmachine.

De kern van de methode is Reinforcement Learning (RL) met de volgende componenten:

Policy (Beleid): Een instructie-tuned LM of VLM fungeert als een policy ( $\pi_\phi$ ) die een document $d$ transformeert naar een herschreven versie $\tilde{d}$ .
Reward (Beloning): De beloning wordt bepaald door de counterfactuele impact op de rangschikking.
- Voor een gegeven document wordt een herschreven versie gegenereerd.
- De beloning wordt berekend als het verschil in nDCG@k (Normalised Discounted Cumulative Gain) tussen de situatie waarin het originele document in de index staat en de situatie waarin het herschreven document de index binnengaat (terwijl alle andere documenten constant blijven).
- De beloning is de som van de winst voor relevante zoekopdrachten ( $Q^+$ ) minus de straf voor irrelevante zoekopdrachten ( $Q^-$ ).
Optimalisatie: Het beleid wordt getraind met Group Relative Policy Optimization (GRPO). Voor elk document worden meerdere kandidaat-herschrijvingen gegenereerd (een groep). De relatieve voordelen binnen deze groep worden gebruikt om het beleid bij te werken zonder een expliciete waarde-functie te hoeven leren.
Black-Box Compatibiliteit: De methode vereist alleen toegang tot de rangschikkingen van de zoekmachine (black-box). Het heeft geen toegang nodig tot de interne gradiënten of gewichten van de zoekmachine, waardoor het werkt met single-vector, multi-vector en lexische zoekmachines.

Belangrijkste Bijdragen

Paradigmaverschuiving: Het transformeren van documentuitbreiding van een statische, heuristische techniek naar een dynamisch optimalisatieprobleem dat specifiek is afgestemd op de representatieruimte van de zoekmachine.
Zwarte Doos Toepasbaarheid: De methode werkt met gesloten (closed-weight) en open (open-weight) zoekmachines, omdat het alleen afhankelijk is van rangschikkingen als leersignaal.
Flexibiliteit in Transformatie: Het model is niet beperkt tot het toevoegen van tekst; het kan documenten comprimeren, herschrijven of structureren om de match met zoekopdrachten te maximaliseren.
Offline Efficiëntie: Alle verwerking gebeurt offline. Tijdens het zoeken (inference) is er geen extra complexiteit of kosten; de geoptimaliseerde documenten worden gewoon als index gebruikt.

Resultaten

De auteurs evalueren de methode op twee taken: Visual Document Retrieval (VDR) (het zoeken in PDF-afbeeldingen) en Code Retrieval (het zoeken in codefragmenten). Ze testen diverse zoekmachines, waaronder OpenAI's embedding-modellen, Qwen-embeddings, Jina-ColBERT-V2 en BM25.

Kernresultaten:

Verbetering van Black-Box Retrievers:
- Toepassing op OpenAI text-embedding-3-small verbeterde de nDCG@5 voor code van 58.7 naar 66.8 en voor VDR van 53.3 naar 57.6.
- Dit presteerde zelfs iets beter dan het veel duurdere OpenAI text-embedding-3-large (6.5x duurder), dat respectievelijk 66.3 en 57.0 scoorde.
Prestaties bij Open-Weight Modellen:
- Voor de lexische zoekmachine BM25 op code-resultaten steeg de score drastisch van 15.6 naar 46.6 nDCG@5.
- Jina-ColBERT-V2 verbeterde op VDR van 55.8 naar 63.3 en op code van 48.6 naar 61.8.
Combinatie met Fine-tuning:
- Wanneer de gewichten van de zoekmachine toegankelijk zijn, is documentoptimalisatie concurrerend met het fine-tunen van de zoekmachine zelf.
- De combinatie van documentoptimalisatie en zoekmachine-fine-tuning levert in de meeste gevallen de beste resultaten op.
Kwaliteit van Transformatie:
- In tegenstelling tot zero-shot uitbreiding (die de documentlengte vaak verdubbelt), leert het geoptimaliseerde beleid om documenten compact te houden (gemiddelde lengte daalt van ~382 tokens bij zero-shot naar ~346 bij geoptimaliseerd) terwijl de relevante informatie behouden blijft.

Betekenis en Conclusie

Dit paper toont aan dat het optimaliseren van de documentruimte zelf een krachtige en onderbelichte richting is voor het verbeteren van zoeksystemen.

Efficiëntie: Het biedt een manier om kleinere, goedkopere zoekmachines (zoals text-embedding-3-small) te laten presteren als grotere, duurdere modellen, puur door de inputdata (documenten) te optimaliseren.
Toepasbaarheid: Omdat de methode alleen black-box toegang vereist, is deze direct toepasbaar in productieomgevingen waar toegang tot de interne werking van de zoekmachine beperkt is.
Toekomst: De resultaten suggereren dat toekomstig werk zich meer moet richten op de interactie tussen document-side optimalisatie en model-side aanpassing, in plaats van alleen te focussen op het verbeteren van de zoekalgoritmes zelf.

Kortom, door documenten te "leren herschrijven" voor een specifieke zoekmachine, kan de zoekkwaliteit aanzienlijk worden verhoogd zonder de kosten van inference te verhogen.