A Systematic Study of Pseudo-Relevance Feedback with LLMs

Dit paper biedt een systematische studie naar pseudo-relevante feedback met grote taalmodellen en onthult dat de keuze van het feedbackmodel cruciaal is, terwijl de meest kosteneffectieve aanpak gebruikmaakt van door het model gegenereerde tekst, tenzij een sterke eerste-stap retriever beschikbaar is, waarbij corpus-gebaseerde feedback dan het meest voordelig is.

De kern

Stel je voor dat je op zoek bent naar een specifiek recept in een enorme, rommelige bibliotheek. Je geeft de bibliothecaris (de zoekmachine) een korte beschrijving: "Ik wil een taart met aardbeien." De bibliothecaris komt terug met een stapel boeken die misschien wel, maar misschien ook niet het juiste recept bevatten.

Pseudo-Relevance Feedback (PRF) is als een slimme assistent die zegt: "Oké, laten we die boeken even snel doorbladeren. Misschien vinden we daar woorden of zinnen die ons helpen om je zoekopdracht preciezer te maken, zodat we de beste taart vinden."

Deze nieuwe studie van Nour Jedidi en Jimmy Lin kijkt naar hoe we die slimme assistent kunnen verbeteren met LLMs (zoals de AI die dit antwoord schrijft). Ze ontdekten dat er twee belangrijke knoppen zijn om aan te draaien:

1. De Bron van de Hulp (Feedback Source): Waar haalt de assistent de extra informatie vandaan?
   • Optie A: Uit de echte boeken in de bibliotheek (Corpus).
   • Optie B: Uit de hersenen van de AI zelf, die een verzonnen antwoord bedenkt (LLM-generated).
   • Optie C: Een mix van beide.
2. De Manier van Verwerken (Feedback Model): Hoe gebruikt de assistent die informatie om je zoekopdracht te herschrijven?
   • Optie A: Hij plakt het gewoon achter je originele zin (zoals een simpele lijst).
   • Optie B: Hij weegt de woorden zorgvuldig af, alsof hij een chef-kok is die precies weet hoeveel zout en peper er in moet (Rocchio/RM3).

Hier zijn de belangrijkste ontdekkingen, vertaald in alledaagse taal:

1. De "Manier van Verwerken" is cruciaal

Het bleek dat hoe je de informatie gebruikt, net zo belangrijk is als waar je het vandaan haalt.

• De Analogie: Stel je voor dat je een recept wilt verbeteren. Als je de AI gewoon laat "kletsen" met extra woorden (simpele plakkerij), werkt het niet zo goed. Maar als je de AI laat "nadenken" en de woorden slim combineert (zoals de Rocchio-methode), wordt het resultaat veel lekkerder. Dit geldt vooral als je de AI vraagt om zelf een verzonnen antwoord te bedenken.

2. Verzonnen antwoorden vs. Echte boeken

De onderzoekers vroegen zich af: Is het beter om te kijken naar echte boeken in de bibliotheek, of om de AI te laten dromen over een perfect antwoord?

• De ontdekking: Als je de bibliotheek niet heel goed hebt georganiseerd (een zwakke eerste zoekmachine), is het vaak beter om de AI te laten dromen. De AI kan direct een perfect verzonnen recept bedenken zonder eerst door duizenden slechte boeken te hoeven bladeren. Dit is sneller en vaak effectiever.
• De uitzondering: Als je bibliotheek al heel goed georganiseerd is (een sterke zoekmachine), dan zijn de echte boeken uit de bibliotheek beter. Maar dan moet je wel bereid zijn om veel meer boeken te bekijken, wat tijd kost.

3. Mixen werkt, maar hoe?

Wat als je beide bronnen combineert?

• Voor slimme zoekmachines (Dense Retrievers): Het helpt enorm om de verzonnen antwoorden van de AI en de echte boeken uit de bibliotheek naast elkaar te leggen en beide te gebruiken. Het is alsof je een recept hebt van een chef-kok én een van een oma, en je gebruikt de beste delen van beide.
• Voor simpele zoekmachines (BM25): Het mixen werkt alleen als je de echte boeken van een zeer goede bibliotheek hebt. Als je de boeken van een slechte bibliotheek gebruikt, helpt het mixen niet echt.

4. Snelheid is de prijs

Natuurlijk wil je niet uren wachten op je taartrecept.

• De les: Het laten dromen van de AI (zonder echte boeken te checken) is het snelst.
• Als je de AI vraagt om eerst duizenden echte boeken te checken om de beste woorden te vinden, wordt het proces veel trager. De tijd die je wint aan precisie, verlies je aan geduld.

Samenvattend advies voor de toekomst

Als je een zoekmachine wilt bouwen die slimme AI gebruikt:

1. Gebruik slimme verwerking: Laat de AI niet zomaar woorden plakken; laat ze de zoekopdracht slim herschrijven.
2. Kies je bron slim: Als je geen superkrachtige bibliotheek hebt, laat de AI dan gewoon een verzonnen antwoord bedenken. Dat is snel en goedkoop.
3. Mixen met voorzichtigheid: Als je echt goede boeken hebt, combineer ze dan met de AI-dromen, maar wees je bewust dat dit langzamer gaat.

Kortom: De kunst van het zoeken met AI is niet alleen wat je vraagt, maar vooral hoe je de antwoorden van de AI verwerkt en waar je die antwoorden vandaan haalt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A Systematic Study of Pseudo-Relevance Feedback with LLMs" in het Nederlands.

Probleemstelling

Pseudo-relevance feedback (PRF) is een techniek om zoekopdrachten te verbeteren door informatie te extraheren uit de top-resultaten van een initiële zoekopdracht. Met de opkomst van Large Language Models (LLMs) zijn er nieuwe PRF-methoden ontwikkeld die gebruikmaken van LLMs voor query-expansie. Echter, de bestaande literatuur kent een belangrijke beperking: de twee cruciale ontwerpdimensies van LLM-PRF worden vaak verward in empirische evaluaties. Deze dimensies zijn:

1. Feedbackbron (Feedback Source): Waar komt de feedbacktekst vandaan? (Uit het corpus, gegenereerd door de LLM, of een combinatie van beide).
2. Feedbackmodel (Feedback Model): Hoe wordt deze feedback gebruikt om de query-representatie bij te werken? (Bijv. vector-gemiddelde, string-concatenatie, Rocchio, RM3).

Bestaande methoden vergelijken vaak een complete methode met een andere, waarbij zowel de bron als het model verschillen, waardoor het onduidelijk blijft welke component echt verantwoordelijk is voor prestatieverbeteringen. Dit paper vult deze leemte door een systematische, gecontroleerde studie uit te voeren.

Methodologie

De auteurs hebben een groot scala aan experimenten uitgevoerd om de onafhankelijke invloed van feedbackbron en feedbackmodel te isoleren.

• Datasets: Evaluatie op 13 low-resource taken uit de BEIR-benchmark (bijv. TREC-News, FiQA, BioASQ, SciFact).
• Retrievers: Drie verschillende zoekmachines werden getest:
  • BM25 (sparsere retriever).
  • Contriever (dense retriever).
  • Contriever MS-MARCO (gesuperviseerd fine-tuned dense retriever).
• Feedback Bronnen (5 methoden):
  1. Corpus Only (PRF-Umbrela): Selectie van relevante documenten uit het corpus met behulp van Umbrela (een LLM die relevantie scoort).
  2. LLM Only (HyDE): Generatie van hypothetische antwoorddocumenten door de LLM (zonder corpus).
  3. Corpus & LLM (Umbrela-HyDE): Concatenatie van feedback van Umbrela en HyDE.
  4. Corpus & LLM (PRF-HyDE): HyDE wordt geprompt met corpusdocumenten als context (in-context learning).
  5. Baselines: Traditionele PRF zonder LLM.
• Feedback Modellen:
  • Voor BM25: Rocchio en RM3 (in plaats van simpele string-concatenatie).
  • Voor Dense Retrievers: Gemiddelde vector-update en Rocchio-vector-update.
• Controlevariabelen: Het aantal feedback-documenten (maximaal 8) en het aantal feedback-termen (maximaal 128) werden constant gehouden om eerlijke vergelijkingen mogelijk te maken.
• Infrastructuur: Gebaseerd op Anserini en Pyserini, met Qwen3-14B als achterliggend LLM.

Belangrijkste Bijdragen

1. Systematische Ontkoppeling: Het paper is de eerste die de effecten van feedbackbron en feedbackmodel strikt isoleert in een gecontroleerde setting.
2. Grootste Vergelijking: Een uitgebreide evaluatie van vijf LLM-PRF-methoden over 13 datasets en drie retrievers.
3. Reproduceerbaarheid: De implementaties zijn gebouwd op bestaande open-source frameworks, wat herhaalbaarheid garandeert.
4. Latentie-analyse: Een gedetailleerde analyse van de rekentijd (latency) in relatie tot de prestaties.

Kernresultaten

1. De impact van het Feedbackmodel (RQ1)

• Het keuze van het feedbackmodel is kritiek, vooral voor methoden die feedback genereren vanuit de LLM (zoals HyDE).
• Voor BM25 levert het Rocchio-algoritme aanzienlijk betere resultaten op dan RM3 of simpele concatenatie voor LLM-genereren tekst.
• Voor Dense retrievers verbetert het gebruik van de Rocchio-vector-update de prestaties van HyDE aanzienlijk (tot +4.4 punten nDCG@20) ten opzichte van de standaard gemiddelde vector-update.
• Conclusie: Nieuwe methoden moeten altijd worden geëvalueerd met meerdere feedbackmodellen; een methode die goed werkt met één model kan slecht presteren met een ander.

2. Corpus vs. LLM-gegenereerde Feedback (RQ2)

• Algemeen: Feedback puur gegenereerd door de LLM (HyDE) is vaak de meest kosteneffectieve oplossing en presteert beter dan feedback puur uit het corpus, tenzij het corpus uit een zeer sterke initiële retriever komt.
• Nuance: Als de initiële retriever zwak is, presteert HyDE beter. Als de initiële retriever sterk is (bijv. Contriever MS-MARCO) en BM25 wordt gebruikt als downstream retriever, kan corpus-gebaseerde feedback (PRF-Umbrela) HyDE overtreffen.
• Interessant inzicht: Feedbacktermen afgeleid van echte corpusdocumenten die door HyDE zijn gevonden, werken beter dan de gegenereerde hypothetische documenten zelf (+3.6% verbetering).
• Dense vs. Sparse: Dense retrievers halen minder voordeel uit PRF dan BM25. BM25 presteert consistent beter met PRF dan Contriever MS-MARCO, zelfs als BM25 een slechtere basisprestatie heeft.

3. Combinatie van Bronnen (RQ3)

• Dense Retrievers: Het combineren van bronnen (Umbrela-HyDE) door onafhankelijke feedback te concateneren, levert een duidelijk voordeel op ten opzichte van het gebruik van één enkele bron.
• BM25: De combinatie is het meest effectief als de feedback sequentieel wordt toegepast (eerst HyDE, dan PRF-Umbrela) of als de initiële retriever zeer sterk is. De manier waarop de feedback wordt samengevoegd (parallel vs. sequentieel) maakt minder uit dan de kwaliteit van de initiële kandidaat-documenten.

4. Latentie (RQ4)

• LLM Only (HyDE) is over het algemeen de meest efficiënte methode qua snelheid.
• Het integreren van corpus-feedback (PRF-Umbrela) leidt tot een significante toename in latency, vooral bij lange documenten en een groot aantal kandidaat-documenten.
• Hoewel het beoordelen van meer documenten de nauwkeurigheid kan verhogen, komt dit ten koste van de snelheid.

Betekenis en Conclusie

Dit onderzoek biedt een helder kader voor het ontwerpen van toekomstige PRF-systemen met LLMs:

• Voor efficiëntie: Gebruik LLM-only feedback (HyDE) met een Rocchio-updatemodel. Dit is de beste balans tussen prestatie en snelheid.
• Voor maximale prestatie: Als latency geen probleem is en er een sterke initiële retriever beschikbaar is, kan het combineren van corpus-feedback (via Umbrela) met LLM-feedback leiden tot de beste resultaten, vooral bij sparse retrievers zoals BM25.
• Ontwerprichtlijn: De keuze van het feedbackmodel (Rocchio vs. gemiddelde vector) is net zo belangrijk als de keuze van de feedbackbron. Bestaande methoden die alleen op gemiddelde vector-updates vertrouwen voor dense retrieval, missen potentieel aanzienlijke prestatiewinst.

De studie benadrukt dat er geen "one-size-fits-all" oplossing is; de optimale configuratie hangt af van de beschikbare infrastructuur, de type retriever (sparse vs. dense) en de eisen aan latency.