RVR: Retrieve-Verify-Retrieve for Comprehensive Question Answering

Titel: RVR: Retrieve-Verify-Retrieve voor Omvattende Vraagbeantwoording

1. Het Probleem

Huidige zoek- en ophaalsystemen (retrieval systems) voor Large Language Models (LLMs) zijn vaak goed in het vinden van één correct antwoord, maar worstelen met queries die een breed scala aan geldige antwoorden toelaten (multi-answer retrieval). Traditionele methoden proberen vaak in één keer (one-shot) alle relevante documenten te vinden, wat leidt tot onvolledige resultaten (lage "recall"). Bestaande "agentic" benaderingen die iteratief zoeken, richten zich voornamelijk op multi-hop redenering (waarbij een reeks van verschillende zoekopdrachten nodig is om één antwoord te vinden), en niet op het vinden van alle mogelijke antwoorden voor één specifieke query.

2. Methodologie: Retrieve-Verify-Retrieve (RVR)

De auteurs introduceren RVR, een multi-rondje ophaalframework dat is ontworpen om de dekking van antwoorden te maximaliseren. Het proces verloopt als volgt:

• Fase 1: Initiële Ophaling (Initial Retriever, $f_i$)
  Een retriever neemt de originele query $q$ en retourneert een set kandidaat-documenten.
• Fase 2: Verificatie (Verifier, $g$)
  Een verifier (een LLM) evalueert de geretourneerde documenten en identificeert een subset van hoge kwaliteit die daadwerkelijk relevante antwoorden bevat. Dit filtert ruis en irrelevante documenten.
• Fase 3: Geïtereerde Ophaling (Subsequent Retriever, $f_r$)
  Voor de volgende rondes wordt de query verrijkt (augmented) met de eerder geverifieerde documenten. De query wordt samengevoegd met de inhoud van de geverifieerde documenten ($q_r = [q; \text{context}]$).
  • De subsequent retriever is specifiek getraind om documenten te vinden die relevant zijn voor de query, maar anders zijn dan de documenten die al in de context staan. Dit stimuleert het vinden van complementaire antwoorden die in eerdere rondes werden gemist.
• Fase 4: Output
  De geverifieerde documenten uit alle rondes worden samengevoegd om de uiteindelijke set van $K$ documenten te vormen.

Training:
De auteurs trainen de retrievers met een contrastief leerdoel.

• De initiële retriever ($f_i$) wordt getraind op standaard query-document paren.
• De subsequent retriever ($f_r$) wordt getraind op een specifieke inferentie-scenario: de input bestaat uit de query plus een set van "gouden" (correcte) documenten uit de vorige ronde. Het doel is om de ontbrekende gouden documenten te vinden.

3. Belangrijkste Bijdragen

1. Nieuw Framework: RVR is een iteratief framework dat verificatie integreert binnen de ophaalcyclus, in plaats van alleen als een filter na het genereren van antwoorden.
2. Specifieke Training voor Iteratie: In tegenstelling tot veel agentische systemen die alleen de query-generatie van de LLM trainen, trainen de auteurs de retriever zelf om te conditioneren op eerder gevonden context. Dit is cruciaal voor het vinden van ontbrekende antwoorden.
3. Prestatieverbetering: Het framework werkt effectief met kant-en-klare (off-the-shelf) retrievers, maar behaalt de grootste winst wanneer de retrievers specifiek worden gefinetuned voor dit iteratieve proces.
4. Generalisatie: De methode generaliseert goed naar domein-buiten datasets (out-of-domain), wat aantoont dat het mechanisme robuust is.

4. Resultaten

De methode werd geëvalueerd op meerdere benchmarks, met name QAMPARI (een dataset voor open-domein vragen met vele antwoorden), QUEST en WebQuestionsSP.

• QAMPARI (In-Domain):
  • RVR overtreft zowel basale retrievers als geavanceerde agentic zoekmethoden (zoals Tongyi DeepResearch en SearchR1).
  • Er wordt een minimaal 10% relatieve en 3% absolute winst behaald in de "complete recall percentage" (MRecall@100) ten opzichte van de beste baselines.
  • Het gebruik van een oracle-verifier (die perfect weet welke documenten correct zijn) toont aan dat er nog aanzienlijke ruimte voor verbetering is als de verifier-modelkwaliteit omhoog gaat.
• Efficiency:
  • Hoewel RVR twee rondes ophalen vereist, is het aanzienlijk sneller dan agentic systemen die vaak 10+ zoekopdrachten doen. RVR is ongeveer 2-3 keer sneller dan de snelste agentic baselines.
  • Het geheugengebruik is hoger dan bij een enkele ophaalronde, maar lager dan bij complexe agentische workflows.
• Generalisatie (Out-of-Domain):
  • Op QUEST en WebQuestionsSP behaalt RVR consistente verbeteringen ten opzichte van één-rondje baselines, zelfs wanneer de initiële retriever niet specifiek op die dataset is getraind.

5. Significantie en Impact

Dit werk biedt een veelbelovende aanpak voor omvattende antwoordherinnering (comprehensive answer recall).

• Verschuiving in Paradigma: Het benadrukt dat het trainen van retrievers voor nieuwe inferentiescenario's (zoals iteratief zoeken met context) meerwaarde biedt boven het alleen trainen van LLM-agents om nieuwe queries te genereren.
• Toepassingsgebied: De techniek is waardevol voor zoekmachines, kennisontdekking en vraagbeantwoordingssystemen waar het belangrijk is om alle perspectieven of antwoorden te vinden, in plaats van slechts het meest waarschijnlijke antwoord.
• Open Source: De auteurs hebben de code en modellen vrijgegeven, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.

Kortom, RVR lost het probleem van onvolledige ophaling op door een gesloten lus te creëren waarin gevonden informatie wordt geverifieerd en direct wordt gebruikt om gerichter naar ontbrekende informatie te zoeken.