Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval

Titel: Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval (HCQR)

Auteurs: Hangeol Chang, Changsun Lee, Seungjoon Rho, Junho Yeo, Jong Chul Ye (KAIST & Yonsei University).

---

1. Het Probleem

Retrieval-Augmented Generation (RAG) verbetert Large Language Models (LLM's) door generatie te verankeren in externe kennis. Echter, in taken waarbij een model moet kiezen tussen concurrerende opties (bijvoorbeeld meerkeuzevragen in de geneeskunde), is traditionele RAG vaak ontoereikend.

• Topische relevantie vs. Beslissingsrelevantie: Bestaande RAG-methoden vertrouwen vaak op één initiële zoekopdracht gebaseerd op de vraag. Dit leidt tot het ophalen van context die thematisch relevant is, maar niet noodzakelijk beslissingsrelevant is. De opgehaalde informatie kan algemene achtergrondinformatie bevatten die niet helpt bij het onderscheiden tussen de mogelijke antwoorden.
• Negatief effect van irrelevante context: Irrelevante passages kunnen het model afleiden, de robuustheid verminderen en zelfs de prestaties verlagen, zelfs als er wel relevante bewijslast beschikbaar is.
• De kernvraag: In een "optionele-retrieval"-setting (waarbij retrieval beschikbaar is maar niet altijd nodig), is de kwaliteit van de retrieval niet afhankelijk van de hoeveelheid kennis, maar van of de opgehaalde context daadwerkelijk helpt bij het nemen van een beslissing.

2. Methodologie: HCQR

De auteurs stellen Hypothesis-Conditioned Query Rewriting (HCQR) voor. Dit is een trainingsvrij, pre-retrieval framework dat de focus verlegt van topic-gericht zoeken naar bewijs-gericht zoeken. Het doel is om de retrieval te sturen op basis van een voorlopig antwoord, zonder dat dit voorlopige antwoord direct aan de generator wordt doorgegeven (om "answer anchoring" te voorkomen).

Het framework bestaat uit drie fasen:

Fase 1: Hypothesesteller (Hypothesis Formulator)

Gegeven de vraag en de kandidaat-antwoorden, genereert dit onderdeel een compacte, gestructureerde "werkende hypothese" ($\hat{y}_0$). Deze hypothese is geen definitief antwoord, maar een controle-signaal voor de retrieval. De output bevat:

• Werkende hypothese: De huidige beste gok.
• Onderscheidende kenmerken ($f$): Specifieke aanwijzingen in de vraag die de top-kandidaten van elkaar scheiden.
• Bevestigend bewijs ($e$): Feiten of regels die waar zouden moeten zijn als de hypothese correct is.
• Korte redenering ($r$): Een beknopte uitleg waarom deze hypothese wordt gekozen.

Fase 2: Query-herformulator (Query Rewriter)

Op basis van de originele vraag en de gestructureerde hypothese genereert deze module drie gerichte zoekopdrachten:

1. SUPPORT ($q_1$): Zoekt bewijs dat de werkende hypothese ondersteunt.
2. DISTINCTION ($q_2$): Zoekt criteria die de hypothese onderscheiden van de sterkste concurrerende alternatieven (om fouten te corrigeren).
3. KEY FEATURES ($q_3$): Zoekt bewijs voor de cruciale aanwijzingen in de vraag zelf, ongeacht of de hypothese correct is (om de vraagkern te verifiëren).

Fase 3: Retrieval, Fusie en Generatie

• De drie queries worden onafhankelijk verwerkt door een retriever.
• De resultaten worden samengevoegd, gedupliceerd en gefilterd binnen een vast budget voor de finale context (bijv. maximaal 15 documenten).
• Alleen deze gefuseerde context wordt aan de generator doorgegeven samen met de originele vraag en opties. De hypothese zelf wordt niet aan de generator getoond, zodat deze vrij kan concluderen op basis van het gevonden bewijs (wat kan leiden tot het verwerpen van de initiële hypothese).

3. Belangrijkste Bijdragen

1. HCQR Framework: Introductie van een trainingsvrije methode die een werkende hypothese omzet in drie complementaire zoekopdrachten voor bewijsverificatie.
2. Context-Utility Analyse: Ontwikkeling van een evaluatiemethode voor opgehaalde context met labels: ENTAILED (antwoord volgt direct), USEFUL-BUT-NOT-ENTAILED (sterke ondersteuning maar mist een brug), en NOT USEFUL. Dit leidt tot de Decision-Useful Rate (DUR).
3. Empirisch Bewijs: Aantonen dat het uitlijnen van de retrieval op de beslissing (query-side alignment) superieur is aan naieve single-query RAG, query-transformatie baselines, en post-retrieval filtering/reranking.

4. Resultaten

De methode is getest op medische meerkeuzevragen (MedQA en MMLU-Med) met verschillende LLM-generators (Llama3, Qwen).

• Prestatieverbetering: HCQR presteert consistent beter dan alle baselines.
  • Op MedQA steeg de gemiddelde nauwkeurigheid met 5,9% ten opzichte van Simple RAG.
  • Op MMLU-Med steeg de nauwkeurigheid met 3,6%.
  • HCQR overtreft zelfs de "No-Retrieval CoT" (Chain-of-Thought zonder retrieval) in alle scenario's.
• Decision-Useful Rate (DUR): HCQR verhoogt het percentage aan "beslissingsrelevante" context aanzienlijk (tot 82,1% op MedQA), terwijl Simple RAG slechts 30% haalt.
• Ablatie-studies:
  • Het verwijderen van een van de drie query-rols (Support, Distinction, Key Features) leidt tot een daling in prestaties, wat aantoont dat ze complementair werken.
  • Het tonen van de antwoordopties aan een standaard herformulator levert slechts een kleine verbetering op; de echte winst komt van de gestructureerde hypothese-gestuurde planning.
• Vergelijking met Post-Retrieval: Methoden die eerst ruwe resultaten ophalen en dan filteren/reranken (zoals MAIN-RAG of Rerank-RAG) presteren slechter dan HCQR. Dit suggereert dat als de eerste zoekopdracht geen beslissingsrelevant bewijs vindt, latere filtering dit niet kan repareren.

5. Betekenis en Conclusie

Het paper onderstreept een fundamenteel inzicht voor RAG-systemen: kwaliteit van retrieval moet worden gemeten aan de bijdrage aan de uiteindelijke beslissing, niet aan topische relevantie.

• Verschuiving in paradigma: In plaats van te proberen meer context op te halen of deze achteraf te filteren, is het effectiever om de initiële zoekopdrachten strategisch te plannen rondom een hypothese en de noodzaak om deze te verifiëren of te weerleggen.
• Efficiëntie: Onder een vast context-budget is een betere query-construktie belangrijker dan het inspecteren van grotere kandidaat-pools.
• Toepassing: Hoewel getest op medische QA (waar de kloof tussen thematische relevantie en beslissingsnoodzaak zeer duidelijk is), is het principe van "hypothesis-conditioned retrieval" breed toepasbaar op elke taak waar een model moet kiezen tussen opties.

De studie concludeert dat HCQR een robuuste, trainingsvrije oplossing biedt om de "naive" retrieval te overwinnen die vaak leidt tot irrelevante context en slechtere redeneerprestaties.