HopWeaver: Cross-Document Synthesis of High-Quality and Authentic Multi-Hop Questions

Probleemstelling

Multi-Hop Question Answering (MHQA) is cruciaal voor het evalueren van het vermogen van Large Language Models (LLMs) en Retrieval-Augmented Generation (RAG) systemen om informatie uit diverse bronnen te integreren. Het huidige landschap kampt echter met twee fundamentele problemen bij het creëren van hoogwaardige MHQA-datasets:

1. Kosten en Schaalbaarheid: Handmatige annotatie is extreem duur en moeilijk te schalen om diverse redeneringspaden te dekken.
2. Kwaliteit van Synthetische Data: Bestaande methoden voor het synthetiseren van vragen produceren vaak "pseudo multi-hop" vragen die eigenlijk uit één document beantwoord kunnen worden, of ze vereisen nog steeds uitgebreide menselijke begeleiding. Ze falen er vaak in om echte, complementaire documentparen te identificeren die noodzakelijk zijn voor authentieke multi-hop redenering.

Methodologie: HopWeaver

HopWeaver is het eerste cross-document framework dat authentieke multi-hop vragen synthetiseert zonder enige menselijke tussenkomst. Het framework richt zich op twee hoofdtypen vragen: Bridge-vragen (verbinding maken via een tussenliggende entiteit) en Comparison-vragen (vergelijken van attributen tussen entiteiten).

Het proces verloopt via een innovatieve pipeline:

1. Bronselectie en Identificatie:

   • Voor Bridge-vragen: Een brondocument wordt geselecteerd. Een LLM identificeert een "bridge entity" (tussenliggende entiteit) en formuleert een query om complementaire documenten te vinden.
   • Voor Comparison-vragen: Een entiteit en geschikte attributen (bijv. datum, aantal) worden geïdentificeerd en gefilterd op "concreetheid" en vergelijkbaarheid.

2. Twee-staps Retrieval (Coarse-to-Fine):

   • Coarse Retrieval: Gebruikt een aangepaste Maximum Marginal Relevance (MMR) strategie om een lijst van kandidaat-documenten te genereren. Dit balanceert relevantie met de query, maar straft ook documenten af die te veel lijken op het brondocument of op elkaar (diversiteit).
   • Fine-grained Reranking: Een speciaal voor dit doel gefinetuned reranker model sorteert de kandidaten opnieuw. Dit model is getraind via simulated feedback: het leert onderscheid te maken tussen documenten die succesvol een multi-hop vraag kunnen vormen en diegenen die dat niet kunnen.

3. Vraagconstructie en Validatie:

   • Het systeem genereert sub-vragen die per document beantwoord moeten worden en fuseren deze tot één coherente multi-hop vraag.
   • Er worden strenge validatiestappen uitgevoerd (o.a. "No-Shortcut" constraint: geen enkel document mag het antwoord alleen bevatten).
   • Een Polisher-module evalueert en verfijnt de vragen op vloeiendheid, logica en authenticiteit, waarbij vragen met onoplosbare gebreken worden verworpen.

4. Evaluatie Systeem:
   HopWeaver introduceert een uitgebreid evaluatiesysteem dat verder gaat dan traditionele metrics:

   • LLM-as-Judge: Een ensemble van LLM's beoordeelt de kwaliteit op een Likert-schaal, met een sterke focus op zelfconsistentie in plaats van alleen menselijke alignement.
   • Answerability & Difficulty: Vergelijking van prestaties tussen "Alleen Vraag" (Q-Only) en "Vraag + Gouden Documenten" (Q+Docs) om te verifiëren dat de vraag echt contextuele bewijslast vereist.
   • Evidence-Accessibility: Analyse van of de benodigde documenten daadwerkelijk terug te vinden zijn in het corpus via verschillende retrievers (MAP, Recall, Support F1).

Belangrijkste Bijdragen

1. Eerste Volledig Geautomatiseerd Framework: HopWeaver is het eerste systeem dat multi-hop vragen synthetiseert vanuit ruwe corpora zonder menselijke input of gestructureerde kennisbanken.
2. Superieure Kwaliteit: De synthetische vragen bereiken een kwaliteit die gelijkwaardig is aan of zelfs beter is dan menselijk geannoteerde benchmarks (zoals HotpotQA en 2WikiMultiHopQA), zoals aangetoond door een multidimensionale evaluatie.
3. Nieuwe Benchmark voor RAG: De gegenereerde datasets blootleggen beperkingen in geavanceerde RAG-systemen die vaak overfitten op bestaande patronen in traditionele datasets. HopWeaver biedt een robuustere testomgeving voor het evalueren van redeneervermogen.

Resultaten

Experimenten uitgevoerd op het Engelse Wikipedia-corpus tonen de volgende resultaten:

• Kwaliteit: HopWeaver (met Gemini-2.5-flash) bereikte een 96,4% authenticiteit voor Bridge-vragen en 98,6% voor Comparison-vragen, met gemiddelde scores die de menselijke benchmarks overtreffen. Zelfs met kleinere open-source modellen (zoals QwQ-32B en GLM-4-9B) werden hoge kwaliteitsniveaus behaald.
• Redeneercomplexiteit: LLM's presteerden aanzienlijk slechter op "Q-Only" dan op "Q+Docs", wat bevestigt dat de vragen echt multi-hop redenering vereisen en niet op basis van interne kennis beantwoord kunnen worden.
• Retrieval Uitdaging: Hoewel individuele documenten vaak goed te vinden zijn (hoge Recall@K), is het vinden van het compleet benodigde setje documenten (Support F1) zeer uitdagend (0,17 - 0,22), wat de echte multi-hop aard van de dataset onderstreept.
• RAG Prestaties: Geavanceerde RAG-methoden presteerden soms slechter op HopWeaver-data dan op bestaande benchmarks, wat aantoont dat deze datasets nieuwe, diverse redeneringspatronen blootleggen die eerdere systemen niet beheersen.
• Efficiëntie: De gefinetuned reranker en de polisher-module verhogen de succesratio aanzienlijk en verminderen de noodzaak voor dure herhalingen.

Betekenis en Toekomstperspectief

HopWeaver opent nieuwe wegen voor het onderzoeksgemeenschap door een kosteneffectieve manier te bieden om uitdagende benchmarks te genereren vanuit elk ruw corpus. Dit is van onschatbare waarde voor domeinen waar menselijke annotatie schaars of onmogelijk is (bijv. gespecialiseerde medische of juridische domeinen). Het framework stelt onderzoekers in staat om:

• Gerichte training van redeneermogelijkheden te faciliteren.
• Robuustere RAG-systemen te ontwikkelen die minder afhankelijk zijn van specifieke dataset-bias.
• Schaalbaar en reproduceerbaar hoogwaardige data te creëren zonder de hoge kosten van handmatige annotatie.

Kortom, HopWeaver lost het probleem op van de schaarste aan authentieke multi-hop data en biedt een krachtig instrument voor de volgende generatie evaluatie en training van taalmodellen.