KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling

Probleemstelling

Multi-hop Vraag-Antwoord (MHQA) systemen kampen met aanzienlijke uitdagingen door data-schaarste. Dit gebrek aan voldoende trainingsdata verhoogt de kans dat taalkundige modellen (LLMs) spurious patronen (schijnbare correlaties) leren in plaats van robuuste redeneerstrategieën, wat de generalisatie en stabiliteit belemmert.

Om dit op te lossen, is Vraaggeneratie (Question Generation - QG) voorgesteld als een methode voor data-augmentatie. Echter, bestaande methoden voor het diversifiëren van QG richten zich voornamelijk op:

1. Inhoudsplanning: Het genereren van verschillende vragen voor hetzelfde antwoord.
2. Expressiediversiteit: Het herschrijven van vragen met verschillende formuleringen.

De kritieke tekortkoming in deze benaderingen is dat ze vaak simpele vragen genereren en externe kennis (zoals specifieke zinnen binnen documenten die nodig zijn voor het redeneren) negeren. Zonder het integreren van deze contextuele kennis blijft de daadwerkelijke diversiteit beperkt. Het paper stelt dat data-schaarste voortkomt uit het onvoldoende benutten van contextuele kennis. Door verschillende sets van relevante zinnen (zogenaamde "knowledge compositions") te selecteren, kan een model fundamenteel verschillende multi-hop vragen genereren, zelfs bij hetzelfde antwoord.

Methodologie: KCS Framework

De auteurs introduceren Knowledge Composition Sampling (KCS), een innovatief framework dat de diversiteit van gegenereerde multi-hop vragen vergroot door variërende kenniscomposities te samplen binnen een gegeven lange context. Het framework bestaat uit drie hoofdstappen:

1. Selectie van Kenniscompositie (Knowledge Composition Selection)

In plaats van zinnen willekeurig te kiezen of op basis van een vast schema, modelleert KCS de selectie als een sentence-level conditionele predictietaken.

• Architectuur: Een hiërarchisch neurale netwerk met een Sentence Encoder (BERT-based) en een Sentence-level Sequence Model (Transformer-based Encoder-Decoder).
• Doel: Het model leert een subreeks van zinnen ($c$) te selecteren uit de lange context ($D$) die logisch samenhangt met het antwoord ($a$).
• Verliesfunctie: Om te voorkomen dat het model degradeert naar generieke of irrelevante zinnen, wordt een probabilistische contrastive loss ($L_{seq}$) gebruikt.
  • Deze loss maximaliseert de wederzijdse informatie (Mutual Information - MI) tussen de latente representatie van de huidige tijdstap en de volgende relevante zin.
  • Tegelijkertijd minimaliseert het de MI met andere zinnen in de context (negatieve samples).
  • Dit dwingt het model om de onderliggende coherentie van kennis te leren.

2. Diversificatie van Kenniscompositie

Om zowel nauwkeurigheid als diversiteit te waarborgen, wordt een stochastische decoding-strategie toegepast.

• Nucleus Sampling (Top-p): In plaats van greedy decoding (altijd de meest waarschijnlijke zin kiezen), wordt de onbetrouwbare "tail" van de kansverdeling afgesneden.
• Dynamische Nucleus: Het model samplet de volgende zin uit een dynamische set zinnen die de meeste waarschijnlijkheidsmassa bevat (bepaald door $p=0.95$). Dit zorgt ervoor dat het model niet vastzit aan één vaste pad van kennis, maar verschillende logisch geldige paden kan verkennen.

3. Generatie van Multi-hop Vragen

De uiteindelijke vraaggeneratie wordt uitgevoerd door een standaard "vanilla" MHQG-model (fine-tuned MixQG-base).

• Het model ontvangt het antwoord en de gesamplede kenniscompositie als input.
• Omdat de kenniscompositie varieert, genereert het model diverse multi-hop vragen die verschillende redeneerpaden vereisen.

Belangrijkste Bijdragen

1. KCS Framework: Een nieuw framework dat de diversiteit van multi-hop vragen vergroot door variërende kenniscomposities te samplen in plaats van alleen de vraagformulering te variëren.
2. Nieuwe Taak en Loss-functie: Introductie van een sentence-level conditionele predictietaken en een probabilistische contrastive loss om potentiële kenniscoherentie te leren zonder vooraf geannoteerde sequenties.
3. Stochastische Decoding: Validatie van een strategie die de balans tussen nauwkeurigheid en diversiteit optimaliseert via nucleus sampling.
4. Scalabiliteit: In tegenstelling tot methoden die afhankelijk zijn van gestructureerde kennisgrafieken, werkt KCS met ongestructureerde tekst, wat het flexibeler en schaalbaarder maakt.

Resultaten

De methode is getest op twee populaire benchmark datasets: HotpotQA en 2WikiMultihopQA.

• Nauwkeurigheid in Selectie:

  • KCS verbetert de algehele nauwkeurigheid (F1-score) van de selectie van kenniscomposities met 3,9% ten opzichte van de beste concurrerende baselines (zoals BERT-based classificatie).
  • Op HotpotQA bereikt KCS 58,70% (F1@2) en 55,52% (F1@3), wat respectievelijk 63,90% en 65,06% is van de theoretische bovengrens (MAX).
  • Op 2WikiMultihopQA presteert het zelfs sterker, met verbeteringen van ongeveer 7,2% en 2,1% ten opzichte van de baselines.

• Data Augmentatie & Downstream Performance:

  • Wanneer gegenereerde data wordt gebruikt om LLM's (LLaMA3.1 en Qwen2.5) te fine-tunen voor de MHQA-taak, leidt KCS tot consistente verbeteringen in Exact Match (EM), Precision, Recall en F1-score.
  • KCS behaalt de beste resultaten in zowel diversiteit als consistentie, terwijl andere methoden (zoals RAST of Composition) vaak vastlopen in herhaling of te veel ruis introduceren.

• Ablatie Studies:

  • De studie bevestigt dat de combinatie van Encoder en Decoder essentieel is (Decoder-only presteert slechter).
  • De volgorde en lengte van de kenniscompositie tijdens training hebben een significant effect op de prestaties.
  • De probabilistische contrastive loss is cruciaal; het verlagen van de gewichtsfactor ($\lambda$) leidt tot prestatieverlies.

Betekenis en Impact

Dit paper is significant omdat het de focus verschuift van oppervlakkige diversiteit (andere woorden gebruiken) naar diepere semantische diversiteit door het selecteren van verschillende kennisbronnen.

• Het lost het probleem op dat bestaande QG-methoden vaak te simpel zijn voor complexe multi-hop redeneringen.
• Het biedt een schaalbare oplossing voor data-schaarste in MHQA zonder afhankelijk te zijn van dure kennisgrafieken.
• De resultaten tonen aan dat het genereren van diverse, logisch coherente trainingsdata de robuustheid en generalisatie van taalkundige modellen aanzienlijk kan verbeteren.

Kortom, KCS demonstreert dat het actief "plotten" van verschillende kennispaden binnen een context de sleutel is tot het genereren van hoogwaardige, diverse trainingsdata voor complexe vraag-antwoord systemen.