Technische Samenvatting: HieraRAG – Een hiërarchisch kader voor synthetische vraaggeneratie

Probleemstelling

Het evalueren van Retrieval-Augmented Generation (RAG)-systemen vereist benchmarks die diverse kenmerken van vragen vastleggen. Praktijkbeoefenaars missen echter empirische begeleiding over welke dimensies van variatie in vragen opgenomen moeten worden en, cruciaal, op welk granulariteitsniveau (bijv. grove versus fijne categorieën) deze dimensies gedefinieerd moeten worden. Bestaande benchmarks passen vaak inconsistente granulariteit toe: sommige categoriseren naar antwoordtype maar missen controle over complexiteit, terwijl andere taakformaten beslaan zonder systematische linguïstische variatie. Zonder empirisch bewijs lopen ontwerpers het risico ofwel kritieke foutmodi onder te sampelen, ofwel evaluatiesignalen te verwateren met redundante, fijnmazige onderscheidingen die de generatiekosten verhogen zonder diagnostische waarde toe te voegen.

Methodologie

De auteurs stellen HieraRAG voor, een hiërarchisch kader dat ontworpen is om de impact van de granulariteit van vragen op RAG-evaluatie systematisch te bestuderen. De methodologie bestaat uit drie kerncomponenten:

1. Hiërarchisch Categorisatiekader

Het kader definieert drie illustratieve dimensies van vraagvariatie, die elk worden geëvalueerd op drie granulariteitsniveaus:

• Vraagcomplexiteit (Question Complexity - QC): Cognitieve belasting variërend van het opzoeken van feiten tot multi-hop redeneren.
• Antwoordtype (Answer Type - AT): Het verwachte responsformaat, van directe extractie tot gesynthetiseerde generatie.
• Linguïstische Variatie (Linguistic Variation - LV): Lexicale afstemming tussen de vraag en het document, van letterlijke tekst tot parafrasering.

Elke dimensie is onderverdeeld in Grove (2 categorieën), Medium (4 categorieën) en Fijne (8 categorieën) niveaus. Bijvoorbeeld, Vraagcomplexiteit beweegt van "Simpel/Complex" (Grof) naar "Enkelvoudig feit/Multi-fact/Cross-section/Vergelijkend" (Medium) naar specifieke typen zoals "Extractive span", "Multi-hop reasoning" en "Comparative synthesis" (Fijn).

2. Synthetische Datageneratie en Experimentele Opzet

• Databron: 5.872 synthetische vraag-antwoord (QA) paren werden gegenereerd uit het FineWeb-10BT corpus met behulp van DataMorgana (gebruikmakend van Claude 3.5 Sonnet).
• RAG-pipeline: Het systeem werd geëvalueerd op een standaard twee-fasen pipeline:
  • Retrieval: BM25 (via PyTerrier) die $k=10$ documenten ophaalt uit 512-token chunks.
  • Generatie: Falcon-3-10B-Instruct (temperatuur 0.6) geïnstrueerd om te weigeren als informatie onvoldoende was.
• Experimenteel Ontwerp:
  • RQ1: Evalueerde 4 dimensies (QC, AT, LV en Phrasing) op grove granulariteit om de meest discriminerende dimensies te identificeren.
  • RQ2: Evalueerde QC, AT en LV over alle drie de granulariteitsniveaus (2, 4, 8 categorieën) om de optimale granulariteit te bepalen.
  • RQ3: Een $2 \times 2$ factorieel ontwerp waarbij Linguïstische Variatie (Vergelijkbaar vs. Afstandelijk) werd gekruist met Vraagcomplexiteit (Simpel vs. Complex) om interacties te testen.

3. Evaluatiemetrieken

• Prestatie-metrieken: Mean Average Precision (MAP), nDCG@10, Recall@10 voor retrieval; Cosine Similarity (CS), ROUGE-1 en BLEU voor de kwaliteit van de generatie.
• Discriminatief Vermogen: Gedefinieerd als de standaarddeviatie van de generatiekwaliteit (CS) over de categorieën binnen een granulariteitsniveau. Een hogere standaarddeviatie geeft aan dat de categorieën betekenisvolle prestatieverschillen onthullen.
• Coherentieratio ($\rho_{coherence}$): Een nieuwe metriek geïnspireerd door clustering silhouette coefficients om de hiërarchische structuur te valideren. Het meet of fijnmazige "sibling" categorieën niet-redundante signalen leveren terwijl ze verticaal consistent blijven met hun oudercategorie:
  $$\rho_{coherence} = \frac{\sigma_{sib}}{\delta_{vert} + \epsilon}$$
  Waarbij $\sigma_{sib}$ de standaarddeviatie over de siblings is (horizontale discriminatie) en $\delta_{vert}$ het absolute verschil tussen de ouder en kind gemiddelden is (verticale consistentie). Een hoge $\rho$ duidt op goed gekalibreerde splitsingen; een lage $\rho$ duidt op een slechte structuur of redundantie.
• Menselijke Validatie: Twee annotatoren evalueerden 110 gestratificeerde QA-paren op correctheid, hallucinatie en categorie-overeenkomst.

Belangrijkste Resultaten

RQ1: Meest Discriminerende Dimensies

Op het grove niveau was Linguïstische Variatie (LV) de meest discriminerende dimensie (Bereik = 0.077), ondanks het opleveren van de slechtste absolute prestatie (MAP=0.369). Antwoordtype (AT) behaalde de beste absolute prestatie (MAP=0.506) maar vertoonde lagere discriminatie. Vraagcomplexiteit (QC) vertoonde de laagste discriminatie op het grove niveau (Bereik = 0.010).

RQ2: Impact van Granulariteit

Optimale granulariteit varieert aanzienlijk per dimensie:

• Vraagcomplexiteit (QC): Profiteert van fijnmazige onderscheidingen. Het discriminerend vermogen nam monotoon toe van Grof (0.007) naar Fijn (0.053), een toename van 7,5x. Dit suggereert dat het onderscheiden van specifieke redeneertypen (bijv. single-hop vs. multi-hop) prestatievariaties vastlegt die gemist worden door grove "Simpel/Complex" labels.
• Antwoordtype (AT) & Linguïstische Variatie (LV): Bereiken hun piek bij medium granulariteit (4 categorieën).
  • AT piekte op 0.044 (Medium) en daalde naar 0.037 (Fijn).
  • LV piekte op 0.047 (Medium) en daalde naar 0.031 (Fijn).
  • Voor deze dimensies voegden fijnere splitsingen ruis toe in plaats van signaal.

Structurele Validatie (Coherentieratio)

De Coherentieratio onthulde structurele verschillen die de resultaten verklaren:

• AT had een hoge gemiddelde coherentie (bijv. de summary_or_explanation split had $\rho=3.31$), wat aangeeft dat de fijnere categorieën de ouder netjes onderverdeelden.
• QC had een lage gemiddelde coherentie (0.40). Hoewel de 8 fijne categorieën de prestatieruimte succesvol partitioneerden (hoge discriminatieve kracht), verdeelden ze hun medium-niveau ouders niet helder, wat suggereert dat de hiërarchie niet strikt taxonomisch is.
• LV vertoonde een slechte kalibratie in de conceptual_rephrase split ($\rho=0.04$), waarbij de fijne kinderen aanzienlijk afweek van het prestatieprofiel van de ouder.
• Een voorlopige correlatie ($r_{pb}=0.24$) werd waargenomen tussen de Coherentieratio en menselijke overeenstemming over categorie-toewijzingen, wat suggereert dat de metriek als automatische proxy voor semantische scheiding kan dienen.

Interactie-effecten

De interactie tussen LV en QC was grotendeels additief in plaats van interactief.

• Vocabulaire mismatch (Distant LV) veroorzaakte een significante daling in prestaties ongeacht de complexiteit (MAP daalde van ~0.55 naar ~0.20).
• Complexiteitsonderscheidingen waren alleen relevant wanneer retrieval succesvol was (Similar LV). Wanneer retrieval faalde door een vocabulaire mismatch, werd complexiteit irrelevant.

Betekenis en Claims

Het artikel claimt een draagbare procedure te bieden in plaats van universele waarheden over RAG-prestaties. De belangrijkste bijdragen zijn:

1. Een Hiërarchisch Kader: Een methode om de optimale granulariteit van evaluatie in RAG-benchmarks te bepalen, waarbij wordt aangetoond dat een "one-size-fits-all" granulariteit suboptimaal is.
2. De Coherentieratio: Een validatiemetriek om te helpen bepalen of fijnmazige splitsingen structureel gezond zijn voordat grootschalige benchmarkgeneratie plaatsvindt.
3. Empirisch Bewijs: Binnen de specifieke configuratie van BM25 + Falcon-3-10B laten de auteurs zien dat verschillende vraagkenmerken verschillende granulariteitsniveaus vereisen voor diagnostische evaluatie (Fijn voor Complexiteit, Medium voor Antwoordtype en Linguïstische Variatie).
4. Dataset en Code: De release van 5.872 hiërarchisch georganiseerde synthetische vragen en de bijbehorende code voor replicatie.

De auteurs merken expliciet de beperkingen op: de bevindingen zijn specifiek voor de gebruikte BM25 retriever en Falcon generator; de single-dimension assignment in RQ1/RQ2 laat andere dimensies als ongecontroleerde confounders; en de correlatie tussen de Coherence Ratio en menselijke overeenstemming was niet statistisch significant ($p=0.21$). Bijgevolg positioneert het artikel HieraRAG als een instrument voor praktijkbeoefenaars om hun eigen RAG-evaluatie-instellingen te diagnosticeren en te kalibreren, in plaats van een vaste benchmarkstandaard voor te schrijven.