From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

Probleemstelling

Retrieval-Augmented Generation (RAG) systemen zijn afhankelijk van de kwaliteit van de informatie-ophaal (retrieval) om accurate antwoorden te genereren. Hoewel er veel retrieval-methoden bestaan, ontbreekt het aan een systematische vergelijking voor heterogene documenten die zowel tekst als tabellen bevatten. Dit is een kritiek probleem in financiële domeinen (zoals jaarverslagen en toezichtdocumenten), waar tekst context biedt en tabellen precieze numerieke waarden bevatten.

Bestaande methoden hebben tekortkomingen in dit specifieke scenario:

• Semantische zoekopdrachten (Dense Retrieval): Missen vaak exacte numerieke doelen omdat ze op betekenis in plaats van exacte termen focussen.
• Lexicale zoekopdrachten (Sparse Retrieval/BM25): Maken het moeilijk om geherformuleerde context of parafrazes te vinden.
• Huidige benchmarks: Bestaande benchmarks testen vaak slechts een beperkt aantal methoden of gebruiken datasets die niet geschikt zijn voor retrieval-evaluatie (waarbij het juiste document al bekend is).

Methodologie

De auteurs hebben een uitgebreid benchmark-experiment uitgevoerd op het T2-RAGBench dataset.

1. Dataset:

   • Omvang: 23.088 query's over 7.318 unieke financiële documenten.
   • Inhoud: Documenten bevatten een mix van tekst en Markdown-tabellen, afkomstig van SEC-filings en jaarverslagen.
   • Aanpassing: De originele dataset (FinQA, ConvFinQA, TAT-DQA) werd herschreven met LLM's (Llama 3.3-70B) zodat vragen context-onafhankelijk zijn (bijv. inclusief bedrijfsnaam en jaar), waardoor ze geschikt zijn voor echte retrieval-evaluatie.
   • Antwoorden: Alle antwoorden zijn numeriek, wat de evaluatie focust op exacte waarden.

2. Geëvalueerde Retrieval Strategieën (10 methoden):
   De auteurs testten methoden in verschillende categorieën:

   • Single-stage: BM25 (Okapi), Dense Retrieval (OpenAI text-embedding-3-large).
   • Hybrid: Reciprocal Rank Fusion (RRF) van BM25 en Dense.
   • Query-side: HyDE (Hypothetical Document Embeddings), Multi-Query Retrieval (RAG-Fusion).
   • Index-side: Contextual Retrieval (LLM-generatie van samenvattingen toevoegen aan documenten bij indexering).
   • Adaptive: CRAG (Corrective RAG) die query's herschrijft bij lage relevantie.
   • Two-stage Pipeline: Hybrid Retrieval gevolgd door een Cross-Encoder Reranker (Cohere Rerank v4.0 Pro).

3. Evaluatiemetrics:

   • Retrieval: Recall@k (k=1,3,5,10,20), MRR (Mean Reciprocal Rank), nDCG, MAP.
   • Generatie: Number Match (NM) met een tolerantie van 1%, plus token-level F1 en ROUGE-L.
   • Statistiek: Paarde bootstrap-tests (B=10.000) met Bonferroni-correctie voor significantie.

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: De meest complete evaluatie tot nu toe van 10 retrieval-methoden specifiek voor tekst-en-tabel documenten in het financiële domein.
2. Multi-dimensionale Evaluatie: Combinatie van retrieval-metrics en end-to-end generatiemetrics, ondersteund door statistische significantietests.
3. Ablatie-studies: Diepgaande analyse van fusiemethoden (RRF vs. Convex Combination) en de impact van het aantal kandidaten voor de reranker.
4. Praktische Richtlijnen: Actievere adviezen voor practitioners gebaseerd op een kosten-batenanalyse (accuracy vs. latency).

Resultaten

1. De Twee-staps Pipeline is Superior:
   De combinatie van Hybrid Retrieval (BM25 + Dense) gevolgd door een Neural Reranker (Cohere) presteert veruit het best.

   • Recall@5: 0.816 (tegenover 0.695 voor alleen Hybrid RRF).
   • MRR@3: 0.605 (een stijging van +39,7% ten opzichte van alleen Hybrid).
   • Dit bevestigt dat een brede ophaalfase gevolgd door een precieze herordening de optimale architectuur is.

2. BM25 Verslaagt Dense Retrieval:
   In tegenstelling tot de algemene aanname dat semantische zoekopdrachten overal beter zijn, presteerde BM25 beter dan de state-of-the-art dense embedder (text-embedding-3-large) op bijna alle metrics.

   • Reden: Financiële documenten bevatten zeer specifieke terminologie (bedrijfsnamen, tickers, exacte meetwaarden) die lexicaal zoeken effectiever maakt dan semantische embedding, die deze precisie kan "verdunnen".

3. Beperkte Effectiviteit van Query-uitbreiding:

   • HyDE presteerde slechter dan standaard dense retrieval. Het genereren van hypothetische antwoorden introduceerde "hallucinaties" van numerieke waarden, wat de embedding van de query ver weg trok van de werkelijke context.
   • Multi-Query (het genereren van variaties van een vraag) bracht weinig winst, omdat financiële vragen al specifiek en goed geformuleerd zijn.

4. Contextuele Retrieval en CRAG:

   • Contextual Retrieval (het toevoegen van LLM-genererde context aan documenten) leverde consistente verbeteringen op (+2,2 tot +2,8 procentpunten).
   • CRAG (Corrective RAG) bood matige verbetering door query's te herschrijven, maar kon de kracht van hybrid fusion niet evenaren.

5. Foutanalyse:
   De belangrijkste oorzaak van retrieval-fouten (73%) is een mismatch in tabelstructuur. Embedding-modellen vinden het moeilijk om een vraag als "Wat was de nettowinst in 2019?" te koppelen aan tabellen waar "nettowinst" en "2019" in aparte cellen staan.

Significantie en Conclusie

De studie biedt cruciale inzichten voor het bouwen van RAG-systemen in domeinen met gestructureerde data:

• Architectuuradvies: Voor productie-RAG op tekst-en-tabel documenten is de aanbevolen architectuur een twee-staps pipeline: Hybrid Retrieval (BM25 + Dense via RRF) als eerste fase, gevolgd door een Cross-Encoder Reranker.
• Domeinspecifieke Nuance: Dense retrieval is niet universeel superieur; voor financiële data blijft lexicaal zoeken (BM25) een sterke baseline.
• Voorzichtigheid met HyDE: Methodes die hypothetische antwoorden genereren (HyDE) zijn contraproductief voor domeinen waar exacte numerieke precisie vereist is.
• Kosten-baten: De toevoeging van een reranker levert de grootste winst op met een beheersbare kost (de volledige benchmark kon in ongeveer een uur worden verwerkt).

De auteurs concluderen dat er geen "one-size-fits-all" oplossing is en dat domeinspecifieke evaluatie essentieel is, aangezien algemene benchmarks (zoals BEIR/MTEB) de prestaties op financiële data niet voorspellen.