Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG

Dit artikel presenteert een empirische evaluatie van verschillende PDF-parsers en chunking-strategieën voor vraag-antwoordsystemen in de financiële sector, waarbij een nieuwe benchmark (TableQuest) wordt gebruikt om praktische richtlijnen te bieden voor het bouwen van robuuste RAG-pipelines.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met financiële rapporten. Maar er is een groot probleem: deze rapporten zijn geschreven in PDF-formaat. Een PDF is als een ingepakt cadeau dat perfect is om te bekijken (voor mensen), maar heel lastig om te openen en te lezen door een robot (voor computers).

Deze paper is een uitgebreid onderzoek van een team van de Universiteit van Luxemburg en BGL BNP Paribas. Ze wilden erachter komen hoe je die ingepakte cadeautjes het beste kunt openen, zodat een slimme AI (een "Retrieval-Augmented Generation" of RAG-systeem) er de juiste antwoorden uit kan halen.

Hier is de uitleg, vertaald naar alledaags taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "PDF-Puzzel"

PDF-bestanden zijn een bonte verzameling van tekst, tabellen en plaatjes. Voor een computer is dit als een doos vol Lego-blokjes die door elkaar zijn gegooid. Als je de computer vraagt: "Wat was de winst in 2023?", moet de computer eerst de Lego-blokjes (de tekst) uit de doos halen, de juiste stukjes vinden en die in de juiste volgorde leggen.

Als de computer de doos verkeerd openmaakt (slechte parsing), raken de blokjes in de war. Als hij de blokjes in te kleine stukjes snijdt (slechte chunking), mist hij de context.

2. De Oplossing: De RAG-Robot

De auteurs gebruiken een systeem dat RAG heet. Je kunt dit zien als een supersterke rechercheur met een assistent:

1. De Rechercheur (Retrieval): Kijkt in de bibliotheek naar de juiste pagina's die bij de vraag passen.
2. De Assistent (Generator): Een slimme AI (zoals een geavanceerde Chatbot) die die pagina's leest en het antwoord formuleert.

Het probleem is: als de rechercheur de verkeerde pagina's pakt, of als de assistent de tekst niet goed kan lezen, is het antwoord fout.

3. De Experimenten: Wat werkt het beste?

De auteurs hebben een gigantisch experiment gedaan met twee soorten "testvragen":

• FinanceBench: Vragen over gewone tekst (verhalen in het rapport).
• TableQuest (Nieuw!): Een door hen bedachte test met vragen over tabellen. Tabellen zijn voor computers vaak net als een ingewikkeld kruiswoordpuzzel; ze zijn moeilijk te lezen als de kolommen en rijen niet perfect worden herkend.

Ze hebben gekeken naar drie belangrijke onderdelen:

A. De "Open-Maker" (PDF Parsers)

Dit zijn de tools die de PDF openen. Ze hebben 6 verschillende tools getest, variërend van simpele tot zeer geavanceerde.

• De bevinding: Het is als het kiezen van een mes om een taart te snijden.
  • Voor gewone tekst werkt een simpele, snelle tool (zoals pdfminer) prima.
  • Voor tabellen heb je een speciaal mes nodig dat de structuur herkent (zoals pdfplumber). Als je een simpele tool gebruikt voor tabellen, krijg je een rommelig resultaat, alsof je de taart met je handen probeert te snijden.

B. De "Snijder" (Chunking)

Nadat de tekst open is, moet hij in stukjes worden gesneden zodat de AI het kan verwerken.

• De bevinding: Je mag de stukjes niet te klein maken, maar ook niet te groot.
  • Te groot: De AI raakt de weg kwijt in de massa informatie.
  • Te klein: De AI mist de context (bijvoorbeeld: het getal staat in de rij, maar de kop van de kolom staat in het vorige stukje).
  • De gouden tip: Laat de stukjes een beetje overlappen (zoals tegels op een dak die over elkaar heen liggen). Als je 25% overlap gebruikt, weet de AI zeker dat hij geen belangrijke informatie mist aan de randen van de stukjes.

C. De "Denker" (LLM - De AI)

Hoe slim moet de AI zijn die het antwoord schrijft?

• De bevinding: Grotere, slimmere modellen geven betere antwoorden, maar ze zijn ook zwaarder en duurder.
  • Voor simpele tekstvragen doen kleinere modellen het redelijk.
  • Voor complexe tabelvragen (zoals in TableQuest) heb je echt een "zwaargewicht" nodig. Een slimme AI kan de logica van een tabel doorgronden, terwijl een kleine AI vaak in de war raakt.

4. De Grote Leerlessen (De "Takeaways")

1. Geen "One-Size-Fits-All": Er is geen enkele tool die voor alles perfect is. Als je veel tabellen hebt, kies dan een parser die goed is in tabellen. Als je vooral tekst hebt, kies dan iets snellers.
2. Overlap is je vriend: Laat je stukjes tekst een beetje over elkaar heen lopen (25%). Dit kost iets meer ruimte, maar het voorkomt dat de AI halve zinnen of losse getallen krijgt.
3. De juiste combinatie: De beste resultaten haal je niet door het duurste onderdeel te kiezen, maar door de juiste combinatie van "Open-Maker" en "Snijder". Soms werkt een simpele combinatie net zo goed als een dure, complexe setup.
4. Tabellen zijn lastig: De meeste bestaande systemen zijn goed in tekst, maar slecht in tabellen. Met hun nieuwe test (TableQuest) laten ze zien dat dit een groot zwak punt is dat we moeten oplossen.

Conclusie

Kortom: Als je een bedrijf bent dat duizenden financiële rapporten wilt laten analyseren door een AI, moet je niet zomaar een willekeurige tool pakken. Je moet kiezen voor de juiste "open-maker" voor je documenttype, zorg dat je tekststukjes netjes overlappen, en gebruik een slimme AI die groot genoeg is om de complexiteit van de data aan te kunnen.

Dit onderzoek geeft een handleiding voor bedrijven om hun "digitale bibliotheek" niet alleen te openen, maar er ook echt iets nuttigs uit te halen.

Technische samenvatting

Titel: Empirische Evaluatie van PDF-parsing en Chunking voor Financiële Vraag-Antwoordtaken met RAG

Auteurs: Omar El Bachyr, Yewei Song, Saad Ezzini, Jacques Klein, Tegawendé F. Bissyandé, Anas Zilali, Ulrick Ble, Anne Goujon.
Publicatie: ICSE-SEIP '26 (2026).

---

1. Het Probleem

PDF-bestanden zijn primair ontworpen voor menselijke consumptie en niet voor geautomatiseerde verwerking. Ze bevatten een heterogene mix van inhoud (tekst, tabellen, afbeeldingen, formulieren) die grote uitdagingen stelt voor parsing en informatie-extractie. In de financiële sector, waar documenten zoals jaarverslagen en wettelijke rapporten vaak in PDF-formaat worden verspreid, kan zelfs een kleine fout in het extraheren van data leiden tot aanzienlijke financiële verliezen of regelgevingsovertredingen.

Retrieval-Augmented Generation (RAG) wordt gezien als een veelbelovende oplossing om deze taken te automatiseren. Een RAG-systeem bestaat uit twee fasen:

1. Offline: Documenten worden geparsed, opgesplitst in "chunks" (tekstsegmenten), geëmbed en opgeslagen in een vectordatabase.
2. Online: Bij een gebruikersvraag worden relevante chunks opgehaald en aan een Large Language Model (LLM) gegeven om een antwoord te genereren.

De huidige literatuur mist echter een holistische studie die de interactie tussen PDF-parsers (die de structuur extraheren) en chunking-strategieën (die de tekst opsplitsen) systematisch evalueert. De keuze van deze componenten is kritiek: een slechte parsing kan tabellen verstoren, en een ongeschikte chunking kan context verbreken, wat de nauwkeurigheid van het uiteindelijke antwoord ernstig beïnvloedt.

2. Methodologie

De auteurs hebben een empirische studie uitgevoerd om de prestaties van verschillende RAG-pipelines te vergelijken. De studie omvat de volgende methodologische stappen:

• Datasets:
  • FinanceBench: Een bestaand benchmark voor tekstgebaseerde vragen over financiële rapporten (150 vragen).
  • TableQuest (Nieuw): Een door de auteurs gegenereerde benchmark specifiek gericht op tabellen in financiële PDF's. Het bevat 116 vraag-antwoordparen die variëren in moeilijkheidsgraad (van eenvoudige cel-extractie tot complexe multi-tabel analyse).
• Experimentele Opzet:
  • Parsers: Zeer populaire open-source parsers werden getest: PyPDF2, PyMuPDF, pdfminer.six, pdfplumber, pypdfium2 en Unstructured (OCR-gebaseerd).
  • Chunking-strategieën: Zes strategieën werden vergeleken: token, zin, semantisch, recursief, SDPM (Semantic Double-Pass Merging) en neurale chunking.
  • Retrievers: Verschillende zoekalgoritmen werden getest, waaronder keyword-based (BM25), dense (E5), late-interaction (ColBERT) en sparse-hybrid (SPLADE).
  • LLMs: Een scala aan modellen, variërend van kleine open-source modellen (1.5B - 4B parameters) tot middelgrote modellen (12B - 27B) en proprietaire modellen (GPT-4/5).
• Evaluatiemetrics:
  • Retrieval: Precision@1, Recall@3 en Mean Reciprocal Rank (MRR) op paginaniveau.
  • Antwoordkwaliteit: Geautomatiseerde beoordeling van de juistheid van het gegenereerde antwoord met behulp van een LLM-as-judge (GPT-4o-mini).

3. Belangrijkste Bijdragen

1. Uitgebreide Benchmarking: Een systematische vergelijking van 6 parsers, 6 chunking-strategieën en 4 retriever-families in een geïntegreerde RAG-pipeline voor financiële documenten.
2. TableQuest Dataset: De introductie van een nieuw, openbaar benchmark dat specifiek de vaardigheid test om tabellen in complexe PDF's te lezen en te redeneren, een gebied dat door bestaande benchmarks vaak wordt genegeerd.
3. Praktische Richtlijnen: Het leveren van concrete, datagestuurde aanbevelingen voor het bouwen van robuuste RAG-pipelines in de financiële sector.

4. Belangrijkste Resultaten

RQ1: Welke retriever werkt het beste?

• Voor tekstgebaseerde vragen (FinanceBench) presteerden dense retrievers (zoals E5) het beste.
• Voor tabellenvragen (TableQuest) waren late-interaction modellen (ColBERT) superieur, omdat deze token-level matching beter kunnen omgaan met de structuur van tabellen.
• SPLADE (sparse-hybrid) bood de beste algehele balans voor gemengde workload.

RQ2: Welke PDF-parser is het beste?

• Voor narratieve tekst presteerde pdfminer het beste.
• Voor tabellen was pdfplumber de duidelijke winnaar, dankzij zijn geavanceerde tabeldetectie en kolomherkenning.
• Unstructured (OCR-gebaseerd) leverde robuuste resultaten maar was extreem traag (orde van grootte langzamer dan de anderen).
• Stabiliteit: pdfminer en pdfplumber toonden de minste variatie in prestaties bij het wisselen van chunking-strategieën.

RQ3: Wat is de invloed van chunking en overlap?

• Chunking-strategie: Neurale chunking (gebaseerd op een fine-tuned transformer) leverde de beste resultaten voor zowel tekst als tabellen, gevolgd door zin-gebaseerde chunking als een kosteneffectief alternatief.
• Overlap: Een overlap van 25% (128 tokens) bleek optimaal. Het elimineren van overlap resulteerde in slechtere prestaties, terwijl een overlap van 50% de indexgrootte verdubbelde zonder significante verbetering in nauwkeurigheid.

RQ4: Synergie tussen parser en chunker?

• Er is een duidelijke synergie: eenvoudige splitsingen (zoals recursief of op zinnen) werken het beste in combinatie met pdfplumber of pdfminer.
• Complexe, structuurbewuste chunkers (zoals semantisch) leverden geen extra voordelen tenzij ze werden gecombineerd met parsers die de layout perfect behouden.

RQ5: Impact van LLM-grootte?

• Grootte telt: Grotere modellen (middelgroot tot groot) presteerden aanzienlijk beter dan kleine modellen.
• Proprietair vs. Open Source: Proprietaire modellen (zoals GPT-5) behaalden de hoogste scores (tot 73% nauwkeurigheid op TableQuest), maar de beste open-source modellen (zoals Gemma-3 27B) naderden deze prestaties aanzienlijk.
• Retrieval diepte: Het verhogen van het aantal opgehaalde pagina's (van 1 naar 3) had een groter positief effect op tabellenvragen dan op tekstvragen.

5. Betekenis en Conclusie

De studie biedt waardevolle inzichten voor professionals in de financiële sector en ontwikkelaars van RAG-systemen:

• Geen "one-size-fits-all": De keuze voor parser en retriever moet worden afgestemd op het type inhoud (tekst vs. tabellen).
• Efficiëntie: Men kan vaak lichte combinaties (bijv. pdfplumber + neurale chunking + 25% overlap) gebruiken die bijna net zo goed presteren als zwaardere, complexere setups, wat kosten en latentie verlaagt.
• Kwaliteit: Voor complexe financiële analyse is het essentieel om zowel de juiste structuur te extraheren (via goede parsing) als de juiste context te bieden aan het LLM (via slimme chunking).

De auteurs concluderen dat met de juiste configuratie van parsing en chunking, RAG-systemen betrouwbaar kunnen worden ingezet voor geautomatiseerde financiële analyse, wat de schaalbaarheid en nauwkeurigheid van documentverwerking in de industrie aanzienlijk verbetert. Alle code, prompts en datasets zijn openbaar beschikbaar gemaakt om reproduceerbaarheid te waarborgen.