From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering

Deze studie toont aan dat bij het bouwen van RAG-systemen voor domeinspecifieke vragenbeantwoording de kwaliteit van de data-voorbereiding, met name metadata-verrijking en hiërarchische chunking, een grotere impact heeft op de nauwkeurigheid dan de keuze van het conversieframework zelf.

De kern

Van PDF naar Slimme Antwoorden: Een Reis door de Documentenwereld

Stel je voor dat je een enorme bibliotheek hebt vol met oude, soms beschadigde boeken (PDF-bestanden). Je wilt een slimme robot (een AI) bouwen die al deze boeken kan lezen en vragen van mensen kan beantwoorden. Dit noemen we een RAG-systeem (Retrieval-Augmented Generation).

De onderzoekers in dit artikel hebben een belangrijke vraag gesteld: Wat is het geheim van een slimme robot? Is het de robot zelf, of is het hoe goed we de boeken voor hem klaarmaken?

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De Grote Misvatting: De Robot is niet het probleem

Veel mensen denken dat als hun AI-systeem fouten maakt, het komt door de "hersenen" van de AI (het model). Ze proberen dan duurdere of slimmere modellen te kopen.
Maar deze onderzoekers zeggen: "Nee, wacht even!" Het probleem zit vaak in de voorbereiding.

Stel je voor dat je een kok (de AI) vraagt om een heerlijke maaltijd te maken. Als je hem echter een bak met rotte groenten, modder en onleesbare krantenknipsels geeft, zal hij nooit een goed gerecht kunnen maken, hoe slim hij ook is. In de wereld van AI noemen we dit "Garbage In, Garbage Out": als je slechte data invoert, krijg je slechte antwoorden.

2. De Test: Vier Koks in de Keuken

De onderzoekers testten vier verschillende "koks" (softwaretools) om de PDF-boeken om te zetten in een formaat dat de AI kan lezen (zoals Markdown, een soort digitale notitieblok). Ze gebruikten een corpus van 36 Portugese militaire documenten (zoals regels, handleidingen en formulieren).

De vier koks waren:

• De Snelle Amateur (PDFLoader): Pakt het boek en plukt er zomaar tekst uit. Snel, maar rommelig.
• De OCR-Scanner (MinerU & DeepSeek): Probeer de tekst te scannen en te herkennen.
• De Meesterkok (Docling): Een geavanceerde tool die niet alleen tekst leest, maar ook begrijpt waar koppen zijn, hoe tabellen eruitzien en wat er in afbeeldingen staat.

3. De Resultaten: Het Koken is belangrijker dan de Chef

Het verrassende resultaat was dat de keuze van de "kok" (de software) minder belangrijk was dan hoe je het gerecht serveerde.

• De "Garbage In" situatie: Als je de ruwe tekst zomaar in stukjes (chunks) snijdt zonder te kijken naar de structuur, is het alsof je een boek in willekeurige bladzijden snijdt en de volgorde verliest. De AI raakt dan de draad kwijt.
• De "Gouden Standaard": De beste resultaten kwamen niet van de duurste AI, maar van een combinatie van de beste tool (Docling) en een slimme snijmethode.

De Analogie van de Ladder:
Stel je een document voor als een ladder.

• Slechte methode: Je haalt alle ladderdelen los en gooit ze in een hoop. De AI ziet een ladder, maar weet niet welke sport bij welke hoort.
• Goede methode (Hiërarchisch Snijden): Je houdt de ladder in elkaar en plakt er een label bij: "Dit is sport 3 van de ladder in hoofdstuk 2". De AI weet dan precies waar de informatie hoort.

Het bleek dat het goed snijden en labelen van de tekst veel meer invloed had op het antwoord dan welke tool je gebruikt had om de tekst eruit te halen.

4. De "Kennisgrafiek" (GraphRAG): Een Te Ingewikkeld Netwerk?

De onderzoekers dachten: "Laten we een kennisgrafiek maken! Een gigantisch web van verbanden tussen alle woorden en concepten, zodat de AI alles kan doorzoeken."
Ze bouwden dit web (met 20.000 knopen!). Maar het resultaat was teleurstellend: 82% correcte antwoorden, terwijl de simpele, goed voorbereide methode 94% haalde.

De Metafoor:
Het was alsof je een simpele, goed georganiseerde bibliotheek (RAG) wilde vervangen door een gigantisch, geweven spinnenweb in een donkere kelder (Kennisgrafiek). Om een boek te vinden, moest je door dat web kruipen, maar omdat het web niet perfect was gebouwd (geen duidelijke blauwdruk), was het juist moeilijker om het juiste boek te vinden.
Conclusie: Een goed georganiseerde simpele lijst werkt vaak beter dan een complex, onduidelijk web.

5. Specifieke Valkuilen: De "Ç" in het Portugees

Een klein maar belangrijk detail: sommige tools hadden moeite met speciale letters, zoals de Portugese "ç" (in woorden als caça, wat "jacht" betekent). Als de AI dit verandert in "caca" (poep), verandert de betekenis van de hele zin. De beste tool (Docling) maakte hier geen fouten, terwijl andere tools hierdoor faalden.

Samenvatting voor de Praktijk

Als je een AI-systeem wilt bouwen dat vragen beantwoordt over documenten:

1. Stop met jagen naar de nieuwste, duurste AI-modellen.
2. Focus op de "voorbereiding": Zorg dat je documenten netjes worden omgezet, dat koppen en tabellen goed worden herkend, en dat de tekst in logische stukjes wordt verdeeld.
3. Houd het simpel: Een goed voorbereide simpele lijst werkt vaak beter dan een ingewikkeld, ongetest netwerk.

Kortom: De kwaliteit van je data is de koning. Als je de basis goed hebt, doet de AI het vanzelf goed.

Technische samenvatting

1. Probleemstelling

Retrieval-Augmented Generation (RAG) systemen zijn cruciaal voor het grondig maken van Large Language Models (LLM's) met domeinspecifieke kennis, maar hun prestaties worden vaak beperkt door de kwaliteit van de voorverwerking van documenten. Hoewel veel onderzoek focust op retrieval-algoritmen, embedding-modellen of de LLM zelf, wordt de conversie van PDF-bestanden naar leesbare tekst vaak als een opgelost probleem beschouwd.

PDF's zijn echter ontworpen voor visuele weergave en niet voor semantische structuur. Het extraheren van gestructureerde tekst, tabellen, hiërarchie en afbeeldingen uit PDF's is complex, vooral bij gespecialiseerde domeinen zoals juridische of administratieve documenten in het Portugees (waarbij speciale tekens zoals 'ç' vaak foutief worden geïnterpreteerd). Er bestaat tot nu toe geen systematische evaluatie van PDF-conversieframeworks op basis van hun impact op de uiteindelijke nauwkeurigheid van vraag-antwoordtaken (QA).

2. Methodologie

Data Corpus:

• Bron: 36 openbare administratieve documenten van het Portugese Leger (Personeelscommando).
• Omvang: 1.706 pagina's, ~492.000 woorden.
• Kenmerken: Bevat complexe tabellen (94,4% van de documenten), interactieve formulieren, afbeeldingen, en is geschreven in Europees Portugees. De documenten zijn gegenereerd door verschillende PDF-tools, wat de consistentie van de parsing bemoeilijkt.

Experimenteel Opzet:
De auteurs bouwden een modulaire ETL-pipeline (Extract, Transform, Load) gebaseerd op de Medallion-architectuur (Bronze, Silver, Gold lagen) om verschillende frameworks te testen.

• Frameworks: Vier open-source conversietools werden geëvalueerd:
  1. Docling: Modulaire pipeline met gespecialiseerde modellen.
  2. MinerU: OCR-gebaseerd (lokaal en via HTTP-client VLM).
  3. DeepSeek OCR: Vision-Language Model (VLM) benadering.
  4. PDFLoader (LangChain): Dient als ondergrens (naïeve extractie).
  • Marker werd uitgesloten vanwege privacyzorgen (cloud-versie) en inferieure lokale prestaties.
• Variabelen: Er werden 19 configuraties getest door te variëren in:
  • Conversie-framework.
  • Transformaties (HTML-tabelreiniging, LaTeX-reiniging, hiërarchieheropbouw).
  • Hiërarchieheropbouw: Font-gebaseerd (HR-F) vs. LLM-gebaseerd (HR-LLM).
  • Chunking-strategieën: Recursief, Markdown-recursief, en Hiërarchisch-recursief (met "breadcrumb"-metadata).
  • Metadata-verrijking (bijv. VLM-gegenereerde beschrijvingen van afbeeldingen).
• Evaluatie:
  • Benchmark: 50 handmatig samengestelde vragen over het corpus.
  • Scoring: "LLM-as-judge" (gpt-4o-mini) over 10 runs gemiddeld.
  • Baselines: Een ondergrens (PDFLoader) en een bovengrens (handmatig gecorrigeerde Markdown).
  • Exploratie: Een GraphRAG-implementatie (Neo4j + LLMGraphTransformer) werd getest om te zien of kennisgrafieken de prestaties verbeteren.

3. Belangrijkste Resultaten

Algemene Prestaties:

• De kwaliteit van de data-voorbereiding bleek de dominante factor. De nauwkeurigheidskloof tussen de slechtste configuratie (DeepSeek OCR: 71,2%) en de beste geautomatiseerde configuratie (Docling: 94,1%) bedraagt bijna 23 procentpunten.
• De kloof tussen de naïeve PDFLoader (86,9%) en de handmatig gecorrigeerde Markdown (97,1%) is meer dan 10 procentpunten.

Specifieke Bevindingen:

1. Beste Configuratie: Docling in combinatie met hiërarchische recursieve chunking en VLM-gegenereerde afbeeldingsbeschrijvingen behaalde de hoogste nauwkeurigheid (94,1%). Dit ligt slechts 3 procentpunten onder de handmatige bovengrens.
2. Impact van Strategie vs. Tool: De keuze voor de conversietool was minder belangrijk dan de chunking-strategie en metadata-verrijking.
   • Het gebruik van hiërarchische chunking (met breadcrumb-context) bij Docling leverde een winst van 3,8% op ten opzichte van simpele recursieve chunking.
   • Het toevoegen van metadata was cruciaal voor het LLM om irrelevante secties te filteren tijdens het redeneren.
3. Hiërarchieheropbouw: Font-gebaseerde heropbouw (HR-F) presteerde consequent beter dan LLM-gebaseerde heropbouw (HR-LLM). De LLM introduceerde fouten in het herkennen van sectiegrenzen, terwijl de font-analyse deterministischer en betrouwbaarder bleek voor deze administratieve documenten.
4. Tabelreiniging: Het converteren van HTML-tabellen (uit MinerU-output) naar Markdown-tabellen was de meest impactvolle individuele transformatie (+5,4% voor MinerU).
5. GraphRAG Resultaten: De GraphRAG-implementatie scoorde slechts 82%, wat aanzienlijk lager was dan de standaard RAG (94,1%). Zelfs na semantische deduplicatie van entiteiten daalde de score licht naar 81%. Dit suggereert dat naïeve kennisgrafiekconstructie zonder domeinspecifieke ontologie de complexiteit niet rechtvaardigt.

4. Bijdragen en Significantie

Technische Bijdragen:

• Eerste Systematische Evaluatie: Dit is een van de eerste studies die PDF-conversieframeworks evalueert op basis van downstream QA-nauwkeurigheid in plaats van alleen parsing-metrics (zoals edit-distance).
• Modulaire Architectuur: De auteurs presenteren een reproduceerbare, configuratiegestuurde pipeline die het makkelijk maakt om frameworks en transformaties te wisselen zonder code-aanpassingen.
• Empirisch Bewijs voor Data Kwaliteit: Het artikel onderstreept dat "Garbage In, Garbage Out" nog steeds geldt voor RAG-systemen; investeren in data-preprocessing levert een hogere ROI op dan het optimaliseren van retrieval-parameters of het wisselen van LLM's.

Praktische Implicaties:

• Voor organisaties die werken met niet-Engelse documenten (zoals Portugees met diakritische tekens) is de keuze van het framework cruciaal; Docling bleek superieur in het hanteren van deze tekens in vergelijking met MinerU's VLM-versie.
• De studie adviseert om prioriteit te geven aan hiërarchisch bewust chunking en metadata-verrijking boven het gebruik van geavanceerde, maar ongestuurde kennisgrafieken.
• Het onthult dat een goed geconfigureerde basis-RAG-pipeline een hoge barrière zet die GraphRAG alleen kan overtreffen als de grafiek zorgvuldig is ontworpen met domeinspecifieke ontologieën.

Conclusie:
De kwaliteit van de documentconversie en de daaropvolgende structureringsstrategie zijn de belangrijkste determinanten voor de succesvolle implementatie van RAG-systemen op complexe documentcollecties. De beste geautomatiseerde aanpak (Docling + hiërarchische structuur) benadert de prestaties van handmatige curatie aanzienlijk, waardoor dure handmatige bewerkingen overbodig kunnen worden.