Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG

Diese Studie bietet eine empirische Bewertung verschiedener PDF-Parsing- und Chunking-Strategien für Frage-Antwort-Systeme im Finanzbereich mittels RAG und stellt dabei praktische Leitlinien für den Aufbau robuster Pipelines vor.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Finanzanalyst und müssen aus einem riesigen Stapel von hunderten von PDF-Dokumenten (wie Jahresberichten) die eine entscheidende Information finden: „Wie hoch war der Gewinn von Firma X im letzten Quartal?"

Das Problem ist: Diese PDFs sind wie schön gestaltete, aber verschlossene Bücher. Sie sehen für uns Menschen perfekt aus, mit Tabellen, Grafiken und Textblöcken. Aber für einen Computer sind sie ein chaotischer Haufen aus Pixeln und Codes, die er nicht versteht.

Diese Forschungsarbeit ist wie ein Leitfaden für einen perfekten Bibliothekar, der diesen Stapel für einen KI-Assistenten (einen „RAG"-System) vorbereiten soll. Hier ist die Erklärung, wie sie das gemacht haben, einfach und mit Analogien erklärt:

1. Das Problem: Der „Roboter-Leser"

Ein KI-Modell (wie ein sehr intelligenter Chatbot) kann nicht einfach das ganze PDF auf einmal lesen. Es hat ein begrenztes „Gedächtnis" (wie ein Kaffeebecher, der nur eine bestimmte Menge Wasser fasst).

• Die Aufgabe: Man muss das PDF in kleine, logische Stücke zerschneiden (das nennt man „Chunking").
• Die Gefahr: Wenn man die Stücke falsch schneidet, zerreißt man eine wichtige Tabelle in zwei Hälften oder trennt eine Grafik von ihrer Erklärung. Dann versteht die KI den Kontext nicht mehr und gibt falsche Antworten.

2. Die Lösung: Der „Bibliothekars-Test"

Die Forscher haben verschiedene Werkzeuge getestet, um herauszufinden, wie man diese Bücher am besten für die KI vorbereitet. Sie haben zwei große „Prüfungen" (Benchmarks) erstellt:

• Prüfung A (FinanceBench): Hier ging es um Fließtext. Fragen wie: „Was sagt der CEO über die Zukunft?"
• Prüfung B (TableQuest – Die neue Erfindung): Hier ging es nur um Tabellen. Fragen wie: „Wie hoch war der Umsatz in Spalte 3, Zeile 5?" Die Forscher haben extra eine neue Datenbank namens TableQuest gebaut, weil bisherige Tests die Tabellen oft ignoriert haben.

3. Die drei Hauptakteure im Test

Um die beste Kombination zu finden, haben sie drei Dinge variiert:

A. Der Scanner (PDF-Parser)

Stellen Sie sich vor, Sie müssen ein Dokument scannen.

• Scanner 1 (einfach): Nimmt nur den Text heraus, ignoriert aber die Struktur. (Wie ein Scanner, der nur Buchstaben liest, aber nicht weiß, wo eine Tabelle beginnt).
• Scanner 2 (fortgeschritten): Erkennt, wo Tabellen sind und wie sie aufgebaut sind. (Wie ein Scanner, der auch die Linien der Tabelle sieht).
• Scanner 3 (Super-Scanner mit Kamera): Scannt das Bild und liest es mit KI. (Sehr genau, aber extrem langsam).

Ergebnis: Für normale Texte reicht ein schneller, einfacher Scanner. Aber für Tabellen braucht man einen Scanner, der die Struktur wirklich versteht (wie pdfplumber). Der „Super-Scanner" war zwar genau, aber so langsam, dass er für den Alltag unpraktisch ist.

B. Der Schere (Chunking-Strategie)

Wie schneidet man das Dokument auf?

• Willkürlich: Einfach alle 512 Zeichen abschneiden. (Gefahr: Man schneidet mitten in einem Wort oder einer Tabelle).
• Intelligent: Schneiden nur an sinnvollen Stellen (z. B. am Ende eines Satzes oder einer Tabelle).
• Die Überlappung: Die Forscher haben getestet, ob man die Schnitte leicht überlappen lassen soll (wie beim Tape, wo man ein Stück überlappt, damit nichts abfällt).
• Ergebnis: Eine kleine Überlappung (25%) ist der „Sweet Spot". Sie sorgt dafür, dass keine wichtigen Informationen an den Rändern verloren gehen, ohne den Speicherplatz unnötig zu sprengen.

C. Der Sucher (Retriever)

Wenn die KI eine Frage stellt, muss sie zuerst die richtigen Seiten finden.

• Wort-Sucher (Keyword): Sucht nur nach exakten Wörtern. (Gut für Tabellen, schlecht für komplexe Fragen).
• Verstehender Sucher (Dense/Neural): Versteht die Bedeutung der Frage. (Gut für Text, z. B. „Wie ging es dem Unternehmen?" statt nur „Gewinn").
• Ergebnis: Für Textfragen ist der „verstehende Sucher" am besten. Für Tabellenfragen ist der „Wort-Sucher" überraschend gut, weil Tabellen oft sehr präzise Daten enthalten.

4. Die große Erkenntnis: Der KI-Geist

Am Ende haben sie getestet, wie „klug" der KI-Assistent selbst sein muss, um die gefundenen Informationen zu beantworten.

• Kleine KI: Macht oft Fehler, besonders bei komplexen Tabellen.
• Große KI: Ist viel genauer.
• Aber: Man braucht nicht unbedingt die riesigste (und teuerste) KI. Eine mittelgroße KI, kombiniert mit den richtigen vorbereiteten Dokumenten (guter Scanner, gute Schnitte), liefert fast genauso gute Ergebnisse wie die Super-KI.

Fazit für den Alltag

Diese Studie sagt uns: Man muss nicht das teuerste Werkzeug kaufen, um gute Ergebnisse zu erzielen.

Wenn Sie ein Unternehmen haben, das Finanzdaten aus PDFs auswerten will, lautet die Empfehlung:

1. Nutzen Sie einen guten Scanner, der Tabellen erkennt (nicht nur Text).
2. Schneiden Sie die Dokumente intelligent auf, mit einer kleinen Überlappung.
3. Wählen Sie einen Sucher, der je nach Frageart (Text vs. Tabelle) passt.
4. Dann reicht eine mittlere KI völlig aus, um präzise Antworten zu geben.

Es geht also nicht darum, die stärkste KI zu haben, sondern darum, die Bibliothek (die Daten) so perfekt zu organisieren, dass auch ein durchschnittlicher Bibliothekar (die KI) die richtige Antwort findet.

Technische Zusammenfassung

1. Problemstellung

PDF-Dateien sind primär für die menschliche Lesbarkeit konzipiert und nicht für die automatische Verarbeitung. Sie enthalten eine heterogene Mischung aus Text, Tabellen, Bildern und Formularen, was das Parsen und die Informationsgewinnung erheblich erschwert. Im Finanzsektor, wo kritische Dokumente wie Jahresberichte, regulatorische Einreichungen und Gewinnmitteilungen oft nur als PDF vorliegen, führt dies zu einem Engpass bei automatisierten Workflows (z. B. Question Answering, Dokumentenverständnis).

Obwohl Retrieval-Augmented Generation (RAG) als vielversprechende Lösung für diese Aufgaben gilt, fehlt es an umfassenden Studien, die untersuchen, wie sich die Wahl des PDF-Parsers und der Chunking-Strategie (Aufteilung des Textes) gemeinsam auf die Leistung eines RAG-Systems auswirken. Bisherige Arbeiten haben diese Komponenten oft isoliert betrachtet. Die zentrale Frage ist, wie Parsing-Fehler (z. B. falsche Tabellenerkennung) und suboptimale Chunking-Strategien die Genauigkeit der Antwortgenerierung beeinflussen.

2. Methodik

Die Autoren führten eine empirische Studie durch, um verschiedene Kombinationen von Parsing- und Chunking-Strategien in einer RAG-Pipeline für Finanzdokumente zu bewerten.

• Datenbasis:
  • FinanceBench: Ein bestehender Benchmark mit 150 textbasierten Fragen zu öffentlichen Finanzberichten.
  • TableQuest (Neu): Ein neu generierter, öffentlich verfügbarer Benchmark mit 116 Fragen, die sich speziell auf tabellarische Daten konzentrieren. Die Fragen wurden in drei Schwierigkeitsstufen unterteilt: Easy (Extraktion aus einer kleinen Tabelle), Medium (Numerische Berechnungen in einer Tabelle) und Hard (Analyse über mehrere Tabellen hinweg). Die Daten wurden automatisiert aus den PDFs von FinanceBench abgeleitet und durch Chain-of-Thought-Prompts sowie Validierung durch mehrere LLMs (GPT-5, o3, GPT-4.1) verifiziert.
• Experimentelles Setup:
  • Parsers: 6 Open-Source-PDF-Parser wurden getestet (PyPDF2, PyMuPDF, pdfminer.six, pdfplumber, pypdfium2, Unstructured), die sich in ihrer Fähigkeit zur Text- und Tabellenerkennung sowie in der Geschwindigkeit unterscheiden.
  • Chunking-Strategien: 6 Strategien wurden evaluiert (Token, Sentence, Semantic, Recursive, SDPM, Neural) mit variierenden Überlappungsraten (0%, 25%, 50%).
  • Retriever: Vier Familien von Embedding-Modellen wurden verglichen: Keyword-basiert (BM25), Sparse (SPLADE), Dense (E5) und Late-Interaction (ColBERT).
  • LLMs: Verschiedene Open-Source-Modelle (1,5B bis 27B Parameter) und proprietäre Modelle (GPT-4.1-mini, GPT-5) wurden zur Antwortgenerierung eingesetzt.
• Metriken: Die Leistung wurde auf Ebene der Dokumentenseiten gemessen (Precision@1, Recall@3, Mean Reciprocal Rank - MRR) sowie die Korrektheit der generierten Antworten durch einen „LLM-as-a-Judge" (GPT-4o-mini).

3. Wichtige Beiträge

1. Umfassende empirische Evaluation: Die Studie bietet den ersten systematischen Vergleich von PDF-Parsing und Chunking innerhalb einer einheitlichen RAG-Rahmenarchitektur für Finanzfragen.
2. TableQuest-Datensatz: Einführung eines neuen Benchmarks, der die Fähigkeiten von RAG-Systemen beim Umgang mit komplexen Tabellenstrukturen in Finanzberichten testet, eine Lücke, die von rein textbasierten Benchmarks wie FinanceBench übersehen wird.
3. Praktische Leitlinien: Die Arbeit liefert datengestützte Empfehlungen für den Aufbau robuster RAG-Pipelines in hochriskanten Umgebungen wie dem Bankwesen.

4. Schlüsselergebnisse

Die Studie beantwortete fünf Forschungsfragen (RQs) mit folgenden Erkenntnissen:

• RQ1 (Retriever): Die Wahl des Retrievers hängt stark vom Inhalt ab.
  • Für narrative Texte (FinanceBench) performen Dense-Embeddings (E5) am besten.
  • Für tabellenbasierte Fragen (TableQuest) sind Late-Interaction-Modelle (ColBERT) überlegen, da sie Token-Level-Abgleiche besser handhaben.
  • Sparse-Hybrid-Modelle (SPLADE) bieten den besten Kompromiss für gemischte Workloads.
• RQ2 (Parser):
  • Für reinen Text ist pdfminer am besten.
  • Für tabellenreiche Dokumente ist pdfplumber überlegen (bessere Tabellenerkennung).
  • Unstructured (OCR-basiert) ist robust, aber extrem langsam.
  • Stabilität: pdfminer und pdfplumber zeigen die geringste Varianz bei unterschiedlichen Chunking-Strategien.
• RQ3 (Chunking):
  • Die Neural-Chunking-Strategie (modellgesteuert) erzielt die höchste Retrieval-Genauigkeit.
  • Eine moderate Überlappung von 25% (128 Tokens) ist optimal; 0% führt zu Kontextverlust, 50% erhöht nur die Indexgröße ohne signifikanten Gewinn.
  • Einfache Strategien wie „Sentence" sind eine kostengünstige Alternative mit fast gleichem Ergebnis.
• RQ4 (Synergie): Es gibt keine universell beste Kombination. Die besten Ergebnisse wurden durch pdfplumber + Sentence/Recursive Chunking (für Tabellen) und pdfminer + Recursive (für Text) erzielt. Komplexe, strukturbewusste Chunking-Methoden bringen keinen konsistenten Vorteil, wenn der Parser die Struktur nicht korrekt erfasst.
• RQ5 (LLM-Größe): Die Größe des LLM hat einen massiven Einfluss auf die Antwortqualität.
  • Kleine Modelle (<4B Parameter) versagen oft bei Finanzfragen (<20% Genauigkeit).
  • Mittlere Modelle (12B–27B) und proprietäre Modelle (GPT-5) erreichen deutlich höhere Genauigkeiten (bis zu 73% bei TableQuest).
  • Proprietäre Modelle haben einen klaren Vorteil, aber die Lücke zu großen Open-Source-Modellen schließt sich.

5. Bedeutung und Fazit

Die Studie demonstriert, dass für den Einsatz von RAG im Finanzsektor keine extrem komplexen oder teuren Komponenten zwingend erforderlich sind, um gute Ergebnisse zu erzielen.

• Praxisempfehlung: Eine Kombination aus einem leistungsfähigen Parser (pdfplumber für Tabellen), einer einfachen Chunking-Strategie (Sentence oder Neural) mit 25% Überlappung und einem geeigneten Retriever (SPLADE oder ColBERT) bietet ein hervorragendes Verhältnis von Genauigkeit und Effizienz.
• Skalierung: Während die Optimierung von Parsing und Chunking wichtig ist, bringt die Skalierung des LLMs (von klein auf mittel/groß) den größten Sprung in der Antwortkorrektheit.
• Reproduzierbarkeit: Alle Codes, Prompts, Datensätze und Konfigurationen sind öffentlich verfügbar, was die Reproduzierbarkeit und den Transfer in die Praxis fördert.

Zusammenfassend schließt das Paper eine wichtige Lücke im Verständnis von RAG-Pipelines für unstrukturierte Finanzdaten und liefert einen Fahrplan für die Entwicklung zuverlässiger, skalierbarer Automatisierungslösungen in der Finanzindustrie.