NovaLAD: A Fast, CPU-Optimized Document Extraction Pipeline for Generative AI and Data Intelligence

NovaLAD ist eine schnelle, CPU-optimierte Dokumentenextraktionspipeline, die durch den parallelen Einsatz von YOLO-Modellen, einer intelligenten Bildklassifizierung und optionalen Vision-Language-Modellen strukturierte Ausgaben für Generative KI erzeugt und dabei Benchmark-Ergebnisse erzielt, die sowohl kommerzielle als auch Open-Source-Lösungen übertreffen.

Das Wesentliche

NovaLAD: Der schnelle, cleere Übersetzer für Papierberge

Stellen Sie sich vor, Sie haben einen riesigen Stapel alter Akten, Fotos, Tabellen und handschriftlicher Notizen. Sie wollen, dass eine künstliche Intelligenz (KI) diese Informationen versteht, um Fragen zu beantworten oder Zusammenfassungen zu schreiben. Aber die KI kann nicht einfach "hineinschauen" – sie braucht die Daten in einer sauberen, strukturierten Form.

Das ist das Problem, das NovaLAD löst. Es ist wie ein Super-Detektiv, der einen chaotischen Dokumentenhaufen in eine perfekt sortierte Bibliothek verwandelt – und das alles auf einem ganz normalen Computer (ohne teure Grafikkarten).

Hier ist, wie NovaLAD funktioniert, Schritt für Schritt:

1. Der Doppel-Augenblick: Zwei Detektive gleichzeitig

Wenn NovaLAD eine Seite eines Dokuments bekommt, schickt es sie nicht durch einen einzelnen Scanner. Stattdessen schaltet es zwei verschiedene Detektive gleichzeitig ein (die sogenannten YOLO-Modelle):

• Detektiv A (Der Strukturbauer): Er schaut nicht auf den Inhalt, sondern auf das Gerüst. Er sucht nach Regalen, Spalten und Abschnitten. "Ah, hier ist eine Spalte, dort eine Überschrift, und das hier ist eine ganze Tabelle!" Er versteht das Layout.
• Detektiv B (Der Inhaltssammler): Er sucht nach den Schatzen. "Das ist ein Titel, das ist ein Bild, das ist eine Liste!" Er markiert genau, wo Text, Bilder oder Tabellen stehen.

Die Analogie: Stellen Sie sich vor, Sie betreten ein neues Zimmer. Der erste Detektiv misst die Wände und findet die Möbelgruppen (Struktur). Der zweite Detektiv zählt die Bücher auf dem Tisch und die Bilder an der Wand (Inhalt). Beide arbeiten gleichzeitig, was viel schneller ist, als wenn sie nacheinander kommen würden.

2. Der Türsteher: Wichtige Bilder vs. Deko

Nicht jedes Bild auf einer Seite ist wichtig. Manche sind nur Logos, Verzierungen oder Platzhalter. Wenn eine KI versucht, jedes einzelne dieser Bilder zu analysieren, wird es teuer und langsam.

NovaLAD hat einen intelligenten Türsteher (einen Bildklassifizierer):

• Er prüft jedes gefundene Bild.
• Ist es ein wichtiges Diagramm, eine Tabelle oder eine Infografik? -> Rein! (Der Türsteher winkt durch).
• Ist es nur ein dekoratives Logo oder ein leeres Feld? -> Raus! (Der Türsteher blockiert es).

Warum das toll ist: Die KI muss nur die wirklich wertvollen Bilder "lesen". Das spart enorm viel Geld und Zeit, genau wie ein Bibliothekar, der nur die interessanten Bücher aus dem Regal holt und die leeren Deko-Vasen ignoriert.

3. Der Puzzle-Meister: Alles in die richtige Reihenfolge

Nachdem die Teile gefunden und gefiltert wurden, muss NovaLAD sie in die richtige Lesereihenfolge bringen. Das ist bei mehrspaltigen Zeitungen oder komplexen Tabellen oft schwierig.

NovaLAD nutzt eine cleere Logik:

• Es gruppiert Elemente, die zusammengehören (wie eine ganze Zeile in einer Tabelle).
• Es sortiert sie von oben nach unten und von links nach rechts, genau wie ein Mensch es lesen würde.
• Es erkennt, was ein Kopfzeile ist und was ein Fußzeile, damit diese nicht mitten im Text stehen bleiben.

Die Analogie: Stellen Sie sich vor, Sie haben einen Haufen Puzzleteile, die durcheinander geworfen wurden. NovaLAD sortiert sie nicht nur nach Farbe, sondern baut sofort das richtige Bild auf, damit Sie es lesen können, ohne raten zu müssen.

4. Der Übersetzer: Von "Bild" zu "Verstehbarem Text"

Jetzt kommt der letzte Schliff.

• Text: Wenn der Text im PDF noch als echter Text gespeichert ist, wird er einfach kopiert (sehr schnell).
• Bilder & Tabellen: Wenn es ein Bild ist, liest NovaLAD den Text darin (OCR).
• Der Extra-Schritt (Optional): Wenn ein Bild sehr komplex ist (z. B. ein Kurvendiagramm), kann NovaLAD eine starke KI (Vision LLM) fragen: "Was sagt dieses Bild aus? Fasse es zusammen." Aber – und das ist wichtig – nur für die Bilder, die der Türsteher als "wichtig" eingestuft hat.

5. Das Ergebnis: Alles in einem Rutsch

Am Ende gibt NovaLAD nicht nur einen Text aus. Es spuckt gleichzeitig vier verschiedene Formen aus:

1. Strukturierte Daten (JSON): Für Computer, die damit weiterarbeiten müssen.
2. Markdown: Für Menschen, die es schön formatiert lesen wollen.
3. RAG-Blöcke: Spezielle Textstücke, die perfekt für KI-Chats (wie Chatbots) geeignet sind.
4. Wissensgraph: Eine Art Landkarte, die zeigt, wie die Informationen im Dokument miteinander verbunden sind.

Warum ist NovaLAD so besonders?

• Schnell wie ein Blitz: Es nutzt Parallelverarbeitung. Statt einen Schritt nach dem anderen abzuarbeiten, macht es viele Dinge gleichzeitig.
• CPU-freundlich: Die meisten modernen KI-Tools brauchen teure Grafikkarten (GPUs). NovaLAD läuft hervorragend auf ganz normalen Prozessoren (CPUs). Das macht es günstig und überall einsetzbar, auch in abgeschotteten Büros ohne Internet.
• Genau: Auf Tests (dem DP-Bench) hat NovaLAD besser abgeschnitten als viele teure kommerzielle Anbieter und andere Open-Source-Tools. Es versteht Tabellen und Layouts fast perfekt.

Fazit

NovaLAD ist wie ein hochmoderner, aber sparsamer Sekretär, der Ihnen hilft, den Chaos aus Papier und PDFs zu bändigen. Er sortiert, filtert unnötiges Gekritzel heraus, ordnet alles logisch und gibt Ihnen das Ergebnis in genau dem Format, das Sie brauchen – und das alles, ohne dass Sie eine teure Hardware kaufen müssen. Er ist der Schlüssel, damit KI wirklich aus Dokumenten lernen kann.

Technische Zusammenfassung

1. Problemstellung

Die Extraktion von Daten aus unstrukturierten Dokumenten (wie PDFs, gescannten Bildern oder Office-Dateien) ist ein kritischer Engpass für Anwendungen im Bereich Generative AI, Retrieval-Augmented Generation (RAG) und Data Intelligence.

• Herausforderungen: Herkömmliche Parser scheitern oft an komplexen Layouts, mehrspaltigen Texten, Tabellen und Bildern. Fehlerhafte Extraktion führt zu falscher Reihenfolge (Reading Order), verlorenen Strukturen (Überschriften, Listen) und Duplikaten.
• Folgen: Dies verschlechtert die Qualität von RAG-Antworten erheblich, erhöht Halluzinationen und erfordert manuelle Nachbearbeitung für Datenanalysen.
• Limitationen bestehender Lösungen: Kommerzielle APIs (AWS, Google, Microsoft) sind teuer, oft langsam und benötigen Cloud-Infrastrukturen (GPUs). Open-Source-Lösungen bieten oft nicht die gleiche Genauigkeit oder Flexibilität bei der Ausgabeformatierung.

2. Methodik: Die NovaLAD-Architektur

NovaLAD ist eine End-to-End-Pipeline, die darauf ausgelegt ist, Dokumente in strukturierte, layoutbewusste Repräsentationen umzuwandeln. Das System zeichnet sich durch eine parallele Verarbeitung und CPU-Optimierung aus.

A. Parallele Dual-YOLO-Erkennung (Stage 1)

Anstatt sequentiell vorzugehen, werden zwei YOLOv10-Modelle gleichzeitig auf demselben gerenderten Seitenbild (300 DPI) ausgeführt:

1. Layout-Erkennung (Layout Detection): Identifiziert strukturelle Regionen wie layout_box, column_group, multi_column, row_group und group. Dies dient der räumlichen Organisation.
2. Element-Erkennung (Element Detection): Identifiziert semantische Inhalte wie title, header, text, list_item, table, image und caption.

B. Bildklassifizierung und Filterung (Stage 2)

Ein entscheidendes Design-Element ist die Filterung von Bildern/Figuren:

• Ein Vision Transformer (ViT)-Klassifikator (fine-tuned google/vit-base-patch16-224-in21k) bewertet jedes erkannte Bild als „Nützlich" (Useful) oder „Unnötig" (Useless).
• Nützlich: Diagramme, Flussdiagramme, Datenvisualisierungen.
• Unnötig: Dekorative Grafiken, Logos, Platzhalter.
• Effekt: Nur „nützliche" Bilder (und alle Tabellen) werden an ein Vision-Language-Modell (LLM) weitergeleitet. Dies reduziert Kosten und Rauschen drastisch, da das LLM nicht für jede dekorative Grafik aufgerufen wird.

C. Integration und OCR (Stage 3 & 4)

• Layout-Integration: Die erkannten Elemente werden den Layout-Regionen zugeordnet. Ein DBSCAN-Clustering und geometrisches Sortieren ordnen Elemente in Mehrspalten-Layouts korrekt an.
• Hybride Textextraktion:
  • Für Text-Elemente wird die native PDF-Textebene (via PyMuPDF) genutzt, um OCR-Fehler zu vermeiden.
  • Für Tabellen und Bilder (oder wenn keine Textebene vorhanden ist) wird EasyOCR auf den zugeschnittenen Bildbereichen angewendet.
• Textnormalisierung: Bereinigung von Sonderzeichen, Normalisierung von Aufzählungszeichen und Entfernen von Whitespaces.

D. LLM-basierte Anreicherung (Optional, Stage 5)

Für gefilterte „nützliche" Bilder und Tabellen wird ein Vision-LLM (z. B. GPT-4o-mini) aufgerufen, um Titel, Zusammenfassungen und strukturierte Daten (z. B. Listen von Dictionaries für Tabellen) zu extrahieren. Dies geschieht parallel pro Seite.

E. Ausgabe und Serialisierung (Stage 6)

Das System generiert parallel mehrere Ausgabeformate aus einer einzigen JSON-Struktur:

1. Strukturiertes JSON: DP-Bench-kompatibel.
2. Markdown: Layout-erhaltende Darstellung für menschliche Lesbarkeit.
3. RAG-Chunks: Drei Arten von Chunks (seitenbasiert, header-basiert, elementbasiert) für Vektordatenbanken.
4. Wissensgraph: Ein Graph mit Knoten für Datei, Seiten und Elemente sowie Kanten für Hierarchie und Reihenfolge.

3. Schlüsselbeiträge

• CPU-Optimierung: Das gesamte System (YOLOv10, ViT, OCR, Klassifizierung) läuft effizient auf CPUs ohne zwingende GPU-Abhängigkeit, was Kosten senkt und den Einsatz in isolierten Umgebungen ermöglicht.
• Parallele Architektur: Durch die gleichzeitige Ausführung von Detektion, Klassifizierung und Konvertierung wird die Latenz minimiert.
• Intelligente Filterung: Der ViT-Klassifikator als „Gatekeeper" für das LLM reduziert API-Kosten und verbessert die Datenqualität, indem irrelevante Bilder ausgeschlossen werden.
• Vielseitige Ausgabe: Gleichzeitige Generierung von JSON, Markdown, RAG-Chunks und Knowledge Graphs aus einem einzigen Lauf.
• Layout-Bewusste Gruppierung: Ein Algorithmus zur korrekten Reihenfolge in Mehrspalten- und Tabellenlayouts ohne zusätzliche Lerneinheiten.

4. Ergebnisse und Evaluation

Die Leistung wurde auf dem öffentlichen DP-Bench (upstage/dp-bench) Benchmark evaluiert.

• Metriken:
  • TEDS (Tree Edit Distance-based Similarity): Misst die Ähnlichkeit von Tabellenstrukturen.
  • NID (Normalized Indel Distance): Misst die Genauigkeit der Reihenfolge und des Layouts.
• Ergebnisse von NovaLAD:
  • TEDS: 96,49 % (State-of-the-Art)
  • NID: 98,51 % (State-of-the-Art)
• Vergleich: NovaLAD übertrifft sowohl kommerzielle Anbieter (AWS Textract, Google Document AI, Microsoft Azure) als auch führende Open-Source-Lösungen (Unstructured, Llamaparse, Upstage) in beiden Metriken.
• Geschwindigkeit: Die durchschnittliche Verarbeitungszeit pro Dokument beträgt ca. 8,50 Sekunden. Obwohl dies etwas langsamer ist als die schnellsten APIs, bietet es eine vollständige Kontrolle und läuft ohne GPU.

5. Bedeutung und Fazit

NovaLAD demonstriert, dass eine hochpräzise, layoutbewusste Dokumentenextraktion nicht zwingend teure GPU-Infrastruktur oder proprietäre Cloud-APIs erfordert.

• Für RAG und Generative AI: Durch die Bereitstellung von korrekter Reihenfolge, sauberen Tabellen und kontextuellen Zusammenfassungen von Bildern wird die Eingabequalität für nachgelagerte KI-Modelle massiv verbessert.
• Für die Industrie: Die CPU-Optimierung macht die Technologie für Unternehmen zugänglich, die Datenschutzanforderungen (Air-Gapping) oder Budgetbeschränkungen haben.
• Zukunft: Der Ansatz zeigt, dass die Kombination aus schneller Objekterkennung (YOLO), effizienter Klassifizierung (ViT) und selektiver LLM-Nutzung ein skalierbares Paradigma für die Dokumentenintelligenz darstellt.

Der Code ist unter https://github.com/novaladai/novalad verfügbar.