DocSplit: A Comprehensive Benchmark Dataset and Evaluation Approach for Document Packet Recognition and Splitting

Die Arbeit stellt DocSplit vor, den ersten umfassenden Benchmark-Datensatz mit neuen Evaluierungsmetriken, um die Fähigkeit von multimodalen Large Language Models zu testen, heterogene Dokumentenpakete in einzelne Einheiten zu zerlegen, was für zahlreiche branchenspezifische Anwendungen entscheidend ist.

Das Wesentliche

📚 Das große Dokumenten-Chaos: Warum „DocSplit" die Lösung ist

Stellen Sie sich vor, Sie kommen nach Hause und finden einen riesigen Haufen Papier auf Ihrem Esstisch. Aber es ist kein normaler Stapel. Es ist ein Chaos:

• Ein paar Seiten gehören zu Ihrem Steuerbescheid.
• Dazwischen liegen Seiten aus Ihrem Arztbrief.
• Dann wieder ein Rezept, gefolgt von einer Rechnung für den neuen Kühlschrank.
• Und das Schlimmste: Die Seiten sind nicht nur durcheinander gewürfelt, sondern mischweise. Seite 1 des Arztbriefs liegt neben Seite 5 der Steuererklärung, und Seite 2 des Arztbriefs liegt ganz unten unter der Rechnung.

In der echten Welt passiert genau das jeden Tag in Banken, Krankenhäusern und Anwaltskanzleien. Wenn Dokumente digitalisiert werden, landen sie oft als ein einziger, unordentlicher „Paket"-Stapel. Computer können zwar lesen, was auf einer einzelnen Seite steht, aber sie haben große Schwierigkeiten zu erkennen: „Wo hört dieses Dokument auf und wo fängt das nächste an?" und „In welcher Reihenfolge gehören die Seiten eigentlich?"

Hier kommt DocSplit ins Spiel.

🧩 Was ist DocSplit eigentlich?

DocSplit ist wie ein neuer, super-strenger Test für KI-Computer, die Dokumente verstehen sollen. Die Forscher von Amazon (AWS) haben gesagt: „Bisher haben wir nur getestet, ob eine KI ein einzelnes Blatt als 'Rechnung' erkennt. Aber das reicht nicht!"

Sie haben einen neuen Bewertungsmaßstab (Benchmark) geschaffen, der genau das prüft, was in der echten Welt schwer ist:

1. Das Trennen: Kann die KI den Stapel in die richtigen einzelnen Dokumente zerlegen?
2. Das Sortieren: Kann sie die Seiten wieder in die richtige Reihenfolge bringen?
3. Das Erkennen: Weiß sie, ob es ein Arztbrief oder eine Rechnung ist?

🎲 Die fünf verschiedenen „Chaos-Szenarien"

Um zu testen, wie gut eine KI ist, haben die Forscher fünf verschiedene Arten von „Papier-Chaos" erstellt. Man kann sich das wie verschiedene Levels in einem Videospiel vorstellen:

1. Level 1: Der monotone Stapel (Mono-Seq)
   • Szenario: Alle Seiten gehören zu Rechnungen, aber sie sind einfach aneinandergereiht.
   • Herausforderung: Die KI muss erraten, wo die erste Rechnung aufhört und die zweite beginnt, obwohl alles gleich aussieht.
2. Level 2: Der durcheinander gewürfelte Stapel (Mono-Rand)
   • Szenario: Wie Level 1, aber alle Seiten sind komplett durcheinander gewürfelt.
   • Herausforderung: Die KI muss die Seiten wieder sortieren wie bei einem Puzzle, bei dem man die Ecken sucht.
3. Level 3: Der gemischte Stapel (Poly-Seq)
   • Szenario: Rechnungen, Briefe und Formulare liegen in der richtigen Reihenfolge, aber gemischt.
   • Herausforderung: Die KI muss erkennen: „Aha, hier wechselt das Thema von Rechnung zu Brief".
4. Level 4: Der verflochtene Stapel (Poly-Int)
   • Szenario: Das ist das „Zick-Zack"-Chaos. Seite 1 ist eine Rechnung, Seite 2 ein Brief, Seite 3 wieder eine Rechnung.
   • Herausforderung: Die KI muss wie ein Detektiv herausfinden, welche Seiten zusammengehören, obwohl sie sich abwechseln.
5. Level 5: Das totale Chaos (Poly-Rand)
   • Szenario: Alles ist komplett zufällig gemischt. Keine Struktur, keine Hinweise.
   • Herausforderung: Das ist der „Boss-Kampf". Die KI muss nur aus dem Inhalt der Seiten raten, was zusammengehört.

📏 Wie misst man den Erfolg? (Der neue Maßstab)

Bisher haben Forscher oft nur gesagt: „Richtig oder Falsch". Das ist wie bei einem Schulfach: Wenn du eine Aufgabe fast richtig hast, aber einen kleinen Fehler machst, bekommst du trotzdem eine 6. Das ist unfair.

DocSplit führt eine neue Art der Benotung ein:

• Die Gruppierungs-Bewertung: Wie gut hat die KI die Seiten in die richtigen Häufchen geteilt? (Auch wenn sie die Reihenfolge noch nicht perfekt hat).
• Die Reihenfolge-Bewertung: Wie gut hat sie die Seiten sortiert?
• Der Gesamtscore: Eine Mischung aus beiden.

Das Bild: Stellen Sie sich vor, Sie sortieren eine Schublade voller Socken.

• Alte Methode: Wenn Sie einen Socken falsch zuordnen, ist die ganze Schublade „falsch".
• DocSplit-Methode: „Gut, dass Sie 90 % der Socken richtig gepaart haben! Aber bei der Reihenfolge im Fach haben Sie noch etwas zu tun." Das gibt ein viel genaueres Bild davon, wie gut die KI wirklich ist.

🤖 Was haben die Tests ergeben?

Die Forscher haben die besten aktuellen KI-Modelle (wie Claude, Qwen, DeepSeek) auf diesen Tests geprüft. Das Ergebnis war ernüchternd, aber aufschlussreich:

• Die KI kann lesen, aber nicht gut sortieren. Die Modelle waren sehr gut darin, die Seiten in die richtige Reihenfolge zu bringen, sobald sie wussten, welche Seite zu welchem Dokument gehört.
• Das große Problem ist das „Trennen". Die größte Schwäche der KIs liegt darin, zu erkennen, wo ein Dokument aufhört und das nächste beginnt, besonders wenn die Seiten durcheinander sind.
• Der Unterschied ist riesig. Bei einfachen Aufgaben waren die KIs fast perfekt. Bei den „totally chaotic" Aufgaben (Level 5) brachen die Leistungen jedoch stark ein.

🚀 Warum ist das wichtig?

Stellen Sie sich vor, Sie sind ein Arzt und müssen Ihre Patientenakte prüfen. Wenn die KI die Seiten falsch sortiert, könnte sie die Laborergebnisse von Patient A den Röntgenbildern von Patient B zuordnen. Das wäre katastrophal.

DocSplit hilft uns zu verstehen, wo die KI noch „dumm" ist, damit wir sie besser trainieren können. Es ist wie ein Trainingslager für KI, damit sie eines Tages nicht nur einzelne Blätter lesen, sondern ganze Aktenordner verstehen und automatisch aufräumen kann.

Zusammenfassend: DocSplit ist der erste große Maßstab, der uns zeigt, wie gut Computer wirklich darin sind, das große, chaotische Papier-Chaos der echten Welt in geordnete, logische Dokumente zu verwandeln. Und aktuell haben die Computer noch eine Menge zu lernen!

Technische Zusammenfassung

1. Problemstellung

In realen Anwendungen der Dokumentenverarbeitung (z. B. im Finanzwesen, Gesundheitswesen oder Recht) werden häufig heterogene Dokumentenpakete erhalten, die aus mehreren, lose zusammengefügten Dokumenten bestehen. Diese Pakete enthalten oft:

• Ungeordnete Seiten: Seiten aus verschiedenen Dokumenten sind durcheinander gewürfelt.
• Verschachtelte Dokumente: Seiten mehrerer Dokumente sind interleaved (im Wechsel angeordnet).
• Fehlende Trennzeichen: Dokumente ohne klare visuelle oder strukturelle Abgrenzungen.
• Duplikate und Lücken: Durch manuelle Zusammenstellung oder Scan-Prozesse entstehen Fehler.

Bisherige Ansätze im Bereich des „Visual Document Understanding" (VDU) konzentrieren sich meist auf die Klassifizierung einzelner Seiten oder die Extraktion von Informationen aus einem einzigen Dokument. Die fundamentale Aufgabe, ein solches Paket in seine logischen Bestandteile zu zerlegen (Document Packet Splitting), bleibt weitgehend unbeachtet. Es fehlen sowohl umfassende Benchmark-Datensätze als auch geeignete Evaluationsmetriken, um die Fähigkeit von Large Language Models (LLMs) zu messen, diese komplexen Trennungs- und Sortieraufgaben zu lösen.

2. Methodik und Ansatz

A. Formalisierung der Aufgabe (DocSplit)

Die Autoren definieren die DocSplit-Aufgabe als Transformation einer Eingabesequenz von $N$ Seiten in eine strukturierte Repräsentation. Die Ziele sind:

1. Grenzerkennung (Boundary Detection): Identifikation von Start- und Endseiten für jedes Dokument im Paket.
2. Klassifizierung: Bestimmung des Dokumenttyps für jedes erkannte Dokument.
3. Seitenreihenfolge (Page Ordering): Wiederherstellung der korrekten sequenziellen Anordnung der Seiten innerhalb jedes Dokuments.

Mathematisch wird dies als ein Partitionierungsproblem (Clustering) kombiniert mit einem Ranking-Problem (Reihenfolge) formuliert.

B. Der DocSplit-Benchmark-Datensatz

Die Autoren stellen den ersten umfassenden Benchmark für diese Aufgabe vor, der auf dem RVL-CDIP-MP-Datensatz basiert und 52.600 Dokumente mit insgesamt 1,55 Millionen Seiten umfasst. Der Datensatz ist in fünf Varianten unterteilt, die unterschiedliche Schwierigkeitsgrade abbilden:

1. DocSplit-Mono-Seq: Dokumente desselben Typs werden sequenziell angehängt (keine Typ-Übergänge als Hinweis).
2. DocSplit-Mono-Rand: Wie oben, aber die Seiten sind zufällig gemischt (Test der Sequenz-Rekonstruktion).
3. DocSplit-Poly-Seq: Dokumente verschiedener Typen werden sequenziell angehängt (Test der Grenzenerkennung bei Typwechseln).
4. DocSplit-Poly-Int: Seiten verschiedener Dokumenttypen sind im Wechsel angeordnet (Round-Robin-Interleaving).
5. DocSplit-Poly-Rand: Vollständige Zufallsanordnung aller Seiten (Maximale Entropie, Worst-Case-Szenario).

C. Evaluierungs-Framework

Ein zentraler Beitrag ist die Entwicklung neuer Metriken, die über einfache binäre „Richtig/Falsch"-Vergleiche hinausgehen:

• Clustering-Metriken: Kombination aus Rand Index (RI) und V-Maß (Harmonisches Mittel aus Homogenität und Vollständigkeit), um die Qualität der Gruppierung von Seiten zu messen.
• Ordnungs-Metriken: Verwendung des Kendall's Tau-Koeffizienten ($\tau$), um die Korrelation zwischen der vorhergesagten und der tatsächlichen Seitenreihenfolge zu bewerten.
• Kombinierter Score ($S_{packet}$): Ein gewichteter Score ($\alpha \cdot S_{clustering} + \beta \cdot S_{ordering}$), der eine granulare Bewertung ermöglicht. Im Gegensatz zu klassischen Metriken, die bei einem einzigen Fehler das gesamte Ergebnis als falsch bewerten, erlaubt dieses Framework die Vergabe von „Teilpunkten" für fast korrekte Vorhersagen.

3. Wichtige Beiträge

1. Erster umfassender Benchmark: Einführung von DocSplit als erste umfassende Benchmark-Suite speziell für das Zerlegen von Dokumentenpaketen.
2. Formale Definition: Präzise mathematische Formulierung der Aufgabe, die Clustering und Sequenzierung gleichzeitig betrachtet.
3. Diverse Datensätze: Bereitstellung von fünf Datensätzen mit variierender Komplexität (einfache Sequenzen bis hin zu vollständig zufälligen, verschachtelten Paketen) und multimodalen Settings.
4. Neuartiges Evaluierungs-Framework: Entwicklung eines Metrik-Systems, das partielle Korrektheit quantifiziert und die Trennung von Clustering-Fähigkeiten und Ordnungs-Fähigkeiten ermöglicht.
5. Benchmarking von SOTA-Modellen: Umfassende Evaluation moderner multimodaler LLMs (Claude Sonnet/Haiku, DeepSeek, Gemma, Qwen) auf diesen Aufgaben.

4. Ergebnisse und Diskussion

Die Experimente wurden mit fünf führenden Vision-Language-Modellen durchgeführt. Die wichtigsten Erkenntnisse sind:

• Leistungsunterschiede: Qwen 3 VL erzielte konsistent die besten Ergebnisse (Paket-Scores zwischen 0,92 und 0,95), gefolgt von Claude Sonnet und DeepSeek. Gemma 3 zeigte die schwächste Leistung, insbesondere beim Clustering (Scores um 0,56), obwohl die Ordnungs-Metriken hoch waren.
• Haupt-Herausforderung: Die größte Leistungsbarriere ist die Grenzerkennung (Clustering), nicht die Seitenreihenfolge. Sobald die Dokumente korrekt gruppiert sind, können die Modelle die Reihenfolge oft sehr gut wiederherstellen (Ordnungs-Scores > 0,97).
• Einfluss der Komplexität:
  • Bei homogenen Paketen (Mono-Seq) liegen die Scores über 0,93.
  • Bei zufälliger Mischung (Poly-Rand) sinken die Scores, insbesondere bei schwächeren Modellen, um 20–30 %.
  • Die Fähigkeit, Dokumente desselben Typs zu trennen (z. B. zwei aufeinanderfolgende Rechnungen), stellt eine besondere Herausforderung dar.
• Überlegenheit der neuen Metriken: Klassische Metriken (wie „Page+Split Accuracy") bewerten fast korrekte Ergebnisse oft als komplettes Versagen (0 %). Die vorgeschlagenen Metriken zeigen hingegen, dass Modelle oft eine gute Struktur erkennen, aber bei der Feinjustierung (z. B. falsches Labeling einer Seite) scheitern. Dies liefert wertvolle diagnostische Einblicke.

5. Bedeutung und Ausblick

Das Paper adressiert eine kritische Lücke in der intelligenten Dokumentenverarbeitung (IDP). Die Fähigkeit, komplexe, gemischte Dokumentenpakete automatisch zu zerlegen, ist essenziell für effiziente Workflows in Hochrisikobereichen wie:

• Versicherungen: Verarbeitung von Schadensmeldungen mit medizinischen Unterlagen.
• Bankwesen: Kreditanträge mit unterlegten Verträgen und Ausweisen.
• Rechtswesen: Entdeckung von Beweismitteln (Discovery) in großen Aktenmengen.

Signifikanz:

• Forschungsfortschritt: DocSplit bietet einen standardisierten Rahmen, um Fortschritte in der Dokumentenverarbeitung objektiv zu messen.
• Praxisrelevanz: Die Ergebnisse zeigen, dass aktuelle allgemeine Multimodal-Modelle zwar vielversprechend sind, aber für diese spezifische Aufgabe noch erhebliche Verbesserungen benötigen, insbesondere beim Verständnis von Dokumentenstrukturen über mehrere Seiten hinweg.
• Open Source: Die Veröffentlichung der Datensätze, des Evaluierungs-Codes und der Konfigurationen ermöglicht der Forschungscommunity, diese Aufgaben systematisch weiterzuentwickeln.

Zusammenfassend legt DocSplit den Grundstein für die nächste Generation von Dokumentenverarbeitungssystemen, die nicht nur Inhalte extrahieren, sondern komplexe Dokumentenstrukturen in realen, unordentlichen Szenarien verstehen und rekonstruieren können.