Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

1. Problemstellung

Die Handschrifterkennung (HTR – Handwriting Text Recognition) bleibt eine herausfordernde Aufgabe, insbesondere für reale Anwendungen. Bestehende State-of-the-Art-Modelle erfordern meist ein Fine-Tuning auf gelabelten Daten, was in der Praxis oft zu teuer und zeitaufwendig ist. Zero-Shot-Alternativen wie kommerzielle OCR-Engines (z. B. Azure Vision, Google Cloud Vision) oder Multi-Modal Large Language Models (MLLMs) wie GPT-4O sind verfügbar, weisen jedoch spezifische Schwächen auf:

• Kontextverlust: Die meisten Tools verarbeiten Dokumente seitenweise. Da echte handschriftliche Dokumente oft mehrere Seiten umfassen, gehen wichtige gemeinsame Kontexte (Schreibstil, semantischer Inhalt, Formatierung) zwischen den Seiten verloren.
• Fehleranfälligkeit: Reine OCR-Systeme liefern oft verrauschte Ausgaben. MLLMs als End-to-End-Lösung neigen zu Halluzinationen (Erfinden von Text) und sind bei der Verarbeitung ganzer Dokumentenbilder aufgrund des hohen Token-Verbrauchs teuer.
• Fehlende empirische Forschung: Es gibt kaum Studien, die verschiedene Prompting-Strategien für MLLMs im Kontext der zero-shot, mehrseitigen Handschrifterkennung vergleichen, insbesondere wie man OCR-Ergebnisse und Bildinformationen optimal kombiniert.

2. Methodik

Die Autoren untersuchen eine Suite von Methoden, die OCR, LLM-Nachbearbeitung und MLLM-End-to-End-Transkription kombinieren. Der Kern der Arbeit liegt in der Entwicklung und Evaluierung neuer Prompting-Strategien, die den Kontext über Seiten hinweg nutzen, ohne alle Bilder einzuspeisen.

Kern-Methoden: OCR+PAGE1 und OCR+PAGEN

Die vorgeschlagenen Methoden basieren auf der Annahme, dass sich Handschrift, Stil und semantische Inhalte über die Seiten eines Dokuments hinweg wiederholen. Statt alle Bilder eines Dokuments an das MLLM zu senden, wird nur ein einziges Bild (eine „repräsentative Seite") zusammen mit der OCR-Transkription des gesamten Dokuments bereitgestellt.

• OCR+PAGE1: Das MLLM erhält die OCR-Texte aller Seiten sowie das Bild der ersten Seite. Das Modell lernt im Kontext (In-Context Learning), wie die Handschrift auf Seite 1 aussieht und korrigiert basierend darauf die OCR-Fehler auf den anderen Seiten.
• OCR+PAGEN: Eine verfeinerte Variante, bei der ein kleines, kostengünstiges LLM basierend auf dem OCR-Text die „versprechendste" Seite (z. B. eine Seite mit viel Text oder spezifischen Eigennamen) auswählt. Das Bild dieser ausgewählten Seite wird dann zusammen mit dem gesamten OCR-Text an das Haupt-MLLM gesendet.

Hypothese: Ein einzelnes Bild reicht aus, um dem MLLM zu zeigen, wie der Schreiber schreibt und wie OCR-Fehler typischerweise aussehen (z. B. Verwechslung von 'l' und '1'). Das MLLM kann diese Muster auf die „unsichtbaren" Seiten übertragen, um die OCR-Ausgabe zu korrigieren. Dies reduziert die Token-Kosten und die Prompt-Komplexität erheblich im Vergleich zur Eingabe aller Bilder.

Vergleichsmethoden

Zur Evaluierung wurden folgende Ansätze gegenübergestellt:

• PBP (Page-by-Page): Verarbeitung jeder Seite einzeln (z. B. nur OCR, nur Bild, oder Bild+OCR pro Seite).
• AAO (All-at-Once): Eingabe aller Bilder oder aller OCR-Texte auf einmal.
• OCR+IMAGES: Eingabe aller Bilder und aller OCR-Texte (hohe Kosten, hoher Kontext).

3. Wichtige Beiträge

1. Benchmark für mehrseitige Dokumente: Einführung eines umfassenden Benchmarks für mehrseitige handschriftliche Dokumente, bestehend aus:
   • Malvern-Hills: Ein neues, von den Autoren erstelltes Dataset aus Archivmaterial einer britischen Wohltätigkeitsorganisation (1889–1938), das historische Meeting-Protokolle und Korrespondenz in altertümlicher Handschrift enthält.
   • IAM: Eine synthetische Erweiterung des bekannten IAM-Datensatzes zu mehrseitigen Dokumenten.
   • Bentham: Mehrseitige Dokumente des Philosophen Jeremy Bentham.
   • CASIA-5: Ein chinesisches Handwriting-Dataset (zur Evaluierung der Generalisierung auf nicht-lateinische Schrift).
2. Neue Prompting-Strategien: Die Einführung von OCR+PAGE1 und OCR+PAGEN, die zeigen, dass ein einzelnes Bild in Kombination mit OCR-Texten ausreicht, um die Genauigkeit zu maximieren.
3. Umfassende Evaluation: Die erste empirische Studie, die kommerzielle OCR-Engines, Open-Source-Modelle (Gemma, TROCR) und führende MLLMs (GPT-4O, Gemini 2.5 Pro) in einem zero-shot, mehrseitigen Szenario vergleicht.

4. Ergebnisse

Die Experimente wurden auf den oben genannten Datensätzen mit Modellen wie GPT-4O, Gemini 2.5 Pro und Gemma-3-27B durchgeführt. Die Metriken umfassten die Character Error Rate (CER) und eine semantische Fehleranalyse (Unterscheidung zwischen „Minor"- und „Major"-Fehlern).

• Leistungsführerschaft: Überraschenderweise schnitten OCR+PAGE1 und OCR+PAGEN auf allen Datensätzen am besten ab (oder lagen gleichauf mit den besten Methoden).
• Kosten-Nutzen-Verhältnis: Diese Methoden erreichten eine höhere Genauigkeit als reine OCR-Methoden und oft sogar als Methoden, die alle Bilder des Dokuments verwendeten (OCR+IMAGES), bei deutlich geringeren Kosten und Token-Verbrauch.
  • Auf dem IAM-Datensatz erreichte OCR+PAGE1 mit GPT-4O eine CER von 0,85 %, während OCR+IMAGES bei 0,72 % lag, aber fast doppelt so teuer war.
  • Auf dem schwierigen Malvern-Hills-Datensatz (altertümliche Handschrift) war OCR+PAGE1 mit Gemini 2.5 Pro (5,83 % CER) besser als reine Bildverarbeitung (6,42 % CER) und deutlich besser als reiner OCR (7,47 % CER).
• Robustheit: Die Methoden funktionierten auch bei längeren Dokumenten (bis zu 13 Seiten) und bei Dokumenten mit inkonsistentem Schreibstil (z. B. IAM-5-Random) gut, wobei der Vorteil bei schwierigeren Dokumenten (altertümliche Sprache) noch ausgeprägter war.
• Generalisierung: Die Ergebnisse übertrugen sich erfolgreich auf chinesische Handschriften (CASIA-5), was die Effektivität der Strategie auch für nicht-lateinische Schriften unterstreicht.
• Open-Source-Baselines: Bekannte Open-Source-Modelle wie TROCR oder DOCOWL2 schnitten im Zero-Shot-Setting auf diesen komplexen mehrseitigen Dokumenten schlecht ab (hohe CER, viele Halluzinationen).

5. Bedeutung und Fazit

Das Paper demonstriert, dass für die Transkription mehrseitiger handschriftlicher Dokumente im Zero-Shot-Modus nicht die Eingabe aller Dokumentenbilder notwendig ist. Stattdessen ist es effizienter und effektiver, ein einzelnes repräsentatives Bild zu nutzen, um dem MLLM den Schreibstil und die Fehlermuster der OCR zu vermitteln.

• Praktische Relevanz: Die vorgeschlagenen Methoden (OCR+PAGE1/PAGEN) bieten einen optimalen Kompromiss zwischen Transkriptionsgenauigkeit, Prompt-Komplexität und Kosten. Sie sind besonders wertvoll für die Digitalisierung historischer Archive, wo Daten oft mehrseitig, verrauscht und in verschiedenen Stilen vorliegen.
• Paradigmenwechsel: Die Arbeit zeigt, dass MLLMs als intelligente Korrekturen für OCR genutzt werden können, indem sie visuelle Hinweise aus nur einer Seite extrapolieren, anstatt als reine End-to-End-Transkriptionsmaschinen, die teuer und fehleranfällig sind.

Zusammenfassend liefert das Paper einen neuen Standard für die Bewertung von MLLMs in der HTR und stellt mit Malvern-Hills und den neuen Prompting-Strategien wertvolle Werkzeuge für die Forschung und Praxis bereit.