Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

Probleemstelling

Handgeschreven tekstherkenning (HTR) blijft een uitdagende taak, vooral voor real-world scenario's. Bestaande methoden hebben vaak behoefte aan fijnafstemming (fine-tuning) op gelabelde data, wat in de praktijk te duur en tijdrovend is om te verkrijgen. Alternatieven zoals OCR-machines of Multi-Modal Large Language Models (MLLMs) worden vaak gebruikt, maar hebben beperkingen:

1. Contextverlies: De meeste bestaande tools verwerken documenten pagina-voor-pagina. Hierdoor gaat gedeelde context verloren, zoals schrijfstijl, semantische samenhang en visuele artefacten die over meerdere pagina's heen consistent zijn.
2. Beperkte modale benutting: MLLMs worden vaak gebruikt als puur tekstuele post-processors (zonder beeld) of als end-to-end transcribenten (alleen beeld). Er is weinig onderzoek gedaan naar het combineren van OCR-uitvoer en beeldinput op een slimme manier voor multi-pagina documenten.
3. Kosten en hallucinaties: End-to-end transcripities met MLLMs kunnen duur zijn (vanwege tokenkosten voor afbeeldingen) en vatbaar voor hallucinaties (het genereren van "redelijke" maar onjuiste tekst).

Methodologie

De auteurs onderzoeken een reeks methoden voor zero-shot transcripities van multi-pagina handgeschreven documenten. Ze introduceren twee nieuwe prompt-strategieën die de kern vormen van hun aanpak: OCR+PAGE1 en OCR+PAGEN.

De Kernstrategieën (OCR+PAGEX):
In plaats van alle pagina-afbeeldingen in de prompt te plaatsen, wordt de MLLM gevoed met:

1. De volledige OCR-uitvoer van het hele document (alle pagina's).
2. De afbeelding van één enkele pagina.

• OCR+PAGE1: Gebruikt altijd de afbeelding van de eerste pagina.
• OCR+PAGEN: Gebruikt een "goedkope" LLM om, op basis van de OCR-tekst, de meest informatieve pagina te selecteren (bijvoorbeeld een pagina met veel tekst of specifieke eigenschappen) en gebruikt de afbeelding van die pagina.

Redenering:
De auteurs veronderstellen dat handgeschreven documenten consistent zijn in schrijfstijl, structuur en visuele eigenschappen. Als een MLLM de relatie tussen de OCR-tekst en de afbeelding van één pagina leert (in-context learning), kan deze deze mapping extrapoleren naar de rest van het document. Dit minimaliseert de prompt-complexiteit en tokenkosten, terwijl het de MLLM wel in staat stelt om OCR-fouten te corrigeren op basis van visuele context.

Benchmarks en Data:
Om deze methoden te evalueren, hebben de auteurs een nieuwe benchmark samengesteld:

• Malvern-Hills: Een nieuw, door de auteurs gelabeld dataset van 70 multi-pagina documenten (vergadernotulen, correspondentie) uit archieven van de Malvern Hills Trust (1889-1938). Deze bevat oud taalgebruik, verschillende handschriften en complexe lay-outs.
• IAM: Een synthetisch multi-pagina dataset gebaseerd op de IAM Handwriting Database.
• Bentham: Multi-pagina documenten van Jeremy Bentham.
• CASIA-5: Een Chinese handgeschreven dataset (voor generalisatietesten).

Experimenten:
De auteurs evalueren diverse methoden, waaronder:

• Puur OCR (Azure Vision).
• Puur MLLM (end-to-end, pagina-voor-pagina of "all-at-once").
• LLM post-processing van OCR-tekst (zonder beeld).
• De voorgestelde OCR+PAGE1 en OCR+PAGEN methoden.
• Vergelijkingen met state-of-the-art modellen zoals GPT-4O, Gemini-2.5-PRO en open-source modellen (Gemma-3, TROCR, DocOwl2).

Belangrijkste Resultaten

De resultaten, gemeten aan de hand van Character Error Rate (CER) en kosten, tonen het volgende aan:

1. Superioriteit van OCR+PAGEX: De methoden OCR+PAGE1 en OCR+PAGEN presteren consistent beter dan of gelijk aan methoden die toegang hebben tot alle pagina-afbeeldingen (zoals OCR+IMAGES of IMAGES-ALL-AT-ONCE), ondanks dat ze slechts toegang hebben tot <20% van de beeldinformatie.
2. Kosten-efficiëntie: Omdat deze methoden minder tokens verbruiken (geen herhaling van afbeeldingen), zijn ze aanzienlijk goedkoper dan end-to-end transcripities met MLLMs of methoden die alle afbeeldingen inladen. Ze vormen de "Pareto-grens" tussen kosten en nauwkeurigheid.
3. Semantische nauwkeurigheid: OCR+PAGEX methoden vertonen significant minder "grote fouten" (hallucinaties, verlies van inhoud) dan andere methoden, terwijl ze vergelijkbaar presteren op kleine fouten (opmaak).
4. Generalisatie: De bevindingen houden stand over verschillende talen (Engels en Chinees) en documentlengtes (tot wel 13 pagina's). Zelfs bij documenten met wisselende handschriften blijft de methode concurrerend.
5. Scheiding van Open-Source Baselines: Bestaande open-source HTR-modellen (zoals TROCR en DocOwl2) presteerden slecht in de zero-shot setting, vaak met CER-waarden die veel hoger waren dan die van de OCR-engine alleen.

Bijdragen

De paper levert drie belangrijke bijdragen:

1. Empirisch Onderzoek: Het is een van de eerste studies die systematisch OCR, MLLMs en hun combinaties vergelijkt voor zero-shot multi-pagina HTR.
2. Nieuwe Benchmark: Introductie van Malvern-Hills, een uitdagend dataset van echte, gearchiveerde multi-pagina documenten, aangevuld met drie andere datasets voor een robuuste evaluatie.
3. Nieuwe Methodiek: Voorstellen van OCR+PAGE1 en OCR+PAGEN. Deze strategieën bewijzen dat het extrapoleren van informatie vanuit één enkele pagina-afbeelding naar de volledige tekst van een document een optimale balans biedt tussen nauwkeurigheid, kosten en prompt-complexiteit.

Significantie

Dit onderzoek is significant omdat het een praktische oplossing biedt voor een veelvoorkomend probleem in de documentdigitisering: het gebrek aan gelabelde data en de hoge kosten van geavanceerde AI-modellen. Het bewijst dat men niet per se de volledige set afbeeldingen nodig heeft om een MLLM effectief te laten werken; in plaats daarvan kan een slimme combinatie van ruwe OCR-tekst en één representatieve afbeelding leiden tot superieure resultaten. Dit maakt high-quality transcripities van historische en complexe handgeschreven documenten veel toegankelijker en kosteneffectiever voor onderzoekers en bedrijven.