OCR or Not? Rethinking Document Information Extraction in the MLLMs Era with Real-World Large-Scale Datasets

Deze studie toont aan dat krachtige multimodale grote taalmodellen documentinformatie-extractie even effectief kunnen uitvoeren zonder OCR, mits ze worden ondersteund door zorgvuldig ontworpen schema's, voorbeelden en instructies.

De kern

Titel: OCR of niet? Een nieuwe kijk op het lezen van documenten met slimme AI

Stel je voor dat je een berg papieren administratie hebt: facturen, verzendbonnen en verzekeringspolicen. In het verleden was het werk om deze papieren om te zetten in digitale data als volgt: eerst een fotokopieerapparaat dat de tekst "leest" (dat heet OCR, ofwel Optical Character Recognition), en daarna een slimme computer die die tekst begrijpt en in een tabeltje zet.

Maar nu zijn er nieuwe, super-slimme AI-modellen (de MLLM's of Multimodale Large Language Models) die zowel naar plaatjes als naar tekst kunnen kijken. De grote vraag in deze paper is: Hebben we die eerste stap (de fotokopieerapparaat-OCR) wel nog nodig?

Hier is wat de onderzoekers van SAP en Stanford hebben ontdekt, vertaald in begrijpelijke taal:

1. De "Twee-stappen" vs. De "Directe Blik"

Vroeger was het proces als het lezen van een boek in het donker: je moest eerst een zaklamp aan doen (OCR) om de letters te zien, en daarna pas proberen te begrijpen wat er staat.
De onderzoekers hebben getest of die nieuwe, slimme AI's het boek ook gewoon kunnen begrijpen als je ze alleen het plaatje (de foto van het document) geeft, zonder de zaklamp.

Het verrassende resultaat: Voor de allersterkste AI's is die "zaklamp" (OCR) vaak niet meer nodig.

• Het is alsof je een kind leert lezen. Vroeger moest je eerst de letters op een bordje schrijven (OCR) en dan uitleggen wat ze betekenen. Maar een heel slim kind (de nieuwe AI) kan de letters direct herkennen op het bordje en de betekenis begrijpen, zonder dat iemand ze eerst heeft uitgeschreven.
• In veel gevallen werkt het zelfs beter om alleen het plaatje te geven. Waarom? Omdat de AI dan de originele vorm, de lettertypes en de lay-out (waar staat wat op het papier) direct ziet. Als je eerst tekst uitplakt (OCR), gaan soms kleine details verloren, zoals "is dit een 'I' of een '1'?" of "waar begint deze regel precies?".

2. Hoe groter, hoe slimmer (maar niet altijd)

De onderzoekers keken ook of grotere AI-modellen beter presteren.

• De regel: Over het algemeen geldt: hoe groter het brein van de AI, hoe beter hij het doet.
• De uitzondering: Bij sommige modellen werkt het "alleen plaatje"-principe zo goed, dat ze zelfs beter scoren dan wanneer je ze de tekst plus het plaatje geeft. Het is alsof je iemand een raadsel geeft: soms helpt het als je de hint (de tekst) ook nog eens hardop voorleest, maar bij een heel slimme persoon verwar je de hint alleen maar en is het beter om gewoon naar het raadsel te kijken.

3. De "Fouten-analyse": Een detective voor AI

De onderzoekers wilden niet alleen weten of het werkte, maar ook waarom het soms misging. Ze bouwden een slim systeem dat als een detective werkt:

• Als de AI een fout maakt, kijkt deze detective niet alleen naar het antwoord, maar vraagt hij: "Waar ging het mis? Was het de tekst die verkeerd gelezen was? Was het de lay-out die verwarrend was? Of was het gewoon een domme fout van de AI?"
• Hierdoor ontdekten ze dat veel fouten komen doordat de instructies niet duidelijk genoeg waren, of omdat de AI de "sfeer" van het document (de structuur) niet goed begreep.

4. De oplossing: Beter praten met de AI

Als je de AI niet alleen een plaatje geeft, maar ook duidelijke instructies en voorbeelden (zoals een recept voor een kok), wordt het resultaat nog veel beter.

• Het is alsof je een kok een foto van een gerecht geeft. Als je alleen de foto geeft, maakt hij misschien een verkeerd gerecht. Maar als je zegt: "Kijk naar de foto, maar onthoud: gebruik altijd verse kruiden en meet de zout exact af", dan wordt het gerecht perfect.
• Door de instructies te verbeteren, slaagden ze erin om de AI zelfs nog beter te laten presteren dan de oude methode met OCR.

Conclusie: De toekomst is "Plaatje-only"

De belangrijkste boodschap van dit onderzoek is: We hoeven niet meer altijd eerst tekst uit documenten te halen met OCR.

Voor de krachtigste AI's is het vaak slimmer en sneller om ze gewoon het originele documentplaatje te geven. Dit maakt het proces simpeler, goedkoper en minder foutgevoelig. Het is de overgang van "een tekst uit een plaatje halen en dan lezen" naar "direct naar het plaatje kijken en begrijpen".

Kort samengevat in een metafoor:
Vroeger moest je een brief eerst typen op een computer (OCR) voordat je hem kon begrijpen. Nu hebben we zo slimme computers dat je ze de brief gewoon kunt laten zien, en ze begrijpen hem direct, inclusief de handtekening en de krullen op het papier, zonder dat je eerst hoeft te typen. Soms is dat zelfs nog nauwkeuriger!

Technische samenvatting

Probleemstelling

In de industrie voor documentinformatie-extractie (DIE) is de standaardaanpak momenteel een tweestapsproces: eerst wordt tekst uit documentafbeeldingen gehaald via Optische Karakterherkenning (OCR), waarna een gespecialiseerd model deze tekst omzet naar gestructureerde data volgens een schema. Hoewel effectief, heeft deze aanpak aanzienlijke nadelen:

• Complexiteit: Het vereist meerdere systemen en pipelines.
• Generalisatieproblemen: Het is moeilijk om het systeem aan te passen aan nieuwe domeinen of documenttypes.
• Foutpropagatie: Fouten die in de OCR-stap worden gemaakt, worden doorgegeven aan de extractiestap, wat de algehele nauwkeurigheid verlaagt.

Met de opkomst van Multimodale Grootte Taalmodellen (MLLM's) rijst de vraag of dit traditionele OCR-stap nog nodig is. Kunnen krachtige MLLM's, die direct op de afbeelding werken, de prestaties van een OCR+MLLM-pijplijn evenaren of zelfs overtreffen?

Methodologie

De auteurs hebben een uitgebreide benchmarkstudie uitgevoerd met behulp van interne, grote datasets van SAP, afkomstig uit de supply chain (dataset C1) en financiën (dataset C2). Deze datasets zijn uniek vanwege hun hoge complexiteit, meertaligheid en gestructureerde nesting.

Experimenteel Opzet:

1. Invoermodaliteiten: Drie scenario's werden getest:
   • Alleen OCR-geëxtraheerde tekst.
   • Alleen de ruwe documentafbeelding (Image-only).
   • Een combinatie van beide (Image + OCR).
2. Modellen: Er zijn diverse state-of-the-art MLLM's geëvalueerd, waaronder modellen van Meta (Llama 4), MistralAI, Amazon (Nova), OpenAI (GPT-4o), Anthropic (Claude) en Google (Gemini).
3. Evaluatiemetrics: Prestaties werden gemeten aan de hand van de F1-score op gestructureerde key-value paren.
4. Automatische Foutanalyse: Een nieuw hiërarchisch foutanalyseframework werd ontwikkeld. Dit gebruikt LLM's om voorspellingen te vergelijken met ground truth, fouten te categoriseren (van oppervlakkige discrepanties tot diepere oorzaken) en de root causes te identificeren (bijv. OCR-fouten, layout-misinterpretatie, schema-ambiguïteit).

Belangrijkste Bijdragen

1. Vraag naar de noodzaak van OCR: Het onderzoek toont aan dat voor zeer krachtige MLLM's de OCR-stap niet noodzakelijk is. In sommige gevallen presteert een "Image-only" aanpak beter dan een OCR-gebaseerde aanpak.
2. Schaalbaarheid: Er is een positieve correlatie gevonden tussen modelgrootte en extractieprestaties, zelfs bij verschillende invoermodaliteiten.
3. Hiërarchisch Foutanalyse Framework: Een geautomatiseerd systeem dat foutpatronen systematisch diagnoseert en categoriseert, wat inzicht geeft in waarom modellen falen.
4. Rol van Prompt Engineering: Het onderzoek benadrukt dat algemene MLLM's vaak ontbrekende taakspecifieke kennis hebben, maar dat zorgvuldig ontworpen schema's, voorbeelden (exemplars) en instructies de prestaties aanzienlijk kunnen verbeteren.

Resultaten

• OCR vs. Image-only: Voor geavanceerde modellen (zoals de Gemini-reeks en Amazon Nova) presteerde de "Image-only" invoer vaak even goed of zelfs beter dan "OCR-only". De toevoeging van OCR-tekst aan de afbeelding leverde voor deze modellen geen significante winst op en kon soms zelfs de prestaties licht verlagen.
• Prestatieverschillen: Modellen die puur op afbeeldingen werken, vertoonden een bredere spreiding in prestaties tussen verschillende providers, wat aangeeft dat niet alle MLLM's even goed zijn in het direct interpreteren van tekst uit beelden.
• Foutanalyse:
  • OCR-only: Hoge mate van fouten door "schema-ambiguïteit" (verwarring door OCR-structuur).
  • Image-only: Minder totale fouten. De ingebouwde visuele encoder van de MLLM's slaagt er beter in om paginalay-out en documentstructuur te begrijpen dan externe OCR-systemen die tekst vaak lineair en zonder context extraheren.
  • Fouttypes: De belangrijkste fouten bij image-only waren "image-to-text extraction issues" (bijv. verwarren van 'I' en '1'), terwijl OCR-gebaseerde systemen vaker last hadden van "schema-ambiguïteit" door slechte segmentatie.
• Optimalisatie: Door de prompts te verfijnen (duidelijkere instructies, formatconstraints en schema-clarificatie) op basis van de foutanalyse, kon de gemiddelde F1-score van de "Image-only" aanpak worden verhoogd van 76,8% naar 78,9%, wat hoger was dan zowel de OCR-only als de gecombineerde aanpak.

Betekenis en Conclusie

De studie concludeert dat de traditionele tweestaps-pijplijn (OCR + Extractie) voor documentinformatie-extractie mogelijk verouderd is voor krachtige MLLM's. Een Image-only pipeline is een veelbelovende richting die:

• De complexiteit van het systeem reduceert.
• De foutpropagatie elimineert.
• Beter generaliseert naar nieuwe documenttypes en talen zonder extra fine-tuning.

De auteurs benadrukken dat de keuze voor OCR of niet afhangt van het specifieke model; voor de meest geavanceerde modellen is de visuele encoder voldoende om tekst en layout direct te begrijpen. Dit werk biedt praktische richtlijnen voor bedrijven die hun documentverwerkingspijplijnen willen moderniseren en stroomlijnen met behulp van AI.