OCRGenBench: A Comprehensive Benchmark for Evaluating OCR Generative Capabilities

Dit paper introduceert OCRGenBench, een uitgebreide benchmark met 1.060 samples en de nieuwe OCRGenScore-metriek om de holistische OCR-generatieve vaardigheden van 19 toonaangevende modellen te evalueren, waarbij kritieke tekortkomingen zoals slechte tekstlocalisatie en beperkingen bij complexe scenario's worden blootgelegd.

De kern

Stel je voor dat je een kunstenaar bent die niet alleen prachtige landschappen kan schilderen, maar ook perfect kan schrijven. Je kunt een schilderij maken van een bos, maar als je vraagt om er een bordje "Welkom" in te plakken, schrijft de kunstenaar misschien "Welkoom" of plaatst het bordje scheef. Of als je vraagt om een oude, krakende brief te repareren, maakt hij er misschien een compleet nieuwe brief van in plaats van de oude tekst te herstellen.

Dit is precies het probleem waar de onderzoekers van dit paper tegenaan lopen. Vroeger konden computers alleen maar "natuurlijke" dingen tekenen (zoals bomen, mensen, wolken). Maar nu willen ze ook tekst kunnen genereren en bewerken. Het probleem is: we hadden geen goede manier om te testen hoe goed ze hierin waren.

Hier is wat ze hebben gedaan, vertaald in een simpel verhaal:

1. Het Probleem: De "Blinde Vlek"

Tot nu toe waren de tests voor deze kunstenaars (AI-modellen) te makkelijk en te beperkt. Het was alsof je een chef-kok testte door alleen te vragen om een salade te maken, en daarna zei je: "Gefeliciteerd, je bent een topkok!" terwijl je vergeten bent om te testen of hij ook een taart kan bakken of een vis kan grillen.

De bestaande tests keken alleen naar simpele teksten op posters of straatnaamborden. Ze negeerden moeilijke dingen zoals:

• Oude, beschadigde documenten.
• Handgeschreven brieven.
• Dichte pagina's vol tekst (zoals een krant).
• Tekst die je moet wissen of veranderen zonder de rest van de foto aan te raken.

2. De Oplossing: OCRGenBench (De "Ultieme Keuring")

De onderzoekers hebben een nieuwe, super-uitgebreide test ontwikkeld, genaamd OCRGenBench. Je kunt dit zien als een olympiade voor AI-kunstenaars, maar dan specifiek voor tekst.

In plaats van één simpele opdracht, geven ze de AI 33 verschillende soorten taken:

• Tekst maken: "Teken een poster met de tekst 'Zomerfeest' in een vrolijke stijl."
• Tekst bewerken: "Verander het woord 'Slaap' in 'Wakker' op deze foto van een slaapkamer, maar laat de rest van de kamer precies hetzelfde."
• Tekst repareren: "Dit document is gekreukt en heeft schaduwen; maak het weer plat en leesbaar."
• Tekst wissen: "Maak de handgeschreven notities op dit bord weg, maar laat het bord zelf intact."

Ze hebben 1.060 moeilijke voorbeelden verzameld, inclusief tekst in het Nederlands (Nederlands is hier vertaald, maar de test is in het Engels en Chinees), met hele lange zinnen, rare vormen en oude handschriften.

3. De Score: De "OCRGenScore"

Hoe meet je of een kunstenaar goed is? Je kunt niet alleen kijken of de tekst leesbaar is. Je moet ook kijken of het er mooi uitziet en of de AI precies deed wat je vroeg.

Ze hebben een nieuwe meetlat bedacht: OCRGenScore.

• De tekst: Is het correct gespeld? (Geen "Wlekoom" maar "Welkom").
• De stijl: Ziet het eruit als een echte foto of een tekening?
• De gehoorzaamheid: Heeft de AI precies gedaan wat je vroeg, of heeft hij iets anders toegevoegd?

Deze score wordt omgezet in één cijfer van 0 tot 100.

4. Wat bleek eruit? (De Verdict)

Ze hebben 19 van de slimste AI-modellen ter wereld (zowel die van grote bedrijven als open-source) op deze test gezet. Het nieuws is... gemengd, maar eerlijk gezegd wel teleurstellend.

• De resultaten: De meeste AI-modellen scoorden onder de 60. Dat betekent dat ze nog niet klaar zijn voor de echte wereld. Ze maken veel fouten.
• De winnaars: Slechts twee modellen deden het goed (boven de 70): Nano Banana Pro en Flux.2-dev. Zelfs zij maken nog fouten.
• De valkuilen:
  • Verkeerde plek: De AI weet vaak niet waar ze tekst moeten zetten. Ze schrijven "Welkom" ergens in de lucht in plaats van op het bordje.
  • Onbedoelde veranderingen: Als je vraagt om één woord te veranderen, verandert de AI soms ook de achtergrond of verwijdert andere tekst.
  • Kleine letters: Als de tekst heel klein is (zoals op een medicijnverpakking), wordt het onleesbaar of garbled.
  • Taalproblemen: De modellen zijn veel beter in het Engels dan in het Chinees (en waarschijnlijk ook in het Nederlands, hoewel dat niet specifiek in de test zat, is de trend duidelijk).

5. Waarom is dit belangrijk?

Stel je voor dat je een robot wilt die oude familiefoto's met tekst erop kan restaureren, of een assistent die automatisch formulieren kan invullen en aanpassen. Als die robot de tekst niet goed kan lezen of schrijven, is hij nutteloos.

Deze paper zegt: "Stop met doen alsof het goed gaat. We hebben een betere manier nodig om te testen, en we moeten nog veel harder werken voordat AI echt betrouwbaar tekst kan genereren en bewerken."

Het is alsof we net hebben ontdekt dat onze "slimme" auto's perfect kunnen rijden op een lege parkeerplaats, maar nog niet weten hoe ze moeten parkeren in een drukke stad. OCRGenBench is de kaart van die drukke stad, zodat we de auto's eindelijk kunnen testen op de echte uitdagingen.

Technische samenvatting

Probleemstelling

Hoewel recente state-of-the-art (SOTA) generatieve modellen aanzienlijke vooruitgang hebben geboekt in het genereren van tekst binnen afbeeldingen, zijn bestaande benchmarks ontoereikend om hun ware prestaties te beoordelen. De huidige beperkingen zijn:

1. Beperkte scope: Bestaande benchmarks richten zich voornamelijk op scènetekst (scene text) en posters, en negeren andere cruciale categorieën zoals documenten en handschrift.
2. Geïsoleerde evaluatie: Ze evalueren vaak alleen tekst-naar-beeld (T2I) generatie of tekstbewerking apart, zonder de bredere OCR-gerelateerde beeld-naar-beeld (I2I) vertaaltaken (zoals documentontwarping of handschriftverwijdering) te omvatten.
3. Onvoldoende moeilijkheidsgraad: De huidige datasets missen uitdagende scenario's, zoals zeer dichte tekst, extreme aspectverhoudingen en meertalige inhoud, waardoor de grenzen van modellen niet worden getest.

Er is een dringend behoefte aan een holistische, gestandaardiseerde evaluatie die de "OCR-generatieve capaciteiten" van modellen meet, gedefinieerd als het vermogen om visuele tekst synthetiseren, bewerken en reconstrueren over diverse scenario's.

Methodologie

De auteurs introduceren OCRGenBench, een uitgebreid benchmark-ecosysteem dat bestaat uit een dataset en een nieuwe evaluatiemeta.

1. OCRGenBench Dataset:

• Omvang: Bestaat uit 1.060 handmatig geannoteerde samples (instructie-beeld-GT triplets).
• Categorieën: De dataset dekt vijf hoofdtekstcategorieën:
  • Documenten (modern en historisch)
  • Handschrift
  • Scènetekst
  • Artistieke tekst
  • Tekst met complexe lay-out (slides, posters)
• Taken: Er zijn 33 verschillende OCR-generatieve taken opgenomen, waaronder:
  • T2I-generatie (12 varianten).
  • Tekstbewerking (10 varianten).
  • OCR I2I-taken zoals documentontwarping (dewarping), ontshadowing, ontscherping, historische documentrestauratie, handschriftverwijdering en stijltransfer.
• Complexiteit: De data is ontworpen om real-world complexiteit te weerspiegelen, met variaties in aspectverhoudingen (tot 16:1), resoluties, tekstdichtheid (tot 1300+ tekens per pagina) en meertalige inhoud (Engels en Chinees).

2. OCRGenScore (Evaluatiemeta):
Om een uniforme score te bieden, stellen de auteurs OCRGenScore voor. Dit is een geaggregeerde meta die verschillende taakspecifieke metrics normaliseert naar een schaal van 0-100:

• T2I-generatie: Gebruikt VIEScore (LLM-as-Judge voor semantische consistentie en esthetische kwaliteit) en Accuracy Rate (AR) voor tekstnauwkeurigheid (gemeten met PPOCRv5).
• Tekstbewerking: Combineert AR met LPIPS voor visuele gelijkenis en consistentie.
• I2I-taken: Gebruikt gespecialiseerde metrics zoals Document-Distortion (DD) voor ontwarping en MS-SSIM voor taak zoals verwijdering en super-resolutie.
• De uiteindelijke score is het gemiddelde van alle genormaliseerde metrics.

Belangrijkste Bijdragen

1. Eerste Holistische Benchmark: OCRGenBench is de eerste benchmark die T2I-generatie, tekstbewerking en OCR I2I-taken unifyt in één raamwerk om de algehele OCR-generatieve vaardigheden te evalueren.
2. Uitgebreide Diversiteit: Het dekt 5 tekstcategorieën en 33 taken, wat aanzienlijk breder is dan bestaande benchmarks (zoals AnyText-Bench of TextEditBench).
3. Nieuwe Meta (OCRGenScore): Een robuuste, geautomatiseerde evaluatiemeta die tekstnauwkeurigheid, structurele consistentie en instructie-opvolging integreert.
4. Uitgebreide Evaluatie: Systematische benchmarking van 19 state-of-the-art modellen (zowel gespecialiseerde als unified understanding-and-generation modellen, open-source en closed-source).

Resultaten

De evaluatie van 19 modellen (waaronder Nano-Banana-Pro, Flux.2-dev, Qwen-Image, en diverse open-source modellen) levert de volgende bevindingen op:

• Algemene Prestaties: De meeste modellen scoren onder de 60/100. Slechts twee modellen halen een score boven de 70: Nano-Banana-Pro (77,19) en Flux.2-dev (70,19).
• Architectuurvergelijking: Unified modellen (die zowel begrijpen als genereren) tonen potentieel, maar gespecialiseerde generatiemodellen presteren vaak beter op specifieke OCR-taken, vooral bij open-source implementaties.
• Taak-specifieke zwaktes:
  • Modellen worstelen met tekstlocalisatie bij dichte tekst, wat leidt tot onjuiste bewerkingen.
  • Er is een gebrek aan consistentie; bij het bewerken van tekst worden vaak omringende elementen onbedoeld gewijzigd.
  • Hallucinaties komen veel voor, waarbij modellen irrelevante inhoud genereren in plaats van de gevraagde tekst.
  • Kleine en dichte tekst: Modellen falen vaak bij het genereren van zeer kleine tekens of lange, dichte tekstblokken (bijv. historische documenten).
• Taalverschil: Modellen presteren over het algemeen beter op Engels dan op Chinees. Veel open-source modellen genereren volledig onleesbare Chinese karakters.

Betekenis en Toekomstperspectief

OCRGenBench vult een kritieke leemte in het veld van generatieve AI door een robuust standaardpunt te bieden voor het evalueren van visuele tekstsynthese. De paper identificeert acht cruciale beperkingen van huidige modellen, waaronder:

1. Gebrek aan nauwkeurige tekstlocalisatie.
2. Inconsistentie in niet-doelgerichte elementen.
3. Instabiele instructie-opvolging en hallucinaties.
4. Onvermogen om complexe lettertypes en zeer dichte tekst te verwerken.
5. Beperkt wereldkennisbegrip (bijv. logica bij documentherstel).
6. Moeilijkheden met gespecialiseerde verticale taken (zoals restauratie).
7. Taalbias ten gunste van Engels.
8. Gebrek aan fijne-granulariteit in codering/decodering voor kleine tekens.

De benchmark en de bijbehorende code zijn openbaar beschikbaar gesteld, wat de weg vrijmaakt voor de ontwikkeling van betrouwbaardere, robuustere en meertalige OCR-generatieve systemen voor real-world toepassingen.