Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study

Technische Samenvatting: Kunnen OCR-VLMs Devanagari Lezen?

Probleemstelling
Hoewel moderne OCR-systemen, variërend van klassieke engines tot gespecialiseerde OCR Vision-Language Models (OCR-VLMs) en grensverleggende multimodale LLM's, een sterke prestatie leveren op Engelstalige en Chinese documentbenchmarks, blijft hun effectiviteit voor Indiase schriften grotendeels onkarakteriseerd. Devanagari (gebruikt voor Hindi en andere talen) presenteert unieke structurele uitdagingen die afwezig zijn in Latijnse en CJK-teksten, waaronder gestapelde conjunct-medeklinkers (sam.yuktākṣar), afhankelijke klinkertekens (matras) die in meerdere richtingen zijn geplaatst, een verbindende hoofdbalk (shirorekha), de nukta-diakritische tekens, frequente codemixing en dubbele cijferstelsels. Het artikel adresseert het gat in de grootschalige evaluatie van nieuwe OCR-VLMs en grensverleggende LLM's op Devanagari, en stelt de vraag of de staat van de techniek op Engelstalige/Chinese benchmarks overdraagbaar is naar Indiase schriften.

Methodologie
De auteurs hebben een gecontroleerde, multi-font, multi-conditie benchmark en een real-world stresstest geconstrueerd:

• Data: De evaluatie maakt gebruik van 100 Devanagari-zinnen uit de FLORES-testset (buiten de training gehouden) die met vijf verschillende lettertypen zijn gerenderd. Daarnaast werden 300 echte gedrukte Devanagari-afbeeldingen (op woord- en korte zinsniveau) uit de Sanskrit-OCR-Typed corpus gebruikt om het gat tussen synthetische en echte data te meten.
• Degradatie: Synthetische afbeeldingen werden onderworpen aan vier condities: clean, Gaussian blur, additieve pixelruis en low-DPI schaling.
• Modellen: Tien systemen werden geëvalueerd over vier families:
  • Klassiek: EasyOCR.
  • Open VLMs: Qwen2.5-VL-3B, Qwen3-VL-8B, en olmOCR-7B.
  • Gespecialiseerde OCR-VLMs: DeepSeek-OCR en Unlimited-OCR.
  • Frontier Closed (API): Google Gemini 2.5 Flash, Anthropic Claude Opus 4.7, OpenAI GPT-5.5, en Mistral OCR.
• Metrieken: De evaluatie maakt gebruik van Character Error Rate (CER), Word Error Rate (WER) en chrF++ (character n-gram F-score). De auteurs merken op dat code-point-gebaseerde CER structurele fouten door de grapheemcomplexiteit van Devanagari kan onderschatten. Cruciaal is dat de studie naast het gemiddelde ook de mediaan CER en de catastrofale ratio (fractie van samples met CER > 50%) rapporteert om rekening te houden met zeldzame maar ernstige foutmodi.
• Post-Correctie: Een byte-level ByT5-small model werd gefinetuned op 6.000 (ruizige OCR-output, schone tekst) paren om te testen of een lichtgewicht corrector fouten van een goedkope engine kan herstellen.

Belangrijkste Resultaten

1. Synthetische Tekst Maskeert Verschillen: Op schone, gerenderde tekst clusteren alle tien de systemen nauw binnen een chrF++-bereik van 91 tot 98. Synthetische benchmarks slagen er niet in om onderscheid te maken tussen klassieke engines, open VLMs en gespecialiseerde OCR-VLMs.
2. Kwetsbaarheid van Gespecialiseerde OCR-VLMs: Onder degradatie vertonen gespecialiseerde modellen aanzienlijke instabiliteit. DeepSeek-OCR, ondanks het beste mediane CER, lijdt onder zeldzame maar catastrofale herhalingsfouten (outputs tot 71× de referentielengte), wat de gemiddelde fout verhoogt. Unlimited-OCR degradeert ook matig. In tegenstelling hiertoe blijven generieke VLMs (Qwen) en klassieke engines (EasyOCR) relatief stabiel onder synthetische degradatie.
3. Instorting op Real Scans: Het prestatieverschil wordt dramatisch groter op echte gedrukte scans. Negen van de tien systemen storten in, waarbij de chrF++ scores verspreid liggen over een bereik van 76 punten.
   • Gespecialiseerde Modellen Falen: DeepSeek-OCR en Unlimited-OCR zakken naar de onderkant van de ranglijsten (chrF++ respectievelijk 10.4 en 24.7), met hoge percentages hallucinaties en catastrofale fouten.
   • Engelse Prestaties zijn Niet Voorspellend: Sterke Engelse OCR-prestaties correleren niet met Indiase prestaties. GPT-5.5 daalt naar chrF++ 58.5 (gelijk aan EasyOCR), en olmOCR-7B valt naar 40.5.
   • Top Performers: Frontier closed modellen (Gemini, Claude) leiden met chrF++ scores van 86.3 en 82.2. Opmerkelijk is dat de open-source Qwen3-VL-8B (draaibaar op een enkele 24 GB GPU) een score van 75.2 behaalt, waarmee het GPT-5.5 overtreft en Mistral nadert.
4. Fouttaxonomie:
   • Klassieke Engines (EasyOCR): Falen primair op oppervlakte-elementen zoals cijfers (het transcriberen van Devanagari-cijfers als Latijnse cijfers) en punctuatie-normalisatie.
   • VLMs: Falen primair op structurele elementen, inclusief conjuncts, matras en nukta.
   • Look-alike Confusions: Terugkerende fouten (bijv. ba↔va, gha↔dha) zijn consistent over systemen heen en worden gedreven door visuele/fonetische gelijkenis.
5. Limieten van Post-Correctie: Een byte-level post-corrector getraind op de foutdistributie van EasyOCR verbetert die specifieke engine (chrF++ +1.2 tot +1.5), maar faalt bij de overdracht naar andere engines (Qwen, Unlimited, DeepSeek), waar het neutraal of zelfs schadelijk is.

Betekenis en Claims
Het artikel betoogt dat synthetische-only benchmarks misleidend zijn voor Devanagari OCR, omdat ze kritieke robuheidverschillen verbergen die alleen door echte degradatie aan het licht komen. De auteurs stellen dat:

• Gespecialiseerde OCR-VLMs momenteel de minst veilige keuze zijn voor Indiase schriften vanwege catastrofale herhalingslussen en slechte generalisatie naar echte scans.
• Sterke Engelse OCR-prestaties een slechte voorspeller zijn van Indiase OCR-capaciteit; modellen die leiden op Engelse benchmarks (GPT-5.5, olmOCR-7B) presteren aanzienlijk minder op Devanagari.
• Open modellen kunnen concurreren met closed frontier modellen: Qwen3-VL-8B demonstreert dat open, lokaal draaibare modellen de prestaties van top-tier closed API's op Indiase schriften kunnen benaderen.
• Methodologische Bijdrage: De studie pleit voor het rapporteren van de mediaan CER en de catastrofale ratio in plaats van alleen het gemiddelde om de OCR-prestaties getrouw samen te vatten, en biedt een distributie-gematchte post-correctie aanpak die engine-specifieke training vereist.

De auteurs concluderen dat echte evaluatie onontbeerlijk is voor Indiase schriften en stellen de benchmark, code en modellen beschikbaar om toekomstige evaluatie van OCR-systemen op Indiase schriften te ondersteunen.