GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts
Die Studie „GlotOCR Bench" zeigt, dass aktuelle OCR-Modelle trotz Fortschritten bei Vision-Language-Modellen ihre Leistung auf weniger als 30 Unicode-Schriften beschränken und bei unbekannten Schriften oft scheitern oder Halluzinationen produzieren, wobei die Leistung stark von der Vortrainierungsabdeckung der jeweiligen Schrift abhängt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Die OCR-Welt ist wie ein Club mit nur wenigen Mitgliedern
Stellen Sie sich vor, OCR (Optical Character Recognition) ist wie ein riesiger Bibliothekar, der Fotos von Texten liest und sie in digitale Buchstaben verwandelt. In den letzten Jahren haben wir diesen Bibliothekar mit Hilfe von modernster KI (Vision-Language-Modellen) extrem trainiert. Er kann jetzt fast perfekt lateinische Buchstaben (wie im Englischen oder Deutschen) lesen.
Aber hier liegt das Problem: Der Bibliothekar wurde nur auf einer winzigen Auswahl von Sprachen trainiert. Die Studie „GlotOCR Bench" hat nun herausgefunden, dass dieser Bibliothekar, sobald er auf Texte stößt, die er nicht kennt, völlig versagt.
Die neue Prüfung: GlotOCR Bench
Die Forscher haben eine riesige neue Prüfung erstellt, die 158 verschiedene Schriftsysteme der Welt abdeckt. Das ist wie ein Test, bei dem der Bibliothekar nicht nur deutsche und englische Bücher liest, sondern auch:
- Alte historische Schriften (wie Linear B).
- Sprachen, die von Millionen Menschen gesprochen werden, aber digital wenig vertreten sind (wie Äthiopisch, Khmer oder Sinhala).
- Sogar Texte, die nur noch von wenigen Historikern verstanden werden.
Sie haben dafür echte Texte genommen und sie in Bilder verwandelt – einmal sauber wie ein neues Buch und einmal „gealtert" wie ein vergilbtes, schmutziges Dokument aus dem Keller.
Die schockierende Wahrheit: Der Bibliothekar ist blind für 94 % der Welt
Das Ergebnis der Prüfung war ernüchternd:
- Der „Goldstandard" funktioniert nur für Wenige: Die besten KI-Modelle lesen lateinische Texte fast perfekt. Bei den nächsten 9 bekannten Schriften (wie Arabisch, Russisch oder Chinesisch) wird es schon etwas holprig, aber sie schaffen es noch.
- Der Abgrund: Sobald der Bibliothekar auf die restlichen 148 Schriften trifft (das sind 94 % aller getesteten Schriften), bricht die Leistung dramatisch ein. Die besten Modelle erreichen hier eine Erfolgsquote von weniger als 8 %. Das bedeutet: Von 100 Sätzen lesen sie kaum einen richtig.
- Die „Halluzinationen": Das ist der erschreckendste Teil. Wenn der Bibliothekar einen Text sieht, den er nicht kennt (z. B. in einer alten indischen Schrift), gibt er nicht einfach zu, dass er es nicht weiß. Stattdessen erfindet er etwas! Er schaut sich den Text an, denkt: „Das sieht irgendwie aus wie Arabisch" oder „Das erinnert mich an Hindi", und schreibt dann fließend, aber völlig falsch, in dieser bekannten Sprache weiter.
- Analogie: Es ist, als würde ein Tourist in Japan stehen, ein Schild mit japanischen Zeichen sehen und dann laut auf Deutsch schreien: „Hier steht 'Ich mag Sushi'!", obwohl dort eigentlich „Vorsicht, Hund" steht. Er liest nicht, er errät basierend auf dem, was er schon kennt.
Warum passiert das?
Die Studie zeigt, dass diese KI-Modelle weniger wie echte „Seher" funktionieren, sondern mehr wie Sprach-Experten, die Bilder nur oberflächlich betrachten.
- Sie haben in ihrer Ausbildung (dem „Training") so viel lateinischen und arabischen Text gesehen, dass sie diese Muster auswendig gelernt haben.
- Bei unbekannten Schriften fehlt ihnen dieses Wissen komplett. Da sie aber „helfen" wollen, greifen sie auf das zurück, was sie kennen. Sie projizieren ihre eigenen Vorurteile auf das Bild.
Was bedeutet das für uns?
- Digitale Lücken bleiben: Millionen von Büchern in historischen oder seltenen Sprachen können von diesen KI-Modellen nicht zuverlässig digitalisiert werden. Wir verlieren damit einen riesigen Schatz an Geschichte und Kultur.
- Kein stiller Tod: Die Modelle geben nicht einfach „Fehler" aus. Sie liefern falsche, aber gut aussehende Ergebnisse. Das ist gefährlich, weil man dem Ergebnis vertrauen könnte, obwohl es Unsinn ist.
- Die Lösung: Wir brauchen mehr Daten für diese „armen" Schriften. Die KI muss lernen, dass es nicht nur Latein, Arabisch und Chinesisch gibt.
Fazit in einem Satz
Aktuelle KI-OCR-Systeme sind wie ein Polyglott, der 10 Sprachen perfekt spricht, aber bei den restlichen 150 Sprachen der Welt nicht einfach schweigt, sondern laut und selbstbewusst Unsinn in einer Sprache erfindet, die er schon kennt. Um die ganze Welt der Schrift zu verstehen, müssen wir diese KIs neu und breiter trainieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.