CER-HV: A Human-in-the-Loop Framework for Cleaning Datasets Applied to Arabic-Script HTR

Die Autoren stellen CER-HV vor, ein Framework zur Erkennung und Bereinigung von Fehlerquellen in Handschrifterkennungsdatensätzen arabischer Schriften durch eine Kombination aus CRNN-basierter Rauscherkennung und menschlicher Verifikation, das nachweislich die Datenqualität und die Modellleistung verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein riesiges, altes Buch zu lesen, das von hunderten verschiedenen Menschen mit der Hand geschrieben wurde. Das Problem ist: Viele Seiten sind verschmiert, einige Wörter sind falsch abgeschrieben, und manche Seiten sind sogar auf dem Kopf oder schief gedreht. Wenn Sie einem Computer beibringen wollen, diese Handschrift zu lesen, wird er verwirrt sein, wenn er diese Fehler sieht. Er denkt: „Oh, so sieht die richtige Schrift aus!" und lernt das Falsche.

Genau dieses Problem haben die Forscher aus Schweden in ihrer Arbeit „CER-HV" angepackt. Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Der „schmutzige" Datensatz

In der Welt der künstlichen Intelligenz (KI) gibt es eine alte Regel: „Garbage In, Garbage Out" (Müll rein, Müll raus). Das bedeutet: Wenn Sie eine KI mit fehlerhaften Daten füttern, wird sie auch fehlerhafte Ergebnisse liefern.

Bei lateinischen Schriften (wie Englisch oder Deutsch) funktioniert die KI schon sehr gut. Aber bei arabischen Schriften (die auch für Persisch, Urdu, Pashto und andere Sprachen verwendet werden) hinkt die KI hinterher. Die Forscher haben herausgefunden, dass das nicht nur am Schwierigen der Schrift liegt, sondern daran, dass die Trainingsdaten voller versteckter Fehler stecken.

Stellen Sie sich die Trainingsdaten wie einen Kochkurs vor. Wenn der Kochmeister dem Schüler beibringt, wie man einen Kuchen backt, aber ihm versehentlich Salz statt Zucker gibt, wird der Schüler einen salzigen Kuchen backen und denken: „So schmeckt ein Kuchen!"

2. Die Lösung: CER-HV (Der „Korrektur-Teamwork")

Die Forscher haben ein neues System namens CER-HV entwickelt. Der Name klingt kompliziert, aber das Prinzip ist wie eine Zusammenarbeit zwischen einem sehr schnellen Roboter und einem aufmerksamen Menschen.

• Schritt 1: Der schnelle Roboter (Die KI)
  Zuerst lässt man eine spezielle KI (ein sogenanntes CRNN-Modell) die Texte lesen. Diese KI ist sehr schlau, aber sie ist noch nicht perfekt. Sie versucht, die Texte zu entschlüsseln.

  • Der Trick: Die Forscher schauen nicht auf die „Verlustzahl" (eine abstrakte Zahl, die Computer nutzen), sondern auf den CER (Character Error Rate). Das ist wie eine Punktzahl: „Wie viele Buchstaben hat die KI falsch gelesen?"
  • Wenn die KI bei einem bestimmten Bild sehr viele Fehler macht (hoher CER), wird dieses Bild als „verdächtig" markiert. Es könnte sein, dass die KI dumm ist, aber oft bedeutet es: Das Bild oder die Beschriftung ist falsch!

• Schritt 2: Der menschliche Prüfer (Der „Human-in-the-Loop")
  Hier kommt der Mensch ins Spiel. Der Roboter kann nicht alles unterscheiden. Manchmal ist ein Text einfach nur sehr schwer zu lesen (z. B. weil die Tinte verlaufen ist), und das ist kein Fehler.
  Also schickt das System nur die verdächtigsten Bilder (die mit den meisten Fehlern) zu einem echten Menschen.
  Der Mensch schaut sich das an und sagt:

  • „Aha, hier wurde das Wort falsch abgeschrieben!" (Transkriptionsfehler)
  • „Hier sind zwei Zeilen in ein Bild gepresst!" (Segmentierungsfehler)
  • „Das Bild ist auf dem Kopf!" (Orientierungsfehler)
  • „Das ist gar kein Text, sondern ein Stempel!" (Irrelevanter Inhalt)

  Der Mensch korrigiert diese Fehler oder entfernt das Bild aus dem Trainingsmaterial.

3. Die Entdeckungen: Was sie gefunden haben

Als sie dieses System auf verschiedene Datensätze anwandten, waren sie überrascht. Sie fanden heraus, dass viele bekannte Datensätze, auf die sich Forscher verlassen, voller solcher Fehler stecken.

• In manchen Datensätzen waren fast 10 % der Testbilder fehlerhaft!
• Es gab Bilder, die auf dem Kopf standen, Bilder mit Stempeln statt Text, und Bilder, die in einer anderen Sprache geschrieben waren als gedacht.

4. Das Ergebnis: Saubere Daten = Bessere KI

Was passierte, als sie die „schmutzigen" Bilder entfernt oder korrigiert haben?

• Die KI wurde besser: Selbst ohne die KI-Modelle zu verändern, sank die Fehlerquote drastisch. Bei einigen Datensätzen verbesserte sich das Ergebnis um fast 2 %. Das klingt wenig, ist in der Welt der KI aber wie der Unterschied zwischen Gold und Silber.
• Ein neuer Standard: Die Forscher haben gezeigt, dass eine gut eingestellte, klassische KI (CRNN) oft besser ist als die neuesten, riesigen KI-Modelle, solange die Daten sauber sind. Es ist wie beim Autofahren: Ein gut gewarteter alter Sportwagen fährt schneller als ein neuer, aber dreckiger LKW.

Zusammenfassung mit einer Metapher

Stellen Sie sich vor, Sie wollen ein Team von Sportlern trainieren.

• Das alte Problem: Sie gaben ihnen ein Trainingsbuch, in dem die Regeln falsch geschrieben waren. Die Sportler übten die falschen Bewegungen und waren dann enttäuscht, wenn sie im Wettkampf versagten.
• Die neue Methode (CER-HV): Sie lassen einen Trainer (die KI) die Sportler beobachten. Wenn ein Sportler einen Fehler macht, schaut der Trainer ins Buch. Wenn das Buch falsch ist, korrigiert ein Experte (der Mensch) das Buch.
• Das Ergebnis: Mit dem korrigierten Buch trainieren die Sportler perfekt und gewinnen Goldmedaillen.

Fazit: Diese Arbeit zeigt uns, dass wir nicht immer neue, komplexere KI-Modelle brauchen, um Fortschritte zu machen. Manchmal müssen wir nur aufhören, Müll zu sammeln, und anfangen, unsere Daten zu putzen. Saubere Daten sind der Schlüssel zu smarter KI.

Technische Zusammenfassung

1. Problemstellung

Die Handschrifterkennung (HTR) für Sprachen mit arabischer Schrift (Arabisch, Persisch, Urdu, Pashto, Ajami) hinkt der Entwicklung für lateinische Schriften hinterher, obwohl die Modellarchitekturen in den letzten Jahren Fortschritte gemacht haben. Die Autoren identifizieren Datenqualität als einen entscheidenden, bisher unterschätzten Engpass.

Viele bestehende Datensätze enthalten unaufgedeckte Fehler, die durch semi-automatische Erstellungsprozesse entstehen. Diese Fehler umfassen:

• Transkriptionsfehler: Falsche oder unvollständige Textübertragung.
• Segmentierungsfehler: Unvollständige Zeilen oder mehrere Zeilen in einem Bild.
• Orientierungsfehler: Falsch gedrehte Textzeilen.
• Schrift-Unterschiede (Script Mismatch): Inhalte in anderen Schriften (z. B. lateinisch) in arabischen Datensätzen.
• Irrelevante Inhalte: Stempel, Signaturen oder andere Nicht-Text-Elemente.

Herkömmliche Methoden zur Rauscherkennung (Noise Detection), die auf dem Trainingsverlust (Loss) basieren, sind für HTR wenig geeignet, da der CTC-Loss (Connectionist Temporal Classification) durch Alignments-Unsicherheiten und Sequenzlängen verzerrt wird und nicht direkt die Transkriptionsgenauigkeit widerspiegelt.

2. Methodik: Das CER-HV Framework

Die Autoren stellen CER-HV (CER-based Ranking with Human Verification) vor, ein zweistufiges Framework zur Erkennung und Bereinigung von Label-Fehlern.

Stufe 1: Automatisierte Rauscherkennung (CER-Ranking)

Anstatt den Trainingsverlust zu nutzen, wird ein Character Error Rate (CER) basierter Ansatz gewählt:

• Modell: Ein sorgfältig konfiguriertes CRNN (Convolutional Recurrent Neural Network) mit CTC-Decoding wird auf dem Rohdatensatz trainiert.
• Frühes Stoppen (Early Stopping): Das Training wird an einem definierten Konvergenzpunkt gestoppt, um zu verhindern, dass das Modell „verrauschte" Labels auswendig lernt (Memorization).
• Bewertung: Für jede Trainingsprobe wird die CER zwischen der Vorhersage des Modells und dem ursprünglichen Label berechnet.
• Ranking: Proben mit einer hohen CER werden als potenziell fehlerhaft eingestuft.

Stufe 2: Menschliche Verifikation (Human-in-the-Loop)

Da hohe CER-Werte auch bei korrekten, aber visuell schwierigen Proben auftreten können, erfolgt eine manuelle Überprüfung:

• Schwellenwert: Proben mit einer CER > 0,25 werden zur manuellen Prüfung ausgewählt.
• Kategorisierung: Menschliche Prüfer klassifizieren die Proben in Fehlerkategorien (Transkription, Segmentierung, Orientierung, Schrift, Irrelevant) oder bestätigen sie als „korrekt, aber schwer" (Valid but Hard).
• Bereinigung: Fehlerhafte Proben werden korrigiert oder entfernt; schwierige, aber korrekte Proben bleiben erhalten.
• Neu-Training: Der bereinigte Datensatz wird verwendet, um das CRNN-Modell neu zu trainieren.

3. Wichtige Beiträge

1. Systematische Analyse: Erste umfassende Analyse von Label- und Inhaltsfehlern in arabischen HTR-Datensätzen mit einer definierten Fehler-Taxonomie.
2. CER-HV Framework: Einführung eines neuen Frameworks, das Lern-Dynamiken (Learning Dynamics) an CTC-basierte Sequenzvorhersage anpasst, indem es den Loss durch CER ersetzt und frühes Stoppen nutzt.
3. Benchmark-Verbesserung: Quantifizierung des Einflusses von Label-Rauschen auf sechs Datensätze. Es wird gezeigt, dass die Bereinigung die Evaluierungsergebnisse signifikant verbessert.
4. State-of-the-Art Baseline: Etablierung eines starken CRNN-Baselines, der ohne synthetische Daten oder Transformer-Architekturen neue Bestwerte auf mehreren Datensätzen erzielt.
5. Open Source: Bereitstellung bereinigter Evaluierungs-Splits (insbesondere für Persisch/PHTD), Code und annotierte Fehlerdaten für reproduzierbare Forschung.

4. Ergebnisse

Das CRNN-Modell wurde auf sechs Datensätzen (KHATT, Muharaf, PHTI, PHTD, NUST-UHWR, Ajami) evaluiert:

• Leistungssteigerung: Das CRNN erreicht State-of-the-Art-Ergebnisse auf fünf von sechs Datensätzen, ohne synthetische Daten zu verwenden.
  • KHATT (Arabisch): 8,45 % CER (bisheriger SOTA: ~8,7–14 %).
  • PHTI (Pashto): 8,26 % CER (Verbesserung von 20,7 %).
  • Muharaf (Arabisch): 10,11 % CER (Verbesserung von 18,1 %).
  • PHTD (Persisch): Neuer Baseline von 11,3 % CER.
  • Ajami: 10,66 % CER (deutlich besser als vorherige 64–84 %).
• Fehlererkennung: Das CER-HV-System erreichte eine hohe Präzision bei der Identifizierung echter Fehler:
  • Muharaf: Bis zu 90 % Präzision im Test-Set.
  • PHTI: 80–88 % Präzision.
  • Ajami: 68–71 % Präzision.
• Auswirkung der Bereinigung:
  • Die Bereinigung der Evaluierungs-Sets reduzierte die CER um 0,3–0,6 % bei sauberen Datensätzen und um 1,0–1,8 % bei verrauschten Datensätzen.
  • Das Neu-Training auf bereinigten Trainingsdaten (besonders bei Ajami) führte zu weiteren signifikanten Verbesserungen, da strukturelle Fehler (Segmentierung/Orientierung) das Lernen des Modells direkt behindern.

5. Bedeutung und Fazit

Die Studie demonstriert, dass die Leistungslücke in der arabischen HTR nicht nur auf die Komplexität der Schrift oder schwächere Modelle zurückzuführen ist, sondern maßgeblich auf Datenmängel.

• Datenqualität vor Architektur: Ein gut konfigurierter CRNN kann komplexe Transformer-Modelle übertreffen, wenn die Datenqualität hoch ist.
• Effizienz: Der menschliche Aufwand für die Validierung ist durch den CER-HV-Ansatz minimiert, da nur eine kleine, hochrangige Teilmenge der Daten geprüft werden muss.
• Generalisierung: Das Framework ist nicht auf arabische Schriften beschränkt, sondern kann als generelle Validierungsmethode für andere Texterkennungs-Datensätze dienen.

Zusammenfassend liefert das Paper einen klaren Beweis dafür, dass systematische Datenbereinigung und -validierung ein entscheidender Schritt für zuverlässige Benchmarks und Fortschritte im Bereich der Handschrifterkennung sind.