DohaScript: A Large-Scale Multi-Writer Dataset for Continuous Handwritten Hindi Text

Die Arbeit stellt DohaScript vor, einen groß angelegten, mehrschreiberigen Datensatz mit kontinuierlichem handschriftlichem Hindi-Text von 531 Autoren, der als standardisierter Benchmark dient, um die bisherige Unterrepräsentation von Devanagari-Schrift in der Forschung zu überwinden und Aufgaben wie Handschrifterkennung sowie Stilanalyse zu ermöglichen.

Das Wesentliche

Stell dir vor, du möchtest das Geheimnis der menschlichen Handschrift entschlüsseln. Aber nicht nur bei einer Sprache, sondern speziell bei Hindi, das in der Schrift Devanagari geschrieben wird.

Das Problem bisher war: Es gab kaum große, öffentliche Sammlungen von echter, durchgehender Handschrift in Hindi. Die vorhandenen Daten waren wie einzelne Puzzleteile (einzelne Buchstaben oder kurze Wörter), aber keine ganzen Sätze oder Geschichten. Das ist, als würdest du versuchen, ein Auto zu verstehen, indem du nur Räder und Türen einzeln betrachtest, aber nie das ganze Fahrzeug siehst.

Hier kommt DohaScript ins Spiel.

Was ist DohaScript?

Stell dir DohaScript wie eine riesige, organisierte Schreibwettbewerb-Arena vor.

• Die Teilnehmer: 531 verschiedene Menschen aus ganz Indien haben teilgenommen.
• Die Aufgabe: Jeder musste exakt dasselbe schreiben. Nicht irgendeinen Text, sondern sechs traditionelle Hindi-Gedichte, sogenannte „Dohas" (zweizeilige Reime).
• Das Ergebnis: 531 Blätter Papier, auf denen jeder genau dieselben 89 Wörter geschrieben hat, aber jeder mit seinem ganz eigenen, persönlichen Stil.

Warum ist das so besonders? (Die Analogie des „Kochwettbewerbs")

Stell dir vor, 531 Köche bekommen exakt dieselben Zutaten (die Wörter der Dohas) und denselben Kochauftrag.

• Der eine Koch schneidet die Zwiebeln fein, der andere grob.
• Der eine würzt stark, der andere mild.
• Der eine schreibt die Zutatenliste in einer kritzligen Handschrift, der andere in einer sauberen.

Früher hatten Forscher nur wenige dieser Kochbücher. Mit DohaScript haben sie nun alle 531 Versionen. Das erlaubt ihnen zu sehen: Was macht diesen Koch einzigartig? Wie verändert sich der Stil, wenn der Koch älter wird oder aus einer anderen Region kommt?

Die drei großen Herausforderungen, die gelöst wurden

1. Das Problem der „verwobenen Buchstaben"
In lateinischen Sprachen (wie Deutsch oder Englisch) sind die Buchstaben oft wie einzelne Perlen auf einer Schnur. In Hindi (Devanagari) sind sie wie ein Knotenwerk. Alle Buchstaben eines Wortes sind oben durch eine horizontale Linie verbunden (die sogenannte Shirorekha). Das macht es für Computer extrem schwer, zu erkennen, wo ein Wort endet und das nächste beginnt. DohaScript zeigt dem Computer genau diese komplexen Knoten in ihrer natürlichen Form.

2. Die Qualitäts-Filterung (Der „Schärfen-Test")
Nicht jeder Teilnehmer hat perfekt geschrieben oder fotografiert. Manche Bilder waren unscharf, wie ein Foto, das man aus Versehen verwackelt hat.
Die Forscher haben einen cleveren KI-Filter entwickelt. Stell dir das wie einen strengen Fotografen vor, der prüft: „Ist das Bild scharf genug, um die Tintenspuren zu sehen?"

• Sie haben die Bilder in Kategorien eingeteilt: Von „Etwas unscharf" bis „Kristallklar".
• Das Tolle: Sie haben nicht nur die perfekten Bilder behalten, sondern auch die schwierigen, unscharfen. Warum? Weil das der Realität entspricht. Ein Computer, der nur auf perfekten Bildern trainiert, scheitert im echten Leben. DohaScript trainiert die KI also auch für den „schmutzigen" Alltag.

3. Die „Linienschwierigkeit"
Manchmal schreiben Menschen so eng, dass die Zeilen ineinander überlaufen, oder sie halten sich nicht an die Linien.
Die Forscher haben eine Art Schwierigkeitsgrad für jede Seite eingeführt:

• Leicht: Die Zeilen sind klar getrennt.
• Mittel: Es gibt kleine Unregelmäßigkeiten.
• Komplex: Die Zeilen sind ein Chaos, die Buchstaben überlappen sich.
  Das hilft Forschern zu testen: „Kann meine Software auch dann lesen, wenn die Zeilen durcheinander sind?"

Was bringt uns das?

DohaScript ist wie ein neues Werkzeugkasten-Set für Forscher und Entwickler:

• Für die OCR (Texterkennung): Damit können Computer handschriftliche Hindi-Notizen, Schulhefte oder Behördendokumente endlich richtig lesen.
• Für die Forensik: Man kann herausfinden, wer ein Dokument geschrieben hat, nur anhand des Stils (wie bei einer Handschrift-Untersuchung).
• Für die KI-Kreativität: Man kann KI-Modelle trainieren, die neue Texte in verschiedenen menschlichen Stilen „schreiben" können.

Fazit

Kurz gesagt: DohaScript ist die erste große, öffentliche Bibliothek, die zeigt, wie 531 verschiedene Menschen dasselbe Hindi-Gedicht schreiben. Es füllt eine riesige Lücke, die bisher verhinderte, dass Computer Hindi-Handschrift so gut verstehen wie englische oder deutsche. Es ist ein Schritt, um die digitale Welt für Hunderte von Millionen Hindi-Sprechern zugänglicher zu machen.

Technische Zusammenfassung

1. Problemstellung

Trotz der enormen Sprecherzahl (hunderte Millionen) ist handschriftlicher Devanagari-Text (die Schrift für Hindi und andere indische Sprachen) in öffentlich zugänglichen Benchmark-Datensätzen stark unterrepräsentiert. Bestehende Ressourcen leiden unter folgenden Mängeln:

• Begrenzter Umfang: Sie konzentrieren sich meist auf isolierte Zeichen oder kurze Wörter, nicht auf kontinuierlichen Text.
• Fehlende Komplexität: Sie erfassen nicht die strukturelle Komplexität des Devanagari, bei dem Zeichen durch eine gemeinsame Shirorekha (horizontale Kopfzeile) verbunden sind und komplexe Ligaturen bilden.
• Mangelnde Vielfalt: Es fehlt an kontrollierter lexikalischer Einheitlichkeit über viele Schreiber hinweg, was Analysen von Schreibstilen erschwert.
• Datendefizit: Dies behindert die Entwicklung moderner, datengetriebener Modelle (z. B. Deep Learning) für Aufgaben wie Handschrifterkennung (HTR), Schreiberidentifikation und generative Modellierung.

2. Methodik und Datenerhebung

Die Autoren stellen DohaScript vor, einen groß angelegten, multi-schreiberbasierten Datensatz, der speziell für kontinuierlichen Hindi-Text entwickelt wurde.

• Datensatz-Design:

  • Teilnehmer: 531 eindeutige Schreiber (135 weiblich, 396 männlich) aus verschiedenen Regionen Indiens.
  • Inhalt: Jeder Teilnehmer schrieb denselben festen Satz von sechs traditionellen Hindi-Dohas (Kupletts) von bekannten Dichtern (Kabir, Rahim, Tulsidas).
  • Umfang: Der Korpus besteht aus 89 Wörtern und 361 Zeichen (ohne Leerzeichen) mit 55 einzigartigen Zeichen. Dies deckt das gesamte phonetische und orthografische Spektrum des Devanagari ab (Konsonanten, Vokale, Diakritika, Ligaturen).
  • Vorteil: Durch die Identität des Textes bei variierenden Schreibern wird eine systematische Analyse des Schreibstils unabhängig vom linguistischen Inhalt ermöglicht (paralleles stilistisches Korpus).

• Datenerfassung:

  • Die Daten wurden über Google Forms (gescannt oder fotografiert) und Scanner gesammelt.
  • Alle Seiten wurden auf ein einheitliches A4-Format (2480×3508 Pixel, 300 DPI) skaliert.
  • Es wurden nur nicht-identifizierende demografische Metadaten (Alter, Geschlecht, Bundesstaat) erhoben, um die Privatsphäre zu schützen.

• Qualitätssicherung (Data Validation):

  • Laplacian-Variance: Eine initiale Bewertung der Bildschärfe mittels Varianz des Laplace-Operators.
  • CNN-basierte Klassifizierung: Da einfache Metriken nicht ausreichen, wurden Convolutional Neural Networks (CNNs) trainiert, um die Bildqualität basierend auf Rohpixel-Daten zu bewerten.
  • Klassen: Ein binärer Klassifikator (Niedrig/Mittel vs. Hoch) und ein vier-Klassen-Modell (Low, Medium, Good, Excellent).
  • Filterung: Basierend auf einem CNN mit 96,26 % Genauigkeit wurde ein hochwertiger Kernsubset (288 Bilder) extrahiert, während ein Subset mit niedrigerer Qualität (243 Bilder) als „herausforderndes" Set für Robustheitstests erhalten blieb.

• Layout-Analyse (Segmentierungsschwierigkeit):

  • Um die strukturelle Komplexität zu erfassen, wurde eine heuristische Pipeline zur Zeilensegmentierung entwickelt.
  • Basierend auf der Genauigkeit der Zeilenerkennung und Layout-Regularität wurden die Seiten in drei Schwierigkeitsstufen eingeteilt: Easy (20,7 %), Medium (26,6 %) und Complex (52,7 %).
  • Dies zeigt, dass selbst bei visuell sauberen Bildern strukturelle Herausforderungen wie überlappende Striche oder unregelmäßige Baselines bestehen bleiben.

3. Schlüsselbeiträge

1. DohaScript-Datensatz: Der erste groß angelegte, multi-schreiberbasierte Datensatz für kontinuierlichen handschriftlichen Hindi-Text mit 531 einzigartigen Schreibern und identischem lexikalischem Inhalt.
2. Paralleles Stil-Korpus: Ein Design, das die Trennung von Schreibstil und linguistischem Inhalt ermöglicht, was für Stilanalyse und Schreiberidentifikation entscheidend ist.
3. Umfassende Metadaten und Annotationen:
   • Demografische Daten für soziolinguistische Analysen.
   • Objektive Qualitätslabels (basierend auf CNN).
   • Seiten-Level-Schwierigkeitsannotationen (Easy/Medium/Complex) für stratifizierte Benchmarks.
4. Reproduzierbarkeit: Öffentlicher Zugriff auf die Rohdaten (Google Drive) und den gesamten Code für Vorverarbeitung, Qualitätsbewertung und Experimente (GitHub).

4. Ergebnisse

• Qualitätsklassifikation: Das trainierte CNN erreichte eine Testgenauigkeit von 96,26 % für die binäre Unterscheidung und 85,98 % für die vier-Klassen-Klassifizierung.
• Datensatz-Filterung: Nach der Filterung enthielt der hochwertige Subset 54,5 % „Good" und 45,5 % „Excellent" Proben mit einer durchschnittlichen Unschärfe-Score-Erhöhung von 53 % gegenüber dem ursprünglichen Mittelwert.
• Segmentierungsschwierigkeit: Nur 29,57 % der Seiten konnten perfekt in 12 Zeilen segmentiert werden. Die Mehrheit (52,7 %) fiel in die Kategorie „Complex", was die Notwendigkeit von Modellen unterstreicht, die mit komplexen Layouts umgehen können.
• Generalisierung: Baseline-Experimente zeigten eine starke Generalisierungsfähigkeit auf unbekannte Schreiber, was die Zuverlässigkeit des Datensatzes für das Training von Modellen bestätigt.

5. Bedeutung und Ausblick

DohaScript schließt eine kritische Lücke in der Forschung zu indischen Schriftsystemen.

• Forschungsfortschritt: Es ermöglicht den Übergang von isolierten Zeichen- zu kontextabhängigen, kontinuierlichen Texterkennungsaufgaben.
• Vielseitige Anwendungen: Der Datensatz ist ideal für HTR, Schreiberidentifikation, Stilanalyse, Handschriftensynthese (Generative AI) und Dokumentenlayout-Analyse.
• Standardisierung: Als standardisierter Benchmark fördert er faire Vergleiche zwischen verschiedenen Algorithmen und unterstützt die Entwicklung robusterer Modelle für Low-Resource-Szenarien.
• Realitätsnähe: Durch die Einbeziehung von „schwierigen" und „komplexen" Beispielen (nicht nur saubere Scans) bietet der Datensatz eine realistischere Testumgebung für die Anwendung in der echten Welt.

Zusammenfassend stellt DohaScript einen Meilenstein für die Verarbeitung handschriftlicher Devanagari-Texte dar und bietet eine solide Grundlage für die nächste Generation von OCR- und KI-Modellen in diesem Bereich.