DohaScript: A Large-Scale Multi-Writer Dataset for Continuous Handwritten Hindi Text

DohaScript is een groot, multi-schrijvers dataset voor continu handgeschreven Hindi-tekst, bestaande uit door 531 unieke schrijvers overgeschreven traditionele coupletten, die dient als gestandaardiseerd referentiepunt voor onderzoek naar Devanagari-schrijftaakken.

De kern

Stel je voor dat je een enorme bibliotheek bouwt, maar dan niet voor boeken, maar voor handgeschreven letters. In de wereld van computers en kunstmatige intelligentie (AI) is het heel makkelijk om te leren hoe mensen het Latijnse alfabet (A, B, C...) schrijven. Maar wat als je AI wilt leren om het Devanagari-schrift te lezen? Dat is het schrift dat wordt gebruikt voor Hindi, Sanskriet en Nepali.

Tot nu toe was dit als een donkere kamer: er waren weinig lichten (data) en de kaarten (datasets) waren klein en onvolledig. De auteurs van dit paper, drie onderzoekers van het IISER Bhopal in India, hebben die kamer verlicht met een nieuw project: DohaScript.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Losse Puzelstukjes"

Vroeger hadden we datasets met losse letters of korte woorden, alsof je een puzzel had met alleen losse stukjes, maar geen plaatje van de volledige foto.

• Het probleem: Het Devanagari-schrift is heel anders dan het onze. Letters hangen aan elkaar als een ketting, verbonden door een horizontale lijn bovenop (de shirorekha). Woorden lijken vaak op één groot, samengevoegd monster in plaats van losse blokjes.
• De beperking: Bestaande datasets waren te klein, hadden te weinig schrijvers en waren vaak alleen losse letters. Het was alsof je een auto wilt leren rijden, maar je traint alleen met een fiets.

2. De Oplossing: DohaScript (De "Grote Zangwedstrijd")

De onderzoekers hebben een gigantische verzameling gemaakt met 531 unieke schrijvers.

• De slimme truc: In plaats van iedereen te laten schrijven wat ze wilden (wat een chaos zou worden), gaven ze iedereen exact dezelfde tekst.
• De tekst: Ze kozen zes traditionele Hindi gedichten, genaamd dohas (korte coupletten). Denk hierbij aan een zangwedstrijd waarbij 531 zangers allemaal exact hetzelfde liedje zingen, maar elk met hun eigen unieke stem en stijl.
• Het resultaat: Omdat de tekst identiek is, kan de computer precies zien: "Ah, dit is hoe Meneer X de letter 'A' schrijft, en dit is hoe Mejuffrouw Y dat doet." Het maakt het makkelijk om de stijl van de schrijver te onderscheiden van de inhoud van de tekst.

3. De Kwaliteitscontrole: De "Scherpte-Filter"

Niet alles wat op papier staat, is even goed leesbaar voor een computer. Sommige foto's zijn wazig, slecht belicht of hebben vlekken.

• De automatische filter: De onderzoekers hebben een slimme computer (een AI) getraind om als een strenge leraar te kijken naar de kwaliteit. Ze gebruiken een meetlat voor "scherpte" (hoe scherp de lijnen zijn).
• De indeling: Ze hebben de 531 pagina's ingedeeld in vier categorieën:
  • Slecht: Wazig, onleesbaar.
  • Gemiddeld: Te herkennen, maar niet perfect.
  • Goed: Duidelijk.
  • Uitstekend: Kristalhelder.
• Waarom? Ze hebben een "kerngroep" van de beste schrijfsels geselecteerd om de AI te trainen, maar ze hebben ook de "moeilijke" schrijfsels bewaard. Waarom? Omdat in het echte leven (bijvoorbeeld als je een brief van je oma scant met je telefoon) de kwaliteit vaak slecht is. De AI moet leren om ook die rommelige handschriften te lezen!

4. De Uitdaging: De "Lijn-chaos"

Een ander probleem is dat mensen niet altijd op lijntjes schrijven.

• De chaos: Soms staan de regels te dicht op elkaar, soms overlappen ze, en soms zakt de lijn van het schrift (de baseline) naar beneden.
• De kaart: De onderzoekers hebben elke pagina een "moeilijkheidsgraad" gegeven:
  • Eenvoudig: Alles staat netjes op zijn plek.
  • Moeilijk: De regels kruisen elkaar of staan scheef.
  • Complex: Een ware chaos waar de computer het moeilijk heeft om te weten waar regel 1 eindigt en regel 2 begint.
• De waarde: Dit helpt onderzoekers om te bouwen aan computers die niet alleen "perfect" handschrift lezen, maar ook diegene die echt rommelig is.

5. Waarom is dit belangrijk? (De "Toekomst")

Met DohaScript kunnen onderzoekers nu eindelijk:

• OCR (Optische Tekstherkenning) verbeteren: Zo kunnen oude brieven, schoolwerk of overheidsdocumenten in Hindi sneller en beter digitaal worden gemaakt.
• Schrijvers herkennen: Net zoals een vingerafdruk, kan een computer leren wie een brief heeft geschreven op basis van de stijl.
• Nieuwe schrijfstijlen genereren: AI kan leren hoe een bepaalde persoon schrijft en dan nieuwe teksten in die stijl "schrijven".

Samenvattend

DohaScript is als een gigantisch, georganiseerd handschrift-archief. Het is de eerste keer dat er zo'n grote, gevarieerde verzameling is gemaakt van mensen die dezelfde tekst schrijven. Het helpt computers om de complexe, verbonden wereld van het Indiase schrift te begrijpen, van de schoonste kalligrafie tot de rommeligste krabbel.

Het is een stap voorwaarts om te zorgen dat AI niet alleen Engels of Nederlands begrijpt, maar ook de rijke culturen van India kan "lezen".

Technische samenvatting

Probleemstelling

Ondanks dat het Hindi (geschreven in het Devanagari-schrift) een van de meest gesproken talen ter wereld is, blijft handgeschreven Devanagari-tekst ernstig ondervertegenwoordigd in publiek beschikbare benchmarkdatasets. Bestaande bronnen hebben drie belangrijke beperkingen:

1. Schaal en continuïteit: Ze zijn beperkt in omvang en focussen voornamelijk op geïsoleerde karakters of korte woorden, in plaats van continue, samenhangende tekst.
2. Structuurcomplexiteit: Devanagari heeft een complexe structuur waarbij karakters verbonden zijn door een gedeelde horizontale lijn (shirorekha) en uitgebreide ligaturen vormen. Bestaande methoden voor Latijnse scripts (waar karakters vaak discreet zijn) werken slecht op deze continue, gefuseerde vormen.
3. Ontbreken van schrijverdiversiteit: Er is een gebrek aan datasets met gecontroleerde lexicale inhoud over een groot aantal unieke schrijvers, wat noodzakelijk is voor het analyseren van schrijfstijlen, schrijveridentificatie en generatieve modellering.

Dit gebrek aan grote, diverse en goed geannoteerde datasets belemmert de ontwikkeling van robuuste data-gedreven modellen voor Optical Character Recognition (OCR) en Handwritten Text Recognition (HTR) in het Devanagari-schrift.

Methodologie

1. Dataverzameling en Ontwerp (DohaScript)
De auteurs hebben DohaScript ontwikkeld, een dataset bestaande uit handgeschreven Hindi-tekst van 531 unieke schrijvers.

• Parallelle Stylistische Corpus: In tegenstelling tot datasets die variëren in woordkeuze, hebben alle deelnemers exact dezelfde tekst geschreven: zes traditionele Hindi dohas (couplets) van beroemde dichters (Kabir Das, Rahim Das, Tulsidas).
• Corpus: De tekst bevat 89 woorden en 361 karakters (exclusief spaties), met 55 unieke karakters die de volledige orthografische diversiteit van Devanagari dekken (medeklinkers, klinkers, diacritica, ligaturen en de shirorekha).
• Demografie: De dataset omvat deelnemers van verschillende leeftijden, geslachten en regio's in India, met bijbehorende, niet-identificeerbare metadata.

2. Data Validatie en Kwaliteitsbeheer
Om de kwaliteit van de handgeschreven samples te waarborgen, werd een geautomatiseerd kwaliteitsbeoordelingssysteem ontwikkeld:

• Laplacian-variance: Eerst werd een scherpte-score berekend op basis van de variantie van de Laplacian-operator om onscherpe beelden te detecteren.
• CNN-gebaseerde Classificatie: Omdat scherpte alleen niet alle kwaliteitsaspecten (zoals inktconcentratie, ruis, belichting) dekt, werden Convolutional Neural Networks (CNN's) getraind om beelden te classificeren in vier kwaliteitsklassen: Laag, Medium, Goed en Uitstekend.
  • Een binaire classifier (Laag/Medium vs. Hoog) bereikte een nauwkeurigheid van 96,26%.
  • Op basis van deze modellen werd een "kernsubset" van 288 hoogwaardige samples geselecteerd voor training, terwijl de resterende 243 samples worden bewaard als een uitdagende subset voor robuustheidstesten.

3. Segmentatie-moeilijkheidsannotatie
Naast beeldkwaliteit werd ook de structurele complexiteit van de pagina's geanalyseerd:

• Er werd een heuristische pipeline gebruikt om lijnsegmentatie uit te voeren op alle 531 pagina's.
• Gebaseerd op de nauwkeurigheid van lijndetectie en layout-regulariteit, werden de pagina's gelabeld als Easy, Medium of Complex.
• Resultaat: Slechts 20,7% van de pagina's werd als "Easy" geclassificeerd, terwijl 52,7% als "Complex" werd gezien door factoren zoals overlappende strepen, onregelmatige baselines en onderbroken shirorekha-lijnen.

Belangrijkste Bijdragen

1. Grootste Multi-Schrijver Dataset: DohaScript is de grootste publieke dataset voor continue handgeschreven Hindi-tekst, met 531 unieke schrijvers die dezelfde tekst hebben geschreven.
2. Gecontroleerd Experimenteel Ontwerp: Door dezelfde tekst te gebruiken voor alle schrijvers, kunnen variaties in stijl puur worden geïsoleerd van linguïstische inhoud. Dit maakt de dataset ideaal voor taken zoals schrijveridentificatie en stijlgeneratie.
3. Uitgebreide Metadata en Kwaliteitslabels: De dataset bevat niet-identificeerbare demografische gegevens en uitgebreide annotaties voor zowel beeldkwaliteit (via CNN) als layout-moeilijkheid (Easy/Medium/Complex).
4. Open Beschikbaarheid: De dataset, inclusief code voor data-preprocessing, kwaliteitsbeoordeling en experimenten, is publiek beschikbaar via Google Drive en GitHub.

Resultaten

• Kwaliteitsfiltering: De CNN-gebaseerde filtering resulteerde in een kernset met een gemiddelde blur-score die 53% hoger is dan het originele datasetgemiddelde, wat zorgt voor een sterkere benchmark voor trainingsdoeleinden.
• Segmentatie-uitdagingen: De analyse toonde aan dat zelfs bij visueel schone samples de lijnsegmentatie een grote uitdaging blijft. Slechts 29,57% van de pagina's kon perfect worden gesegmenteerd (12/12 lijnen), wat de noodzaak benadrukt van modellen die rekening houden met layout-variabiliteit.
• Generalisatie: Baseline-experimenten tonen aan dat de dataset goede generalisatie toont naar onbekende schrijvers, wat de betrouwbaarheid van de dataset voor het trainen van HTR-modellen bevestigt.

Betekenis en Impact

DohaScript vult een kritieke leemte in het onderzoek naar Indiase scripts. Het stelt onderzoekers in staat om:

• OCR en HTR te verbeteren voor continue tekst in plaats van alleen geïsoleerde karakters.
• Schrijveridentificatie en biometrie te bestuderen met een gecontroleerde, schrijver-specifieke dataset.
• Generatieve modellen te trainen voor handschriftduplicatie en stijl-overdracht, aangezien de dataset herhaalde lexicale content biedt.
• Robuustheidstests uit te voeren op segmentatie-algoritmen door gebruik te maken van de "Complex" subset.

De dataset fungeert als een gestandaardiseerde, reproduceerbare benchmark die de voortgang in het begrijpen van continu handgeschreven Devanagari-tekst, vooral in low-resource settings, aanzienlijk kan versnellen.