Technische Samenvatting: Generatie van Oekraïens Handgeschreven Tekst op Basis van Diffusie met Cross-Domein Stijloverdracht

Probleemstelling

Generatie van handgeschreven tekst (HTG) op basis van schrijversstijl heeft aanzienlijke vooruitgang geboekt voor Latijnse scripts, met name Engels, maar blijft onderbelicht voor low-resource en niet-Latijnse schrijfsystemen. Er bestaat een kritieke lacune in het begrijpen of bestaande few-shot, schrijversbewuste diffusiemodellen zich kunnen generaliseren buiten het Latijnse domein naar scripts zoals Oekraïens Cyrillisch. Deze overdracht is niet triviaal vanwege verschillen in karaktersets, streekpatronen en het ontbreken van grote, door schrijvers gelabelde datasets voor het Oekraïens. Bovendien is het onduidelijk of huidige modellen script-specifieke regelmatigheden vastleggen of een overdraagbare representatie van handgeschreven stijl leren.

Methodologie

Datasetconstructie

Om het gebrek aan data aan te pakken, construeerden de auteurs een Oekraïens handgeschreven dataset op woordniveau, bestaande uit 126.177 afbeeldingen van 308 schrijvers, afgeleid van het UkrHandwritten-corpus op lijnniveau. Het constructieproces omvatte:

1. Opruimen van pre-segmentatie: Toepassing van een NAFNet-herstelnetwerk om vage onderstrepingen te verwijderen die als spuriële stijlfactoren zouden kunnen worden geleerd.
2. Segmentatie op basis van verbonden componenten: Een aangepast proces met Otsu-binariëring en OpenCV om componenten binnen 8 pixels te samenvoegen, gevolgd door het selecteren van de $N-1$ breedste inter-groepsgaten als woordgrenzen. Dit resulteerde in een perfecte grens-matchpercentage van 95,7%, wat aanzienlijk beter was dan verticale-projectiemethoden (71,7%).
3. Kwaliteitsfiltering: Een vijfstapsproces verwijderde steekproeven met Latijnse karakters, leestekensfouten, extreme aspectverhoudingen en OCR-matches met lage betrouwbaarheid. Een op lengte gestratificeerde similariteitsdrempel werd toegepast om de afwijzing van korte functiewoorden te voorkomen.
4. Balancering: Zeldzame Oekraïense karakters (bijv. ф, ґ, Щ, Є, Ц, ї) werden oversampled door crops 2–5 keer te dupliceren om een adequate vertegenwoordiging te garanderen.

Modelarchitectuur

De studie gebruikte DiffusionPen, een few-shot latent diffusiemodel, zonder architecturale wijzigingen.

• Basis: Een conditioneel latent diffusiemodel dat werkt in de 4×8×32 latentruimte van een bevroren Stable Diffusion v1.5 VAE.
• Conditionering:
  • Tekst: Gecodeerd via een CANINE-karakterencoder (die native Cyrillische Unicode-codepoints ondersteunt) en geprojecteerd naar de U-Net-dimensie.
  • Stijl: Een continue stijlembedding ($s \in \mathbb{R}^{1280}$) afgeleid van een bevroren MobileNetV2 triplet-loss encoder, gemiddeld gepooled over vijf referentieafbeeldingen.
  • Schrijvers-ID: Een geleerde label-embeddings die wordt opgeteld bij de stijlembedding.
• Training: Het model werd getraind gedurende 200 epochs op de nieuwe dataset met standaard LDM-noisepredictiedoelstellingen. Classifier-free guidance (CFG) werd toegepast op tekstconditionering ($p_{drop}=0.2$), terwijl stijlconditionering nooit werd weggelaten.

Evaluatieprotocollen

De auteurs evalueerden het model in drie verschillende settings om cross-domein generalisatie te testen:

1. Cross-linguale overdracht: Genereren van Oekraïense woorden met stijlen referenties uit de IAM-Engelse handgeschreven database.
2. Historische overdracht: Genereren van tekst met stijlen referenties uit een Oekraïens manuscript uit het begin van de 20e eeuw (verschillende inkt, papier en lettervormen).
3. Few-Shot imitatie: Genereren van tekst voor onbekende hedendaagse schrijvers uit de RUKOPYS-dataset.

Belangrijkste Resultaten

Kwantitatieve Prestaties

• Visuele Kwaliteit: Het model bereikte een Fréchet Inception Distance (FID) van 23,09 op 5.000 steekproeven over 308 schrijvers. Dit is vergelijkbaar met de prestaties van DiffusionPen op de Engelse IAM-dataset (~20–25), wat aangeeft dat de visuele kwaliteit gelijk is aan de state-of-the-art voor Latijnse scripts.
• Leesbaarheid: De Character Error Rate (CER), gemeten met een Cyrillische TrOCR-model, was 16,0% in totaal.
  • Out-of-Vocabulary (OOV): 15,6% (lager dan In-Vocabulary bij 16,5%), wat bevestigt dat het model zich generaliseert tot onbekende sequenties in plaats van vocabulaire te memoriseren.
  • Zeldzame Letters: De CER-kloof tussen zeldzame en veelvoorkomende letters was slechts 1,4 procentpunten (17,2% versus 15,8%), wat de effectiviteit van gerichte oversampling valideert.
  • Lengte-afhankelijkheid: De prestaties varieerden per woordlengte, met de beste resultaten in het bereik van 4–6 karakters (10,8% CER) en hogere fouten voor zeer korte woorden (1–3 karakters, 42,7% CER), grotendeels toegeschreven aan beperkingen van de recognizer bij enkel-karakterwoorden.

Ablatiestudies

• Datasetgrootte versus Zuiverheid: Grotere, ruwere datasets (67K steekproeven) presteerden beter dan kleinere, ultra-schone datasets (12,8K steekproeven), wat bevestigt dat diversiteit zuiverheid domineert voor diffusie-gebaseerde HTG.
• Kwaliteit van Segmentatie: Het overschakelen van verticale projectie naar segmentatie op basis van verbonden componenten verlaagde de validatie-MSE van 0,0787 naar 0,0658, geïdentificeerd als de enige grootste verbeteringsfactor.
• Architectuur: Het verhogen van het aantal residual blocks per U-Net-niveau van 1 naar 2 (in overeenstemming met de specificaties van Stable Diffusion v1.5) verlaagde de MSE verder en verbeterde de scherpte van de glyphen.

Cross-Domein Overdracht

Het model slaagde erin stijlen over te dragen over significante domeinverschuivingen:

• Engels naar Oekraïens: Genereerde Oekraïense woorden die zichtbaar de streekdikte, hoek en afstand van Engelse schrijvers uit de IAM-dataset reproduceerden.
• Historisch naar Modern: Het model nam de kalligrafische kwaliteiten (bredere streken, formele proporties) aan van een manuscript uit de 20e eeuw terwijl het moderne karaktervormen genereerde.
• Onbekende Schrijvers: Het model imiteerde de helling en streekdikte van schrijvers uit de RUKOPYS-dataset zonder fine-tuning, wat robuuste few-shot generalisatie aantoont.

Betekenis en Claims

Het artikel claimt de eerste empirische bewijzen te leveren dat few-shot latent diffusiemodellen zich kunnen generaliseren buiten het Latijnse script-domein naar Oekraïens Cyrillisch. Belangrijke bijdragen zijn:

1. Een nieuwe benchmark: De release van een Oekraïense dataset op woordniveau met 126K steekproeven en schrijverslabels, waarmee een kritieke resource-gat wordt gedicht.
2. Gevestigde overdraagbaarheid: Aantonen dat een model getraind op Latijnse scripts kan worden aangepast aan Cyrillisch zonder architecturale wijzigingen, terwijl betekenisvolle stijloverdrachtscapaciteiten behouden blijven over talen, historische periodes en onbekende schrijvers.
3. Methodologische inzichten: Vaststellen dat datasetdiversiteit en segmentatiekwaliteit belangrijker zijn voor de generatiekwaliteit dan strikte datazuiverheid, en dat het overeenstemmen van het aantal residual blocks van de U-Net met het basisdiffusiemodel de resultaten verbetert.

De auteurs concluderen dat hoewel beperkingen blijven bestaan met betrekking tot zeldzame karakters en het Oekraïense apostrof, het werk een levensvatbare basis biedt voor het uitbreiden van gestileerde HTG naar andere ondervertegenwoordigde schrijfsystemen.