Riepilogo Tecnico: Generazione di Testo Manoscritto Ucraino Basata su Diffusione con Trasferimento di Stile Cross-Dominio

Enunciato del Problema

La generazione di testo manoscritto (HTG) condizionata allo stile dello scrittore ha fatto progressi significativi per gli script latini, in particolare l'inglese, ma rimane poco esplorata per sistemi di scrittura a risorse limitate e non latini. Esiste un divario critico nella comprensione di whether i modelli di diffusione esistenti, consapevoli dello scrittore e basati su pochi esempi, possano generalizzare oltre il dominio latino fino a script come il cirillico ucraino. Questo trasferimento non è banale a causa delle differenze negli inventari di caratteri, nei pattern di tratto e nella mancanza di dataset su larga scala etichettati per lo scrittore per l'ucraino. Inoltre, non è chiaro se i modelli attuali catturino regolarità specifiche dello script o apprendano una rappresentazione trasferibile dello stile della scrittura a mano.

Metodologia

Costruzione del Dataset

Per colmare la carenza di dati, gli autori hanno costruito un dataset ucraino di parole manoscritte contenente 126.177 immagini provenienti da 308 scrittori, derivato dal corpus a livello di riga UkrHandwritten. La pipeline di costruzione ha coinvolto:

1. Pulizia della Pre-segmentazione: Applicazione di una rete di ripristino NAFNet per rimuovere artefatti di sottolineatura sbiaditi che potrebbero essere appresi come caratteristiche di stile spurie.
2. Segmentazione per Componenti Connessi: Una pipeline personalizzata che utilizza la binarizzazione di Otsu e OpenCV per unire i componenti entro 8 pixel, seguita dalla selezione degli $N-1$ spazi inter-gruppo più ampi come confini di parola. Ciò ha raggiunto un tasso di corrispondenza perfetta dei confini del 95,7%, superando significativamente i metodi di proiezione verticale (71,7%).
3. Filtraggio della Qualità: Una pipeline a cinque stadi ha rimosso campioni contenenti caratteri latini, errori di punteggiatura, rapporti di aspetto estremi e corrispondenze OCR a bassa confidenza. È stato applicato una soglia di similarità stratificata per lunghezza per prevenire il rifiuto di brevi parole funzionali.
4. Bilanciamento: I caratteri ucraini rari (ad es. ф, ґ, Щ, Є, Ц, ї) sono stati sovracampionati duplicando i ritagli 2–5 volte per garantire un'adeguata rappresentazione.

Architettura del Modello

Lo studio ha utilizzato DiffusionPen, un modello di diffusione latente a pochi esempi, senza modifiche architetturali.

• Base: Un modello di diffusione latente condizionale che opera nello spazio latente 4×8×32 di un VAE di Stable Diffusion v1.5 congelato.
• Condizionamento:
  • Testo: Codificato tramite un encoder CANINE a livello di carattere (che supporta nativamente i punti di codice Unicode cirillici) e proiettato sulla dimensione U-Net.
  • Stile: Un embedding continuo di stile ($s \in \mathbb{R}^{1280}$) derivato da un encoder a perdita tripletto MobileNetV2 congelato, mediato su cinque immagini di riferimento.
  • ID Scrittore: Un embedding di etichetta appreso sommato all'embedding di stile.
• Addestramento: Il modello è stato addestrato per 200 epoche sul nuovo dataset utilizzando gli obiettivi standard di previsione del rumore LDM. È stata applicata la guida senza classificatore (CFG) per il condizionamento del testo ($p_{drop}=0.2$), mentre il condizionamento di stile non è mai stato omesso.

Protocolli di Valutazione

Gli autori hanno valutato il modello in tre contesti distinti per testare la generalizzazione cross-dominio:

1. Trasferimento Cross-linguistico: Generazione di parole ucraine utilizzando riferimenti di stile dal database di scrittura a mano inglese IAM.
2. Trasferimento Storico: Generazione di testo utilizzando riferimenti di stile da un manoscritto ucraino dei primi del XX secolo (inchiostro, carta e forme di lettera diversi).
3. Imitazione a Pochi Esempi: Generazione di testo per scrittori contemporanei non visti dal dataset RUKOPYS.

Risultati Chiave

Performance Quantitativa

• Qualità Visiva: Il modello ha raggiunto una Distanza di Incezione di Fréchet (FID) di 23,09 su 5.000 campioni distribuiti tra 308 scrittori. Questo è paragonabile alle prestazioni di DiffusionPen sul dataset IAM inglese (~20–25), indicando una qualità visiva alla pari con lo stato dell'arte per script latini.
• Leggibilità: Il Tasso di Errore dei Caratteri (CER) misurato da un modello Cyrillic TrOCR è stato del 16,0% complessivamente.
  • Fuori Vocabolario (OOV): 15,6% (più basso rispetto all'In-Vocabolario al 16,5%), confermando che il modello generalizza a sequenze non viste piuttosto che memorizzare il vocabolario.
  • Lettere Rare: Il divario CER tra lettere rare e comuni è stato di soli 1,4 punti percentuali (17,2% vs 15,8%), validando l'efficacia del sovracampionamento mirato.
  • Dipendenza dalla Lunghezza: Le prestazioni variavano in base alla lunghezza della parola, con i migliori risultati nella gamma di 4–6 caratteri (10,8% CER) e errori più alti per parole molto brevi (1–3 caratteri, 42,7% CER), attribuiti in gran parte alle limitazioni del riconoscitore sulle parole a singolo carattere.

Studi di Ablazione

• Dimensione del Dataset vs. Purezza: Dataset più grandi e rumorosi (67K campioni) hanno superato dataset più piccoli e ultra-puliti (12,8K campioni), confermando che la diversità domina la purezza per l'HTG basato su diffusione.
• Qualità della Segmentazione: Il passaggio dalla proiezione verticale alla segmentazione per componenti connessi ha ridotto l'MSE di validazione da 0,0787 a 0,0658, identificato come il singolo fattore di miglioramento più grande.
• Architettura: L'aumento del numero di blocchi residui per livello U-Net da 1 a 2 (corrispondente alle specifiche di Stable Diffusion v1.5) ha ulteriormente ridotto l'MSE e migliorato la nitidezza dei glifi.

Trasferimento Cross-Dominio

Il modello ha trasferito con successo gli stili attraverso significativi spostamenti di dominio:

• Inglese verso Ucraino: Le parole ucraine generate hanno riprodotto visivamente il peso del tratto, l'angolo e la spaziatura degli scrittori inglesi del dataset IAM.
• Storico verso Moderno: Il modello ha adottato le qualità calligrafiche (tratti più ampi, proporzioni formali) di un manoscritto del XX secolo generando al contempo forme di carattere moderne.
• Scrittori Non Visti: Il modello ha imitato l'inclinazione e il peso del tratto degli scrittori del dataset RUKOPYS senza fine-tuning, dimostrando una robusta generalizzazione a pochi esempi.

Significato e Affermazioni

Il documento afferma di fornire la prima evidenza empirica che i modelli di diffusione latente a pochi esempi possono generalizzare oltre il dominio degli script latini fino al cirillico ucraino. I contributi chiave includono:

1. Un Nuovo Benchmark: Il rilascio di un dataset ucraino a livello di parola etichettato per lo scrittore con 126K campioni, colmando una lacuna critica di risorse.
2. Trasferibilità Provata: Dimostrare che un modello addestrato su script latini può essere adattato al cirillico senza modifiche architetturali, mantenendo capacità di trasferimento di stile significative attraverso lingue, periodi storici e scrittori non visti.
3. Approfondimenti Metodologici: Stabilire che la diversità del dataset e la qualità della segmentazione sono più critiche per la qualità della generazione rispetto alla stretta purezza dei dati, e che il corrispondere il conteggio dei blocchi residui U-Net al modello di diffusione di base migliora i risultati.

Gli autori concludono che, sebbene rimangano limitazioni riguardanti i caratteri rari e l'apostrofo ucraino, il lavoro fornisce una base valida per estendere l'HTG stilizzato ad altri sistemi di scrittura sottorappresentati.