Résumé technique : Génération de texte manuscrit ukrainien basée sur la diffusion avec transfert de style inter-domaine

Énoncé du problème

La génération de texte manuscrit (HTG) conditionnée par le style de l'auteur a considérablement progressé pour les scripts latins, en particulier l'anglais, mais reste sous-explorée pour les systèmes d'écriture à ressources limitées et non latins. Un écart critique existe dans la compréhension de la capacité des modèles de diffusion actuels, adaptés à quelques exemples et conscients de l'auteur, à généraliser au-delà du domaine latin vers des scripts comme le cyrillique ukrainien. Ce transfert est non trivial en raison des différences dans les inventaires de caractères, les motifs de traits et l'absence de jeux de données à grande échelle étiquetés par auteur pour l'ukrainien. De plus, il n'est pas clair si les modèles actuels capturent des régularités spécifiques au script ou apprennent une représentation transférable du style d'écriture manuscrite.

Méthodologie

Construction du jeu de données

Pour pallier le manque de données, les auteurs ont construit un jeu de données ukrainien au niveau des mots contenant 126 177 images provenant de 308 auteurs, dérivé du corpus UkrHandwritten au niveau des lignes. Le pipeline de construction a impliqué :

1. Nettoyage de la pré-segmentation : Application d'un réseau de restauration NAFNet pour éliminer les artefacts de soulignement pâles qui pourraient être appris comme des caractéristiques de style spuriaires.
2. Segmentation par composantes connexes : Un pipeline personnalisé utilisant la binarisation d'Otsu et OpenCV pour fusionner les composantes à moins de 8 pixels, suivi de la sélection des $N-1$ plus grands espaces inter-groupes comme limites de mots. Cela a permis d'atteindre un taux de correspondance parfaite des limites de 95,7 %, surpassant nettement les méthodes de projection verticale (71,7 %).
3. Filtrage de la qualité : Un pipeline en cinq étapes a éliminé les échantillons contenant des caractères latins, des erreurs de ponctuation, des rapports d'aspect extrêmes et des correspondances OCR à faible confiance. Un seuil de similarité stratifié par longueur a été appliqué pour éviter le rejet des mots-fonctions courts.
4. Équilibrage : Les caractères ukrainiens rares (par exemple, ф, ґ, Щ, Є, Ц, ї) ont été suréchantillonnés en dupliquant les recadrages 2 à 5 fois pour assurer une représentation adéquate.

Architecture du modèle

L'étude a utilisé DiffusionPen, un modèle de diffusion latent à quelques exemples, sans modification architecturale.

• Base : Un modèle de diffusion latent conditionnel opérant dans l'espace latent 4×8×32 d'un VAE Stable Diffusion v1.5 gelé.
• Conditionnement :
  • Texte : Encodé via un encodeur de caractères CANINE (qui prend nativement en charge les points de code Unicode cyrilliques) et projeté sur la dimension du U-Net.
  • Style : Une embedding de style continue ($s \in \mathbb{R}^{1280}$) dérivée d'un encodeur triplet-loss MobileNetV2 gelé, moyennée sur cinq images de référence.
  • ID de l'auteur : Une embedding d'étiquette apprise sommée à l'embedding de style.
• Entraînement : Le modèle a été entraîné pendant 200 époques sur le nouveau jeu de données en utilisant les objectifs standard de prédiction de bruit LDM. L'orientation sans classificateur (CFG) a été appliquée au conditionnement textuel ($p_{drop}=0.2$), tandis que le conditionnement de style n'a jamais été abandonné.

Protocoles d'évaluation

Les auteurs ont évalué le modèle dans trois configurations distinctes pour tester la généralisation inter-domaine :

1. Transfert inter-langue : Génération de mots ukrainiens en utilisant des références de style issues de la base de données de manuscrits anglais IAM.
2. Transfert historique : Génération de texte en utilisant des références de style issues d'un manuscrit ukrainien du début du XXe siècle (encre, papier et formes de lettres différents).
3. Imitation à quelques exemples : Génération de texte pour des auteurs contemporains non vus issus du jeu de données RUKOPYS.

Résultats clés

Performance quantitative

• Qualité visuelle : Le modèle a atteint une distance Fréchet Inception (FID) de 23,09 sur 5 000 échantillons répartis sur 308 auteurs. Cela est comparable aux performances de DiffusionPen sur le jeu de données anglais IAM (~20–25), indiquant une qualité visuelle à égalité avec l'état de l'art pour les scripts latins.
• Lisibilité : Le taux d'erreur de caractères (CER) mesuré par un modèle TrOCR cyrillique était de 16,0 % au total.
  • Hors vocabulaire (OOV) : 15,6 % (inférieur au vocabulaire interne à 16,5 %), confirmant que le modèle généralise à des séquences non vues plutôt qu'il ne mémorise le vocabulaire.
  • Lettres rares : L'écart de CER entre les lettres rares et courantes n'était que de 1,4 point de pourcentage (17,2 % contre 15,8 %), validant l'efficacité du suréchantillonnage ciblé.
  • Dépendance à la longueur : Les performances variaient selon la longueur des mots, avec les meilleurs résultats dans la plage de 4 à 6 caractères (10,8 % de CER) et des erreurs plus élevées pour les mots très courts (1 à 3 caractères, 42,7 % de CER), attribuées en grande partie aux limitations du reconnaissance sur les mots d'un seul caractère.

Études d'ablation

• Taille du jeu de données vs Pureté : Des jeux de données plus grands et plus bruyants (67 000 échantillons) ont surpassé des jeux de données plus petits et ultra-propres (12 800 échantillons), confirmant que la diversité domine la pureté pour l'HTG basée sur la diffusion.
• Qualité de la segmentation : Le passage de la projection verticale à la segmentation par composantes connexes a réduit l'erreur quadratique moyenne (MSE) de validation de 0,0787 à 0,0658, identifié comme le facteur d'amélioration unique le plus important.
• Architecture : L'augmentation du nombre de blocs résiduels par niveau du U-Net de 1 à 2 (correspondant aux spécifications de Stable Diffusion v1.5) a réduit davantage la MSE et amélioré la netteté des glyphes.

Transfert inter-domaine

Le modèle a transféré avec succès des styles à travers des décalages de domaine significatifs :

• Anglais vers ukrainien : Les mots ukrainiens générés reproduisaient visiblement le poids du trait, l'angle et l'espacement des auteurs anglais du jeu de données IAM.
• Historique vers moderne : Le modèle a adopté les qualités calligraphiques (traits plus larges, proportions formelles) d'un manuscrit du XXe siècle tout en générant des formes de caractères modernes.
• Auteurs non vus : Le modèle a imité l'inclinaison et le poids du trait des auteurs du jeu de données RUKOPYS sans affinage, démontrant une généralisation robuste à quelques exemples.

Signification et affirmations

L'article prétend fournir la première preuve empirique que les modèles de diffusion latents à quelques exemples peuvent généraliser au-delà du domaine des scripts latins vers le cyrillique ukrainien. Les contributions clés incluent :

1. Une nouvelle référence : La publication d'un jeu de données ukrainien au niveau des mots de 126 000 échantillons, étiqueté par auteur, répondant à une lacune critique en ressources.
2. Transférabilité prouvée : Démontrer qu'un modèle entraîné sur des scripts latins peut être adapté au cyrillique sans changements architecturaux tout en conservant des capacités de transfert de style significatives à travers les langues, les périodes historiques et les auteurs non vus.
3. Insights méthodologiques : Établir que la diversité des jeux de données et la qualité de la segmentation sont plus critiques pour la qualité de génération que la pureté stricte des données, et que l'ajustement du nombre de blocs résiduels du U-Net au modèle de diffusion de base améliore les résultats.

Les auteurs concluent que bien que des limitations subsistent concernant les caractères rares et l'apostrophe ukrainienne, ce travail fournit une base viable pour étendre l'HTG stylisée à d'autres systèmes d'écriture sous-représentés.