Structure-Level Disentangled Diffusion for Few-Shot Chinese Font Generation

Cet article propose SLD-Font, un modèle de diffusion à désassemblage au niveau structurel qui améliore la génération de polices chinoises à partir de peu d'exemples en séparant rigoureusement le contenu et le style pour garantir une fidélité stylistique accrue sans altérer la précision du contenu.

L'essentiel

🎨 Le Défi : Créer des polices chinoises sans être un calligraphe

Imaginez que vous voulez créer une nouvelle police d'écriture pour un logo de marque, mais que vous n'avez qu'une seule photo d'un caractère chinois écrit dans le style que vous aimez. C'est le défi de la "génération de polices en quelques coups de pinceau" (few-shot).

Le problème avec les caractères chinois, c'est qu'ils sont comme des cathédrales complexes : ils ont beaucoup de détails, de traits et de structures. Si vous demandez à un artiste (ou une IA) de copier le style d'un seul exemple, il risque de faire deux erreurs :

1. Il déforme le caractère (il change le sens du mot).
2. Il ne copie pas bien le style (le trait est trop fin ou trop épais).

Les anciennes méthodes d'IA essayaient de séparer le "contenu" (la forme du mot) du "style" (l'aspect artistique), mais elles le faisaient de manière floue, comme essayer de mélanger de l'huile et de l'eau dans un verre sans brouiller les deux. Résultat : le mélange finissait par se re-mélanger, créant des erreurs.

---

🧩 La Solution : SLD-Font (Le Chef d'Orchestre)

Les auteurs proposent une nouvelle méthode appelée SLD-Font. Voici comment cela fonctionne, avec des analogies simples :

1. La Séparation Totale (Le Disentangle)

Au lieu de mélanger le contenu et le style, SLD-Font les traite dans deux voies séparées, comme deux cuisiniers différents travaillant dans la même cuisine :

• Le Cuisinier "Structure" (Le Contenu) : Il prend un caractère standard (comme le SimSun, une police très neutre) qui sert de moule. Son seul travail est de s'assurer que la forme du caractère est parfaite et ne change pas. C'est le squelette.
• Le Cuisinier "Style" (L'Artiste) : Il regarde les photos de référence (le style cible) et dit au premier cuisinier : "Peins le squelette avec cette couleur, cette épaisseur de trait et cette texture."

Grâce à cette séparation stricte (au niveau de la structure, pas juste des pixels), l'IA ne confond plus jamais la forme du mot avec le style artistique.

2. Le Nettoyage des Taches (Le Module BNR)

Les modèles d'IA modernes utilisent souvent une sorte de "compresseur" (un VAE) pour travailler plus vite. Mais comme un fichier ZIP mal compressé, cela laisse parfois des artefacts ou du "bruit" (de petites taches grises) autour des traits fins, un peu comme de la poussière sur une vitre propre.

Pour régler ça, les auteurs ont ajouté un Module de Nettoyage du Bruit de Fond (BNR). Imaginez un chiffon magique qui passe sur l'image générée pour essuyer toutes les taches grises indésirables, laissant le trait noir parfaitement net sur le fond blanc.

3. L'Apprentissage Rapide (Le PEFT)

D'habitude, pour adapter une IA à un nouveau style, il faut la réentraîner complètement, ce qui est long et coûteux. De plus, l'IA a tendance à "mémoriser" les exemples par cœur et à oublier comment créer d'autres mots (elle fait du "par cœur" au lieu de comprendre).

SLD-Font utilise une stratégie intelligente appelée PEFT (Fine-Tuning Économe en Paramètres).

• L'analogie : Imaginez que vous avez un chef cuisinier expert (l'IA) qui connaît déjà parfaitement la recette de base (la structure des mots chinois). Vous n'avez pas besoin de lui apprendre à cuisiner de nouveau. Vous lui donnez juste une nouvelle épice (le style) à ajouter.
• L'IA ne modifie que la partie "épices" (le style) et garde la partie "recette de base" (le contenu) intacte. Cela permet de s'adapter à un nouveau style en quelques minutes sans casser la structure des mots.

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur méthode avec deux nouveaux "tests de vérité" :

1. Le test "Gris" (Grey) : Ils regardent si l'image est vraiment noire et blanche, sans taches grises parasites.
2. Le test "Lecture" (OCR) : Ils utilisent un logiciel de lecture de texte pour voir si l'IA a bien écrit le mot correct.

Le verdict ?

• Les anciennes méthodes faisaient des erreurs de lecture ou laissaient des taches.
• SLD-Font produit des caractères parfaits à lire (comme un texte imprimé) tout en ayant un style magnifique qui ressemble exactement à l'exemple donné.

En résumé

Imaginez que vous voulez copier le style d'un calligraphe célèbre pour écrire votre propre nom.

• Les anciennes IA écrivaient votre nom, mais le style ressemblait à celui d'un autre, ou le nom était illisible.
• SLD-Font, c'est comme avoir un squelette de mot indestructible que l'on habille ensuite avec le costume parfait du calligraphe, le tout en nettoyant soigneusement les coutures pour que le résultat soit impeccable.

C'est une avancée majeure pour créer des polices chinoises personnalisées rapidement, sans avoir besoin de dessiner chaque caractère à la main !

Résumé technique

1. Problématique

La génération de polices de caractères chinoises en « few-shot » (à partir de très peu d'exemples) vise à synthétiser de nouveaux caractères dans un style cible en utilisant seulement quelques images de référence. Ce défi est particulièrement complexe pour les caractères chinois en raison de leur structure intrinsèquement complexe et de leur grand nombre (plus de 27 000 dans la norme GB18030).

Les méthodes existantes, basées sur des GANs ou des modèles de diffusion, tentent de dissocier le contenu (la forme du caractère) du style (l'épaisseur des traits, la connectivité, etc.) au niveau des fonctions (feature-level). Cependant, cette approche présente une limitation majeure : le générateur a tendance à « ré-enchevêtrer » ces caractéristiques lors de la génération, ce qui entraîne :

• Des distorsions de la structure du caractère (erreurs de contenu).
• Une fidélité stylistique dégradée.
• Des artefacts de bruit de fond, notamment dans les zones à traits denses.

L'objectif est donc de parvenir à une désentanglement au niveau de la structure pour garantir une préservation parfaite du contenu tout en permettant un transfert de style flexible et précis.

2. Méthodologie : SLD-Font

Les auteurs proposent SLD-Font, un modèle de diffusion désenchevêtré au niveau de la structure. L'architecture repose sur un modèle de diffusion latent (LDM) et intègre trois innovations clés :

A. Désentanglement au niveau de la structure

Contrairement aux approches précédentes qui fusionnent les caractéristiques de contenu et de style avant l'injection, SLD-Font traite ces deux informations via des canaux distincts au sein du réseau U-Net :

• Canal de Contenu : L'image source (dans le style SimSun, choisi pour sa structure claire) est encodée par un VAE et concaténée avec l'image latente bruitée. Elle sert de modèle structurel direct pour guider la génération.
• Canal de Style : Les caractéristiques de style sont extraites des images de référence via un modèle CLIP pré-entraîné. Ces caractéristiques sont injectées dans l'U-Net via un mécanisme d'attention croisée (cross-attention), agissant comme des « prompts » visuels pour moduler le processus de génération sans altérer la structure de base.

Cette séparation stricte permet au modèle de se concentrer sur la représentation spatiale du contenu tout en étant guidé par le style, évitant ainsi le ré-enchevêtrement.

B. Module de Suppression du Bruit de Fond (BNR)

Les modèles de diffusion latents (LDM) utilisent un VAE pour décoder les images, ce qui introduit souvent du bruit et des artefacts, particulièrement visibles sur les fonds blancs et les traits denses des caractères chinois.

• Pour résoudre cela, les auteurs introduisent un module Background Noise Removal (BNR) opérant dans l'espace des pixels (et non latent).
• Ce module, également basé sur un U-Net, prend en entrée l'image binaire décodée et l'image source, et applique des pertes spécifiques (perte d'arêtes Sobel et perte perceptuelle VGG) pour éliminer le bruit de fond tout en préservant la netteté des traits.

C. Affinage Efficace en Paramètres (PEFT)

Pour s'adapter à de nouveaux styles avec très peu d'exemples sans surapprentissage (overfitting) sur le contenu des caractères de référence :

• Une analyse théorique et expérimentale des gradients montre que les paramètres liés au style (couches d'attention croisée, dernière couche de CLIP) sont plus sensibles aux variations de style, tandis que les autres paramètres sont sensibles au contenu.
• La stratégie PEFT consiste à geler les paramètres liés au contenu et à ne mettre à jour que les paramètres liés au style. Cela permet une adaptation rapide au style cible tout en préservant l'intégrité structurelle des caractères générés, même pour des caractères jamais vus.

3. Contributions Clés

1. Architecture SLD-Font : Première approche à réaliser un désentanglement explicite au niveau de la structure (et non seulement des fonctionnalités) pour la génération de polices chinoises, en séparant les flux de contenu et de style dans l'U-Net.
2. Module BNR : Introduction d'un module de nettoyage dans l'espace des pixels pour corriger les artefacts inhérents aux VAE, améliorant considérablement la qualité visuelle des traits complexes.
3. Stratégie PEFT : Application pionnière de l'affinage efficace des paramètres dans ce contexte, prouvant théoriquement et expérimentalement qu'elle permet d'éviter le surapprentissage au contenu tout en capturant précisément le style.
4. Nouvelles Métriques d'Évaluation : Introduction de deux métriques spécifiques pour évaluer la qualité du contenu :
   • Grey : Mesure la similitude des histogrammes de niveaux de gris pour quantifier le bruit de fond.
   • OCR : Utilise des modèles de reconnaissance optique de caractères (PaddleOCR, ResNet) pour valider la justesse sémantique des caractères générés.

4. Résultats Expérimentaux

Les expériences ont été menées sur 900 styles de polices chinoises (840 pour l'entraînement, 60 pour le test) avec des scénarios de « Seen/Unseen Characters » et « Seen/Unseen Fonts ».

• Performance Globale : SLD-Font surpasse les méthodes de l'état de l'art (LF-Font, MX-Font, FontDiffuser, MSDFont, etc.) sur toutes les métriques, y compris le SSIM, LPIPS, FID et la perte L1.
• Impact du PEFT : La version affinée (SLD-Font+PEFT) atteint les meilleurs scores de fidélité stylistique (FID, LPIPS) tout en maintenant une précision de contenu exceptionnelle (Score OCR > 99%, Score Grey > 0.99).
• Comparaison avec MSDFont+FT : Contrairement à MSDFont qui, lorsqu'il est affiné, perd en précision de contenu (surapprentissage), SLD-Font+PEFT conserve l'intégrité du contenu grâce à la désentanglement structurelle.
• Qualité Visuelle : Les visualisations montrent que SLD-Font gère mieux les variations de largeur, l'épaisseur des traits et les connexions complexes, y compris dans des cas difficiles comme les écritures semi-cursives.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la génération de polices asiatiques complexes. En passant d'un désentanglement de fonctionnalités à un désentanglement structurel, les auteurs résolvent le compromis classique entre fidélité du contenu et flexibilité du style.

L'introduction du module BNR et de la stratégie PEFT offre une solution robuste aux problèmes de bruit et de surapprentissage, rendant la génération de polices chinoises personnalisées plus fiable et accessible. Les nouvelles métriques (Grey, OCR) établissent également un nouveau standard pour l'évaluation rigoureuse de la qualité sémantique et structurelle dans ce domaine, au-delà des simples mesures de similarité visuelle.