💻 computer science

InkDiffuser: High-Fidelity One-shot Chinese Calligraphy via Differentiable Morphological Optimization

InkDiffuser est un cadre de diffusion qui réalise une synthèse de calligraphie chinoise en un seul coup d'une haute fidélité en intégrant un mécanisme d'amélioration des hautes fréquences et une nouvelle fonction de perte de structure d'encre différentiable (DIS) pour régulariser explicitement la morphologie de l'encre et améliorer le réalisme des traits.

Auteurs originaux : Kunchong Shi, Jing Zhang

Publié 2026-05-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kunchong Shi, Jing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot à écrire de la calligraphie chinoise. L'objectif est que le robot observe une seule exemple d'un caractère écrit par un maître humain, puis soit capable d'écrire ce même style pour tout autre caractère qu'il n'a jamais vu auparavant.

Le problème avec les robots actuels est que leur écriture paraît trop « numérique ». Les lignes sont trop parfaites, les bords trop nets, et ils manquent de cette manière désordonnée et belle dont l'encre réelle s'infiltre dans le papier. Cela ressemble à une police d'ordinateur, pas à une peinture au pinceau.

Les auteurs de cet article, InkDiffuser, ont construit un nouveau système pour corriger cela. Voici comment ils l'ont fait, en utilisant des analogies simples :

1. Les lunettes « Haute Fréquence » (Le module STAF)

Imaginez les modèles d'IA standards comme quelqu'un portant des lunettes embuées. Ils peuvent voir le tableau d'ensemble (la forme globale du caractère), mais ils manquent les détails minuscules comme les coins pointus d'un trait ou le bord exact où l'encre s'arrête.

Les auteurs ont ajouté une paire spéciale de « lunettes Haute Fréquence » à leur système.

Comment cela fonctionne : Ils prennent l'image d'entrée et la font passer à travers un filtre qui ne met en évidence que les bords nets et les lignes fines (comme le contour d'un dessin).
La Magie : Ils nourrissent cette vue « uniquement contours » à l'IA en parallèle de la vue normale. Cela force le robot à prêter attention aux détails minuscules qu'il ignore habituellement. C'est comme donner à l'artiste une loupe pour qu'il ne floute pas accidentellement les coins des lettres.

2. Le professeur « Physique de l'Encre » (La perte DIS)

C'est l'invention la plus unique de l'article. La vraie calligraphie n'est pas juste une ligne noire sur du papier blanc ; c'est une interaction complexe entre l'encre et le papier. L'encre a un cœur sombre et solide (là où le pinceau a appuyé fort) et un halo flou et diffus (là où l'encre a imprégné le papier).

Les modèles d'IA actuels traitent toute la lettre comme un bloc de couleur solide. Ils ne comprennent pas que le centre devrait être différent des bords.

Les auteurs ont créé un « Professeur » appelé Perte de Structure d'Encre Différentiable (DIS Loss).

L'Analogie : Imaginez essayer d'enseigner à un élève à dessiner un nuage. Si vous dites simplement « dessinez une forme blanche », il pourrait dessiner un cercle parfait. Mais si vous dites : « Dessinez un centre sombre qui s'estompe progressivement en un bord doux et flou », il comprendra.
Comment cela fonctionne : La perte DIS agit comme un professeur d'art strict. Elle décompose l'image générée en deux parties :
1. Le Cœur : Elle vérifie si le centre du trait est solide et précis.
2. Le Halo : Elle vérifie si les bords sont flous et se diffusent naturellement, tout comme la vraie encre.
L'astuce : Habituellement, les règles mathématiques sur la « flou » sont trop difficiles pour les ordinateurs à apprendre car elles impliquent des arrêts « durs » (comme un interrupteur lumineux qui est allumé ou éteint). Les auteurs ont inventé une version « douce » de ces règles mathématiques (en utilisant une courbe lisse au lieu d'un interrupteur) afin que l'ordinateur puisse apprendre la différence entre un bord net et une infiltration d'encre douce par essais et erreurs.

3. Le Résultat

Quand ils ont combiné ces deux éléments — les « lunettes Haute Fréquence » pour obtenir la bonne forme et le « Professeur Physique de l'Encre » pour obtenir la bonne texture — le robot produit une calligraphie qui paraît incroyablement réelle.

Avant : L'écriture du robot paraissait plate, floue, ou comme une police d'ordinateur standard.
Après : L'écriture du robot a l'« âme » de la calligraphie. On peut voir l'encre se diffuser, les coins pointus du pinceau, et les imperfections naturelles qui font qu'on dirait qu'un humain l'a écrite.

La Conclusion

L'article affirme qu'en enseignant à l'IA de voir les détails fins et de comprendre la physique de la diffusion de l'encre, ils peuvent générer une belle calligraphie chinoise de haute qualité à partir d'un seul exemple. Ils ont testé cela contre d'autres méthodes de pointe, et leur système a gagné, produisant des caractères qui paraissent plus structurellement précis et visuellement réalistes que tout ce qui est actuellement disponible.

Résumé Technique : InkDiffuser

Énoncé du Problème

Les méthodes actuelles pour générer de la calligraphie chinoise, en particulier dans des contextes à peu d'exemples (few-shot) et un seul exemple (one-shot), souffrent de limitations significatives en matière de fidélité visuelle et d'authenticité artistique. Bien que les approches existantes (basées sur les GAN et sur la diffusion) puissent synthétiser des glyphes structurellement plausibles, elles échouent souvent à reproduire la morphologie de l'encre complexe caractéristique de l'écriture au pinceau réelle. Plus précisément, ces méthodes tendent à produire des résultats qui apparaissent trop numériques, plats ou flous, manquant de la diffusion d'encre complexe, des variations des bords des traits et de l'interaction naturelle entre l'encre et le papier trouvées dans la calligraphie authentique. De plus, les encodeurs de contenu standard dans les modèles de diffusion privilégient souvent les caractéristiques de basse fréquence, entraînant la perte de détails structurels de haute fréquence tels que les coins nets et les bords des traits, ce qui est particulièrement préjudiciable pour les caractères chinois complexes.

Méthodologie

Les auteurs proposent InkDiffuser, un cadre de transformation d'image en image basé sur la diffusion conçu pour la synthèse calligraphique chinoise en un seul exemple. Le cadre est construit sur le Modèle Probabiliste de Diffusion de Débruitage (DDPM) et introduit deux mécanismes centraux pour répondre aux limitations susmentionnées :

1. Module de Fusion Adaptative Spatio-Temporelle (STAF)

Pour contrer la perte de détails structurels de haute fréquence, InkDiffuser emploie une architecture à double encodeur pour le flux de contenu :

Double Encodage : Un encodeur principal ( $E_c$ ) traite l'image de contenu standard, tandis qu'un encodeur dédié de haute fréquence ( $E_{hf}$ ) traite une version filtrée en haute fréquence (bords de Sobel) de l'image de contenu.
Fusion Résiduelle : Le module STAF fusionne ces caractéristiques via un cadre résiduel. Il apprend à ajouter un incrément de détails modulé hiérarchiquement à l'épine dorsale du contenu.
Contrôle Adaptatif : La fusion est régie par un mécanisme de contrôle tridimensionnel :
- Spatial : Une carte d'attention pixel par pixel garantit que les détails de haute fréquence sont injectés uniquement dans les régions saillantes (par exemple, les bords des traits) tout en supprimant le bruit dans les zones lisses.
- Par Couche : Des poids sont attribués pour favoriser les couches peu profondes et haute résolution pour l'injection de détails fins, tout en préservant l'intégrité sémantique dans les couches plus profondes.
- Temporel : L'intensité de la fusion est modulée par le pas de temps de diffusion, fournissant une guidance structurelle forte lors des premières étapes à fort bruit, puis s'estompe à mesure que l'image se clarifie pour prévenir les artefacts.

2. Perte de Structure d'Encre Différentiable (DIS)

Pour régulariser explicitement la morphologie de l'encre et permettre l'optimisation de bout en bout des caractéristiques de type pinceau, les auteurs proposent la perte DIS. Cette perte décompose le problème de génération d'encre en trois objectifs utilisant des opérations morphologiques douces et différentiables :

Morphologie Différentiable : Les opérations morphologiques traditionnelles (érosion/dilatation) reposent sur des fonctions min/max non différentiables. InkDiffuser les approxime en utilisant des fonctions sigmoïdes mises à l'échelle par un paramètre de température $\tau$ , permettant aux gradients de circuler à travers l'analyse morphologique.
Perte à Trois Composantes :
1. Cohérence Structurelle du Cœur ( $L_c$ ) : Utilise une érosion douce pour isoler les cœurs des traits, assurant que la structure squelettique reste précise même sous les effets de diffusion.
2. Cohérence de la Frontière de Diffusion ( $L_b$ ) : Utilise la différence entre la dilatation douce et l'érosion pour créer un masque de frontière, concentrant la supervision sur les régions d'étalement de l'encre pour contrôler l'étendue de la diffusion.
3. Lissage de Diffusion ( $L_{lap}$ ) : Emploie un opérateur Laplacien pour minimiser la différence des réponses aux bords entre les images générées et les images cibles, encourageant les transitions lisses et arrondies typiques de l'encre réelle.
Éléments Structurants Circulaires : Pour préserver la douceur naturelle des courbes calligraphiques, des noyaux circulaires sont utilisés à la place des noyaux carrés traditionnels.

L'objectif global d'entraînement combine la perte MSE standard de diffusion, une perte perceptuelle (basée sur VGG) et la perte DIS pondérée.

Contributions Clés

Cadre InkDiffuser : Un cadre de génération en un seul exemple novateur qui équilibre efficacement la préservation de l'intégrité structurelle complexe avec le rendu de la dynamique réaliste de la diffusion de l'encre.
Fusion Adaptative Spatio-Temporelle (STAF) : Un module qui extrait et fusionne les composantes de haute fréquence des images de contenu pour renforcer la représentation des traits, améliorant considérablement la synthèse de caractères complexes.
Perte de Structure d'Encre Différentiable (DIS) : Une fonction de perte adaptée qui intègre des opérateurs morphologiques doux pour fournir une supervision explicite sur la décomposition de la trace d'encre (cœur vs frontière), permettant au modèle d'apprendre l'étalement réaliste de l'encre et le contrôle des frontières de manière de bout en bout.

Résultats Expérimentaux

Les auteurs ont évalué InkDiffuser sur un ensemble de données de 293 polices chinoises, divisé en ensembles vus et non vus, en utilisant deux référentiels d'évaluation : UFUC (Polices Non Vues, Caractères Non Vus) et UFSC (Polices Non Vues, Caractères Vus).

Performance Quantitative : InkDiffuser a atteint des performances de pointe sur les cinq métriques (LPIPS, SSIM, L1, RMSE, PSNR) sur les deux référentiels. Notamment, sur le défi UFUC, il a amélioré le SSIM de 0,0242 et réduit l'erreur L1 de 0,0072 par rapport à la base de référence la plus forte (FontDiffuser).
Performance Qualitative : Les comparaisons visuelles ont démontré que InkDiffuser génère des caractères avec une cohérence structurelle supérieure et un rendu des traits plus clair par rapport aux méthodes basées sur les GAN (par exemple, CF-Font, IF-Font) et d'autres méthodes basées sur la diffusion (par exemple, FontDiffuser, MXFont++). Les résultats générés présentaient une diffusion d'encre plus authentique et moins d'artefacts tels que des traits manquants ou du flou.
Études d'Ablation :
- Le module STAF s'est avéré améliorer considérablement les métriques structurelles (SSIM, L1) en restaurant les détails topologiques manquants.
- La perte DIS a été cruciale pour améliorer la qualité perceptuelle (LPIPS) et l'authenticité visuelle, spécifiquement dans la synthèse d'une infiltration d'encre réaliste.
- La combinaison des deux modules a produit les meilleurs résultats, STAF fournissant une netteté structurelle et DIS adoucissant ces bords pour correspondre au flux naturel de l'encre.
Sensibilité aux Hyperparamètres : Les expériences ont indiqué qu'un poids de perte DIS ( $\lambda_{dis}$ ) de 0,02 offrait le meilleur compromis entre fidélité structurelle et réalisme de l'encre. Des poids plus élevés ont poussé le modèle à privilégier le style sur le contenu, entraînant une dégradation structurelle.

Importance et Revendications

L'article revendique qu'InkDiffuser représente une avancée significative dans la synthèse calligraphique chinoise en comblant directement le fossé entre la génération numérique et la réalité physique de l'écriture au pinceau. En modélisant explicitement les indices structurels de haute fréquence et la morphologie d'encre différentiable, la méthode surmonte l'apparence « plate » ou « numérique » des travaux précédents. Les auteurs affirment que leur approche atteint des performances de pointe tant en précision structurelle qu'en réalisme visuel de l'encre, en particulier pour les caractères complexes où les interactions de traits sont denses. Ce travail établit que l'intégration de priors morphologiques explicites dans les modèles de diffusion est une stratégie viable et efficace pour générer des styles artistiques haute fidélité nécessitant un contrôle fin sur la texture et la dynamique des frontières.