Technische Samenvatting: InkDiffuser

Probleemstelling

Huidige methoden voor het genereren van Chinese kalligrafie, met name in few-shot en one-shot scenario's, kampen met aanzienlijke beperkingen op het gebied van visuele fideliteit en artistieke authenticiteit. Hoewel bestaande benaderingen (zowel GAN-gebaseerd als diffusiemodel-gebaseerd) structureel plausibele glyphen kunnen synthetiseren, slagen ze er vaak niet in de complexe inktmorfologie te reproduceren die kenmerkend is voor echt penseelwerk. Specifiek hebben deze methoden de neiging om outputs te produceren die te digitaal, vlak of wazig lijken, zonder de ingewikkelde inktverspreiding, variaties in streekranden en de natuurlijke interactie tussen inkt en papier die men aantreft in echte kalligrafie. Bovendien prioriteren standaard content-encoders in diffusiemodellen vaak laagfrequente kenmerken, wat leidt tot het verlies van hoogfrequente structurele details zoals scherpe hoeken en streekranden; dit is bijzonder schadelijk voor complexe Chinese karakters.

Methodologie

De auteurs stellen InkDiffuser voor, een diffusiemodel-gebaseerd image-to-image framework dat is ontworpen voor one-shot Chinese kalligrafiesynthese. Het framework is gebaseerd op het Denoising Diffusion Probabilistic Model (DDPM) en introduceert twee kernmechanismen om de bovengenoemde beperkingen aan te pakken:

1. Spatio-Temporale Adaptieve Fusie (STAF) Module

Om het verlies van hoogfrequente structurele details tegen te gaan, hanteert InkDiffuser een dual-encoder architectuur voor de contentstroom:

• Dual Encoding: Een hoofdencoder ($E_c$) verwerkt de standaard contentafbeelding, terwijl een dedicated hoogfrequente encoder ($E_{hf}$) een hoogdoorlaatgefilterde (Sobel-rand) versie van de contentafbeelding verwerkt.
• Residuale Fusie: De STAF-module fuseert deze kenmerken via een residueel raamwerk. Het leert een hiërarchisch gemoduleerde detailincrement toe te voegen aan de content-ruggengraat.
• Adaptieve Controle: De fusie wordt beheerst door een driedimensionaal controlemechanisme:
  • Spatieel: Een pixel-wise attentiekarte zorgt ervoor dat hoogfrequente details alleen in saliente gebieden (bijv. streekranden) worden ingebracht, terwijl ruis in gladde gebieden wordt onderdrukt.
  • Lagen-gewijs: Gewichten worden toegewezen om ondiepe, hoogresolutie lagen te bevoordelen voor fijnmazige detailinjectie, terwijl de semantische integriteit in diepere lagen behouden blijft.
  • Temporeel: De fusie-intensiteit wordt gemoduleerd door de diffusiestap, wat tijdens vroege, hoogruis-stadia sterke structurele begeleiding biedt en afneemt naarmate de afbeelding opheldert om artefacten te voorkomen.

2. Differentieerbare Inktstructuur (DIS) Verlies

Om de inktmorfologie expliciet te regulariseren en end-to-end optimalisatie van penseelachtige kenmerken mogelijk te maken, stellen de auteurs het DIS-verlies voor. Dit verlies decomposeert het inktgeneratieprobleem in drie doelstellingen met behulp van zachte, differentieerbare morfologische operaties:

• Differentieerbare Morfologie: Traditionele morfologische operaties (erosie/dilatatie) vertrouwen op niet-differentieerbare min/max-functies. InkDiffuser benadert deze met behulp van sigmoid-functies die worden geschaald met een temperatuurparameter $\tau$, waardoor gradiënten door de morfologische analyse kunnen stromen.
• Drie-Componenten Verlies:
  1. Kern Structurele Consistentie ($L_c$): Gebruikt zachte erosie om streekkernen te isoleren, zodat het skeletstructuur nauwkeurig blijft, zelfs onder diffusi-effecten.
  2. Diffusie Rand Consistentie ($L_b$): Gebruikt het verschil tussen zachte dilatatie en erosie om een randmasker te creëren, waarbij supervisie zich richt op de inktverspreidingsgebieden om de omvang van de diffusie te controleren.
  3. Diffusie Gladheid ($L_{lap}$): Hanteert een Laplace-operator om het verschil in randresponsen tussen gegenereerde en doelafbeeldingen te minimaliseren, wat de gladde, afgeronde overgangen aanmoedigt die kenmerkend zijn voor echte inkt.
• Circulaire Structurerende Elementen: Om de natuurlijke gladheid van kalligrafische krommen te behouden, worden circulaire kernels gebruikt in plaats van traditionele vierkante.

Het totale trainingsdoel combineert het standaard diffusiemodel MSE-verlies, een perceptueel verlies (VGG-gebaseerd) en het gewogen DIS-verlies.

Belangrijkste Bijdragen

1. InkDiffuser Framework: Een nieuw one-shot generatieframework dat effectief een balans vindt tussen het behoud van ingewikkelde structurele integriteit en het renderen van realistische inktverspreidingsdynamiek.
2. Spatio-Temporale Adaptieve Fusie (STAF): Een module die hoogfrequente componenten uit contentafbeeldingen extrahert en fuseert om de streekrepresentatie te versterken, wat de synthese van complexe karakters aanzienlijk verbetert.
3. Differentieerbare Inktstructuur (DIS) Verlies: Een op maat gemaakt verliesfunctie die zachte morfologische operatoren integreert om expliciete supervisie te bieden op inktspoor-decompositie (kern versus rand), waardoor het model op een end-to-end manier realistische inktverspreiding en randcontrole kan leren.

Experimentele Resultaten

De auteurs hebben InkDiffuser geëvalueerd op een dataset van 293 Chinese lettertypes, verdeeld in gezien en ongeziene sets, met behulp van twee evaluatiebenchmarks: UFUC (Unseen Fonts, Unseen Characters) en UFSC (Unseen Fonts, Seen Characters).

• Kwantitatieve Prestaties: InkDiffuser behaalde state-of-the-art prestaties op alle vijf metrieken (LPIPS, SSIM, L1, RMSE, PSNR) op beide benchmarks. Opmerkelijk is dat het op de uitdagende UFUC-instelling de SSIM met 0,0242 verbeterde en de L1-fout met 0,0072 verlaagde ten opzichte van de sterkste baseline (FontDiffuser).
• Kwalitatieve Prestaties: Visuele vergelijkingen toonden aan dat InkDiffuser karakters genereert met superieure structurele consistentie en duidelijkere streekweergave in vergelijking met GAN-gebaseerde methoden (bijv. CF-Font, IF-Font) en andere diffusiemodel-gebaseerde methoden (bijv. FontDiffuser, MXFont++). De gegenereerde outputs vertoonden meer authentieke inktverspreiding en minder artefacten zoals ontbrekende streken of wazigheid.
• Ablatiestudies:
  • De STAF-module bleek structurele metrieken (SSIM, L1) aanzienlijk te verbeteren door ontbrekende topologische details te herstellen.
  • Het DIS-verlies was cruciaal voor het verbeteren van de perceptuele kwaliteit (LPIPS) en visuele authenticiteit, specifiek bij het synthetiseren van realistische inktinsijpeling.
  • De combinatie van beide modules leverde de beste resultaten op, waarbij STAF structurele scherpte bood en DIS deze randen verzachtte om te matchen met de natuurlijke inktstroom.
• Hyperparameter Sensitiviteit: Experimenten gaven aan dat een DIS-verliesgewicht ($\lambda_{dis}$) van 0,02 de optimale afweging bood tussen structurele fideliteit en inktrealisme. Hogere gewichten veroorzaakten dat het model prioriteit gaf aan stijl boven content, wat leidde tot structurele degradatie.

Betekenis en Claims

Het artikel claimt dat InkDiffuser een aanzienlijke vooruitgang betekent in Chinese kalligrafiesynthese door de kloof tussen digitale generatie en de fysieke realiteit van penseelwerk direct aan te pakken. Door hoogfrequente structurele cues en differentieerbare inktmorfologie expliciet te modelleren, overwint de methode het "platte" of "digitale" uiterlijk van eerdere werken. De auteurs stellen dat hun benadering state-of-the-art prestaties bereikt op zowel structurele nauwkeurigheid als visuele inktrealisme, met name voor complexe karakters waar streekinteracties dicht op elkaar liggen. Het werk stelt vast dat het integreren van expliciete morfologische priors in diffusiemodellen een levensvatbare en effectieve strategie is voor het genereren van hoog-fideliteit artistieke stijlen die fijnmazige controle vereisen over textuur en randdynamiek.