Structure-Level Disentangled Diffusion for Few-Shot Chinese Font Generation

Dit artikel introduceert SLD-Font, een structureel gedissocieerd diffusiemodel dat door het scheiden van content en stijl op structuurniveau, gecombineerd met een achtergrondruisverwijderingsmodule en een parameter-efficiënte fijne-tuningstrategie, hoogwaardige Chinese lettertypen genereert met slechts enkele voorbeeldafbeeldingen.

De kern

Stel je voor dat je een meesterkalligraaf bent die een nieuw lettertype moet ontwerpen. In het verleden moest je voor elk van de 27.000 Chinese karakters handmatig de vorm tekenen. Dat is net als proberen een hele bibliotheek te bouwen door elke steen met de hand te vormen: het kost eeuwen en je wordt er moe van.

Vandaag gebruiken computers dit probleem op te lossen. Ze proberen een paar voorbeelden van een nieuw lettertype te nemen en de rest van de karakters automatisch te "verzinnen". Maar hier zit een addertje onder het gras: de computer is vaak zo goed in het kopiëren van de stijl (de dikte van de lijnen, de hoekjes), dat hij de inhoud (het karakter zelf) verdraait. Het resultaat lijkt dan op een raadselachtig krabbelwerk in plaats van een leesbaar karakter.

Dit paper introduceert SLD-Font, een slimme nieuwe manier om dit op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Splitsing: Inhoud vs. Stijl

Stel je voor dat je een foto wilt maken van een vriend in een nieuw kostuum.

• De oude manier: De computer probeerde de foto en het kostuum door elkaar te mengen. Soms kreeg je een vriend met een hoed, maar dan was zijn neus ook ineens een hoed. De "inhoud" en "stijl" waren verward.
• De nieuwe manier (SLD-Font): De auteurs maken twee aparte kanalen aan.
  • Kanaal 1 (De Bouwplaat): Dit kanaal kijkt alleen naar de structuur van het karakter (bijvoorbeeld een standaard SimSun-lettertype). Het zorgt ervoor dat het karakter eruitziet als een "A" en niet als een "B". Het is de stevige fundering van het huis.
  • Kanaal 2 (De Verf en Stijl): Dit kanaal kijkt naar de voorbeelden die jij geeft (het nieuwe lettertype). Het zorgt voor de dikte van de lijnen, de hoekjes en de sfeer.

De magie zit hem in het feit dat deze twee kanalen niet met elkaar verward worden. De computer bouwt eerst het huis (inhoud) en schildert het daarna pas in de gewenste stijl. Hierdoor blijft het karakter leesbaar, maar ziet het eruit alsof het uit het nieuwe lettertype komt.

2. De "Ruis-Verwijderaar" (BNR)

Soms, als een computer een afbeelding maakt, komt er een beetje "stof" of "ruis" op de witte achtergrond. Bij gewone foto's zie je dit niet, omdat er veel kleuren zijn. Maar bij Chinese karakters, met hun strakke zwarte lijnen op een witte achtergrond, ziet zo'n beetje ruis eruit als vlekken of een vieze achtergrond.

De auteurs hebben een speciale "stofzuiger" (de Background Noise Removal module) gebouwd. Deze kijkt naar het resultaat, ziet die vlekken op de witte achtergrond en veegt ze weg, zodat het karakter er weer strak en schoon uitziet, alsof het net uit de drukkerij komt.

3. Slim Leren zonder Vergeten (PEFT)

Dit is misschien wel het slimste stukje. Stel je voor dat je een chef-kok bent die een nieuw recept wil leren.

• De oude manier: Je probeert het hele recept van begin tot eind te herschrijven. Het risico is groot dat je vergeet hoe je een ei moet bakken, omdat je te gefocust bent op de nieuwe saus. De computer "leert" dan het nieuwe lettertype, maar vergeet hoe hij andere karakters moet maken.
• De nieuwe manier (PEFT): De computer past alleen de "specerijen" aan (de stijl), maar laat de basisrecepten (de structuur van de karakters) intact. Hij leert dus alleen hoe je de lijnen moet tekenen in de nieuwe stijl, zonder de vorm van de letters zelf te veranderen. Hierdoor kan hij heel snel nieuwe lettertypes leren, zelfs met maar een paar voorbeelden, zonder dat hij de inhoud verdraait.

Waarom is dit belangrijk?

Voorheen moesten mensen urenlang handmatig lettertypes ontwerpen. Met deze nieuwe methode kunnen we:

1. Snelheid: Lettertypes maken in een handomdraai.
2. Kwaliteit: De karakters blijven perfect leesbaar (geen "krabbelwerk").
3. Flexibiliteit: Je kunt elk gewenst lettertype (van strakke zakelijke letters tot handgeschreven krabbels) nabootsen zonder dat de computer de boel verpest.

Kortom: SLD-Font is als een super-slome assistent die de bouwplaat (de inhoud) vasthoudt, terwijl hij met een magische verfkwast (de stijl) het hele karakter in een nieuw jasje steekt, zonder dat er een vlekje op komt.

Technische samenvatting

Probleemstelling

Het genereren van Chinese lettertypes met weinig voorbeelden (few-shot learning) is een uitdagende taak vanwege de complexe structuur en het enorme aantal Chinese karakters (meer dan 27.000 in de GB18030-standaard). Bestaande methoden, vaak gebaseerd op GANs of diffusion-modellen, proberen inhoud (content) en stijl te ontkoppelen op feature-niveau. Dit leidt echter tot een her-ontkoppeling (re-entanglement) tijdens het generatieproces. Het gevolg is dat de gegenereerde karakters vaak structurele vervormingen vertonen of de doelstijl niet nauwkeurig overnemen. Chinese lettertypes vereisen een hoge mate van inhoudstrouw; zelfs kleine afwijkingen kunnen de leesbaarheid of betekenis van een karakter vernietigen.

Methodologie: SLD-Font

De auteurs stellen SLD-Font (Structure-Level Disentangled Diffusion Model) voor, een model dat ontkoppeling op structuurniveau bereikt in plaats van alleen op feature-niveau. Het model is gebouwd op het Latent Diffusion Model (LDM) framework en bestaat uit de volgende kerncomponenten:

1. Structuurniveau-ontkoppeling:

   • Inhoudskanaal: De inhoudsinformatie wordt direct als template ingevoerd. Een bronafbeelding in SimSun-stijl (een standaard lettertype) wordt gecombineerd met de ruisverstoord latent beeld en als input naar de U-Net gestuurd. Hierdoor focust de U-Net-backbone puur op het behoud van de structurele patronen van het karakter.
   • Stijlkanaal: Stijlinformatie wordt geëxtraheerd uit referentieafbeeldingen met behulp van een CLIP-model. Deze stijlfuncties worden via cross-attention in de U-Net injecteerd. Hierdoor moduleren de stijlinformatie het generatieproces zonder de structurele integriteit van de inhoud te verstoren.

2. Background Noise Removal (BNR) Module:

   • Omdat VAE-decoders (die gebruikt worden in LDMs) vaak ruis introduceren, vooral in gebieden met dichte strepen, wordt een extra module in de pixelruimte toegevoegd.
   • Deze module neemt de binaire output van de decoder en de bronafbeelding als input en verwijdert achtergrondruis. Het wordt getraind met een combinatie van L1-verlies, Sobel-randverlies (voor scherpte) en VGG-perceptueel verlies.

3. Parameter-Efficient Fine-Tuning (PEFT):

   • Om overfitting op de inhoud van de referentieafbeeldingen te voorkomen bij het aanpassen aan nieuwe stijlen, wordt een strategie voor efficiënt finetunen gebruikt.
   • Op basis van een theoretische en empirische gradiëntanalyse wordt bewezen dat bepaalde parameters (zoals de K/V-projectiematrices in cross-attention en de laatste laag van CLIP) gevoeliger zijn voor stijlvariaties, terwijl andere parameters gevoeliger zijn voor inhoud.
   • Tijdens finetunen worden alleen de stijlgerelateerde parameters ($\theta_s$) bijgewerkt, terwijl de inhoudsgerelateerde parameters ($\theta_c$) bevroren blijven. Dit zorgt voor een snelle aanpassing aan de doelstijl zonder de structuur van nieuwe karakters te beschadigen.

Belangrijkste Bijdragen

• SLD-Font Architectuur: Een nieuw diffusion-model dat inhoud en stijl ontkoppelt op structuurniveau door gebruik te maken van aparte inputpaden en cross-attention, wat leidt tot betere behoud van karakterintegriteit.
• BNR Module: Een innovatieve pixel-ruimte module die specifiek is ontworpen om de ruis te elimineren die door VAE-decoders wordt gegenereerd in complexe streepgebieden.
• PEFT Strategie: De eerste toepassing van parameter-efficiënt finetunen in few-shot lettertypegeneratie op basis van structurele ontkoppeling. Dit lost het dilemma op tussen stijlanpassing en overfitting op inhoud.
• Nieuwe Evaluatiemetrics: De introductie van twee nieuwe metrics:
  • Grey: Meet de achtergrondruis door vergelijking van grijswaarde-histogrammen.
  • OCR-accuracy: Gebruikt bestaande OCR-modellen (PaddleOCR en ResNet) om de leesbaarheid en correctheid van de gegenereerde karakters kwantitatief te beoordelen.

Resultaten

Experimentele resultaten tonen aan dat SLD-Font significant beter presteert dan state-of-the-art methoden (zoals LF-Font, MX-Font, FontDiffuser en MSDFont) op zowel gestructureerde als ongeziene lettertypes en karakters.

• Stijlfideliteit: Het model bereikt de hoogste scores op stijlgerelateerde metrics (SSIM, LPIPS, FID), vooral met de PEFT-strategie.
• Inhoudskwaliteit: Ondanks de sterke stijlanpassing blijft de inhoudstrouw hoog. De OCR-score blijft boven de 98% (0.989), wat aangeeft dat de gegenereerde karakters correct worden herkend. De Grey-score is ook zeer hoog (0.997), wat aantoont dat achtergrondruis effectief is verwijderd.
• Visualisatie: Visuele vergelijkingen tonen aan dat SLD-Font+PEFT complexe stijleigenschappen (zoals verbindingen tussen strepen, schaduweffecten en variaties in breedte) beter nabootst dan concurrenten, zonder de structuur van het karakter te vervormen.

Betekenis en Impact

Dit werk is significant omdat het een fundamenteel probleem in Chinese lettertypegeneratie aanpakt: de balans tussen creatieve stijlanpassing en strikte structurele correctheid. Door ontkoppeling op structuurniveau te forceren in plaats van alleen op feature-niveau, biedt SLD-Font een robuustere oplossing voor personalisatie van lettertypes. De introductie van de BNR-module en de nieuwe evaluatiemetrics (Grey en OCR) stelt een nieuwe standaard voor het beoordelen van de kwaliteit van gegenereerde teksten, waarbij niet alleen esthetiek, maar ook leesbaarheid en schone output centraal staan. De methode maakt het mogelijk om hoogwaardige, aangepaste Chinese lettertypes te genereren met slechts een handvol voorbeelden, wat van grote waarde is voor branding, historische restauratie en culturele creativiteit.