Riepilogo Tecnico: InkDiffuser

Enunciato del Problema

I metodi attuali per la generazione della calligrafia cinese, in particolare nelle configurazioni few-shot e one-shot, soffrono di limitazioni significative nella fedeltà visiva e nell'autenticità artistica. Sebbene gli approcci esistenti (sia basati su GAN che su diffusione) possano sintetizzare glifi strutturalmente plausibili, spesso non riescono a riprodurre la complessa morfologia dell'inchiostro caratteristica della scrittura reale con pennello. Nello specifico, questi metodi tendono a produrre output che appaiono eccessivamente digitali, piatti o sfocati, privi della sofisticata diffusione dell'inchiostro, delle variazioni ai bordi delle pennellate e dell'interazione naturale tra inchiostro e carta presenti nella calligrafia autentica. Inoltre, i codificatori di contenuto standard nei modelli di diffusione spesso privilegiano le caratteristiche a bassa frequenza, portando alla perdita di dettagli strutturali ad alta frequenza come angoli netti e bordi delle pennellate, il che è particolarmente dannoso per i caratteri cinesi complessi.

Metodologia

Gli autori propongono InkDiffuser, un framework di immagine-immagine basato sulla diffusione progettato per la sintesi calligrafica cinese one-shot. Il framework è costruito sul Modello Probabilistico di Diffusione Denoising (DDPM) e introduce due meccanismi fondamentali per affrontare le limitazioni sopra menzionate:

1. Modulo di Fusione Adattiva Spazio-Temporale (STAF)

Per contrastare la perdita di dettagli strutturali ad alta frequenza, InkDiffuser impiega un'architettura a doppio codificatore per il flusso di contenuto:

• Doppia Codifica: Un codificatore principale ($E_c$) elabora l'immagine di contenuto standard, mentre un codificatore dedicato ad alta frequenza ($E_{hf}$) elabora una versione dell'immagine di contenuto filtrata in alta frequenza (bordi di Sobel).
• Fusione Residuale: Il modulo STAF fonde queste caratteristiche tramite un framework residuo. Impara ad aggiungere un incremento di dettagli gerarchicamente modulato allo scheletro del contenuto.
• Controllo Adattivo: La fusione è governata da un meccanismo di controllo tridimensionale:
  • Spaziale: Una mappa di attenzione pixel per pixel garantisce che i dettagli ad alta frequenza vengano iniettati solo nelle regioni salienti (ad esempio, bordi delle pennellate), sopprimendo il rumore nelle aree lisce.
  • Per Livello: Vengono assegnati pesi per favorire i livelli superficiali ad alta risoluzione per l'iniezione di dettagli fini, preservando al contempo l'integrità semantica nei livelli più profondi.
  • Temporale: L'intensità della fusione è modulata dal passo temporale di diffusione, fornendo una forte guida strutturale durante le fasi iniziali ad alto rumore e attenuandosi man mano che l'immagine si chiarisce per prevenire artefatti.

2. Perdita di Struttura dell'Inchiostro Differenziabile (DIS)

Per regolarizzare esplicitamente la morfologia dell'inchiostro e abilitare l'ottimizzazione end-to-end delle caratteristiche simili a pennellate, gli autori propongono la perdita DIS. Questa perdita scompone il problema della generazione dell'inchiostro in tre obiettivi utilizzando operazioni morfologiche morbide e differenziabili:

• Morfologia Differenziabile: Le operazioni morfologiche tradizionali (erosione/dilatazione) si basano su funzioni min/max non differenziabili. InkDiffuser approssima queste ultime utilizzando funzioni sigmoide scalate da un parametro di temperatura $\tau$, consentendo ai gradienti di fluire attraverso l'analisi morfologica.
• Perdita a Tre Componenti:
  1. Coerenza Strutturale del Nucleo ($L_c$): Utilizza l'erosione morbida per isolare i nuclei delle pennellate, assicurando che la struttura scheletrica rimanga accurata anche sotto gli effetti della diffusione.
  2. Coerenza del Confine di Diffusione ($L_b$): Utilizza la differenza tra dilatazione morbida ed erosione per creare una maschera di confine, focalizzando la supervisione sulle regioni di diffusione dell'inchiostro per controllare l'estensione della diffusione.
  3. Lisciatura della Diffusione ($L_{lap}$): Impiega un operatore Laplaciano per minimizzare la differenza nelle risposte ai bordi tra le immagini generate e quelle target, incoraggiando le transizioni lisce e arrotondate tipiche dell'inchiostro reale.
• Elementi Strutturanti Circolari: Per preservare la naturale morbidezza delle curve calligrafiche, vengono utilizzati kernel circolari invece di quelli quadrati tradizionali.

L'obiettivo di addestramento totale combina la perdita MSE standard della diffusione, una perdita percettiva (basata su VGG) e la perdita DIS pesata.

Contributi Chiave

1. Framework InkDiffuser: Un nuovo framework di generazione one-shot che bilancia efficacemente la preservazione dell'integrità strutturale intricata con il rendering delle dinamiche realistiche di diffusione dell'inchiostro.
2. Fusione Adattiva Spazio-Temporale (STAF): Un modulo che estrae e fonde componenti ad alta frequenza dalle immagini di contenuto per rafforzare la rappresentazione delle pennellate, migliorando significativamente la sintesi di caratteri complessi.
3. Perdita di Struttura dell'Inchiostro Differenziabile (DIS): Una funzione di perdita su misura che incorpora operatori morfologici morbidi per fornire una supervisione esplicita sulla decomposizione della traccia dell'inchiostro (nucleo vs. confine), permettendo al modello di apprendere la diffusione realistica dell'inchiostro e il controllo del confine in modo end-to-end.

Risultati Sperimentali

Gli autori hanno valutato InkDiffuser su un dataset di 293 font cinesi, suddivisi in insiemi visti e non visti, utilizzando due benchmark di valutazione: UFUC (Fonti Non Viste, Caratteri Non Visti) e UFSC (Fonti Non Viste, Caratteri Visti).

• Prestazioni Quantitative: InkDiffuser ha raggiunto prestazioni all'avanguardia su tutte e cinque le metriche (LPIPS, SSIM, L1, RMSE, PSNR) su entrambi i benchmark. In particolare, nella configurazione UFUC, che è impegnativa, ha migliorato l'SSIM di 0,0242 e ridotto l'errore L1 di 0,0072 rispetto alla baseline più forte (FontDiffuser).
• Prestazioni Qualitative: I confronti visivi hanno dimostrato che InkDiffuser genera caratteri con una coerenza strutturale superiore e un rendering delle pennellate più chiaro rispetto ai metodi basati su GAN (ad esempio, CF-Font, IF-Font) e ad altri metodi basati sulla diffusione (ad esempio, FontDiffuser, MXFont++). Gli output generati hanno mostrato una diffusione dell'inchiostro più autentica e meno artefatti come pennellate mancanti o sfocature.
• Studi di Ablazione:
  • Il modulo STAF ha dimostrato di migliorare significativamente le metriche strutturali (SSIM, L1) ripristinando dettagli topologici mancanti.
  • La perdita DIS è stata fondamentale per migliorare la qualità percettiva (LPIPS) e l'autenticità visiva, in particolare nella sintesi della reale infiltrazione dell'inchiostro.
  • La combinazione di entrambi i moduli ha prodotto i migliori risultati, con STAF che fornisce nitidezza strutturale e DIS che ammorbidisce questi bordi per adattarsi al flusso naturale dell'inchiostro.
• Sensibilità agli Iperparametri: Gli esperimenti hanno indicato che un peso della perdita DIS ($\lambda_{dis}$) di 0,02 ha fornito il compromesso ottimale tra fedeltà strutturale e realismo dell'inchiostro. Pesi più alti hanno causato al modello di privilegiare lo stile rispetto al contenuto, portando a un degrado strutturale.

Significato e Affermazioni

Il documento afferma che InkDiffuser rappresenta un avanzamento significativo nella sintesi calligrafica cinese affrontando direttamente il divario tra la generazione digitale e la realtà fisica della scrittura con pennello. Modellando esplicitamente segnali strutturali ad alta frequenza e morfologia dell'inchiostro differenziabile, il metodo supera l'aspetto "piatto" o "digitale" dei lavori precedenti. Gli autori affermano che il loro approccio raggiunge prestazioni all'avanguardia sia in termini di accuratezza strutturale che di realismo visivo dell'inchiostro, in particolare per i caratteri complessi dove le interazioni delle pennellate sono dense. Il lavoro stabilisce che incorporare priori morfologici espliciti nei modelli di diffusione è una strategia vitale ed efficace per generare stili artistici ad alta fedeltà che richiedono un controllo granulare sulla texture e sulle dinamiche dei confini.