DRG-Font: Dynamic Reference-Guided Few-shot Font Generation via Contrastive Style-Content Disentanglement

1. Il Problema

La Generazione di Font a Pochi Esempi (Few-shot Font Generation - FFG) mira a generare glifi (caratteri) che adottino uno stile tipografico specifico partendo da un numero limitato di immagini di riferimento. Sebbene esistano metodi avanzati, le sfide principali includono:

• Complessità degli stili: Catturare attributi stilistici complessi da pochi esemplari è difficile.
• Perdita di caratteristiche locali: I metodi esistenti spesso falliscono nel mantenere le caratteristiche locali discernibili nei campioni generati.
• Limitazioni delle decomposizioni strutturali: Molti approcci basati sulla decomposizione in tratti (strokes) sono specifici per determinati sistemi di scrittura (es. cinese) e non generalizzano bene ad altri script o a stili artistici complessi senza regole di decomposizione ben definite.
• Costo computazionale: I metodi basati su modelli di diffusione, sebbene di alta qualità, hanno un elevato costo computazionale che ne limita l'uso pratico.

2. Metodologia Proposta: DRG-Font

Il paper introduce DRG-Font, una strategia di generazione che utilizza l'apprendimento contrastivo per disaccoppiare gli spazi di embedding di stile e contenuto, permettendo una fusione dinamica e guidata.

Componenti Chiave dell'Architettura:

1. Modulo di Selezione del Riferimento (RS Module):

   • Poiché non tutti i caratteri di riferimento sono ugualmente adatti per trasferire lo stile su un target specifico, questo modulo seleziona dinamicamente il riferimento stilistico ottimale da un pool di candidati.
   • Utilizza un Stroke Matching Comparator (SMC) che calcola la similarità strutturale basata su proprietà topologiche e geometriche (lunghezza normalizzata, curvatura media, distribuzione dell'orientamento) tra il carattere di contenuto target e i candidati. Viene scelto il candidato con la massima similarità strutturale.

2. Codificatore Stile-Contenuto (Style-Content Encoder - $E_{sc}$):

   • Utilizza un approccio contrastivo per decomporre le immagini di riferimento in spazi di embedding separati: stile ($e^{style}$) e contenuto ($e^{content}$).
   • L'architettura include blocchi di downsampling seguiti da due testine parallele:
     • MSHB (Multi-scale Style Head Block): Estrae rappresentazioni di stile a più scale utilizzando medie e varianze dei canali per catturare le variazioni geometriche.
     • MCHB (Multi-scale Content Head Block): Estrae i prior strutturali del contenuto utilizzando convoluzioni e pooling per preservare la forma del carattere.

3. Decodificatore Stile-Contenuto (Style-Content Decoder - $D_{sc}$):

   • Riceve l'embedding di contenuto del carattere target e l'embedding di stile del riferimento selezionato.
   • Utilizza un blocco di Upsampling Multi-Fusione (MFUB) che fonde progressivamente le informazioni di stile multiscala sulla struttura del contenuto target.
   • Impiega meccanismi come AdaIN (Adaptive Instance Normalization) e gating condizionato allo stile per adattare lo stile ai tratti specifici del carattere.

4. Discriminatore e Obiettivo di Addestramento:

   • Un discriminatore di tipo PatchGAN fornisce supervisione avversariale e classiifica anche stile e contenuto (loss ausiliaria).
   • Funzione di Perdita Ibrida: L'addestramento ottimizza sei componenti:
     • Reconstruction Loss ($L_{recon}$): Distanza L1 a livello di pixel.
     • Perceptual Loss ($L_{perc}$): Basata su VGG19 per la fedeltà visiva.
     • Adversarial Loss ($L_{adv}$): Per la realismo.
     • Classification Loss ($L_{cls}$): Per la coerenza di stile e contenuto.
     • Disentanglement Loss ($L_{dist}$): Circle Loss contrastiva per garantire che gli embedding di stile e contenuto siano ben separati e compatti.
     • Latent Loss ($L_{latent}$): Utilizza un encoder VAE di Stable Diffusion v2 (fissato) per allineare le immagini generate e reali nello spazio latente, migliorando la coerenza strutturale oltre il livello dei pixel.

3. Contributi Principali

• Selezione Dinamica del Riferimento: Il modulo RS migliora significativamente la qualità della generazione selezionando il riferimento stilistico strutturalmente più vicino al target, risolvendo il problema della scelta arbitraria del riferimento.
• Strategia Contrastiva di Disaccoppiamento: Un nuovo approccio per separare gli spazi di stile e contenuto, ottimizzato con una funzione di perdita ibrida che include loss contrastive, di ricostruzione e avversariali.
• Generalizzazione Multi-Script: Il metodo funziona efficacemente su script diversi (Latino/Inglese e Cinese) senza richiedere regole di decomposizione in tratti specifiche per lo script, superando i limiti dei metodi basati su strutture predefinite.
• Prestazioni Superiori: Dimostra miglioramenti significativi rispetto agli stati dell'arte (SOTA) sia nelle valutazioni quantitative che qualitative.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset di caratteri inglesi (811 font) e cinesi (521 font), con divisioni in "Seen" (addestramento) e "Unseen" (test).

• Metriche Quantitative: DRG-Font ha ottenuto i punteggi migliori (o secondi migliori) su L1, RMSE, SSIM e LPIPS su entrambi i dataset, superando metodi come FANNET, MA-Font, PatchFont, FASTER e DA-Font.
• Studio Utente (MOS): In uno studio soggettivo con 76 partecipanti, il metodo proposto è stato preferito nel 53,42% dei casi per i font inglesi e nel 55,66% per quelli cinesi, dimostrando una qualità visiva percepita nettamente superiore.
• Analisi Qualitativa: Le immagini generate mostrano bordi più nitidi, confini dei tratti più chiari e una migliore allineamento strutturale rispetto ai metodi concorrenti, che spesso soffrono di deformazioni strutturali o artefatti.
• Studi di Ablazione:
  • La rimozione del modulo RS degrada significativamente la qualità (peggioramento del 26% su L1).
  • L'uso combinato di $L_{cls}$ e $L_{latent}$ è cruciale per le prestazioni finali.
  • Una dimensione di embedding di 256 per ogni testa è risultata ottimale.

5. Significato e Impatto

DRG-Font rappresenta un avanzamento significativo nel campo della generazione tipografica. La sua capacità di disaccoppiare dinamicamente stile e contenuto senza dipendere da decomposizioni strutturali rigide lo rende uno strumento versatile per script complessi e stili artistici. L'integrazione di un meccanismo di selezione del riferimento intelligente e l'uso di loss latenti derivate da modelli di diffusione (senza l'overhead computazionale dell'inferenza completa) offrono un equilibrio ottimale tra qualità, efficienza e generalizzazione. Questo approccio apre nuove possibilità per la creazione di font personalizzati e l'editing di testo in scenari reali con dati limitati.