HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models

1. Il Problema

I modelli di diffusione (Diffusion Models) hanno rivoluzionato la generazione di immagini e il trasferimento di stile. Tuttavia, le approcci esistenti per il trasferimento di stile presentano due limitazioni fondamentali:

• Metodi basati sul fine-tuning: Tecniche come ControlNet o LoRA richiedono un addestramento computazionalmente costoso e spesso mancano di robustezza quando si applicano a stili di riferimento diversi.
• Metodi "Training-Free" (senza addestramento): Approcci recenti come StyleID o DiffArtist iniettano caratteristiche di stile direttamente negli strati di self-attention. Sebbene non richiedano addestramento, questi metodi tendono a fallire nel catturare riferimenti di stile complessi o, al contrario, a distorcere l'identità dell'immagine di contenuto originale. Questo porta a un compromesso (trade-off) insoddisfacente tra stile e contenuto, dove o lo stile prevale distruggendo i dettagli originali, o il contenuto viene preservato a scapito della fedeltà stilistica.

2. Metodologia: HAM (Heterogeneous Attention Modulation)

Gli autori propongono HAM, un approccio training-free che risolve il compromesso stile-contenuto attraverso una modulazione eterogenea dell'attenzione. Il metodo si basa su tre moduli principali che operano in sinergia durante il processo di diffusione:

A. Inizializzazione del Rumore Infuso di Stile (SINI - Style-Infused Noise Initialization)

Invece di utilizzare semplicemente il rumore invertito dall'immagine di contenuto o di fonderlo direttamente con quello dello stile (che porta a perdita di identità o stile debole), HAM introduce una strategia ibrida:

• Si genera un rumore iniziale fuso tramite Adaptive Instance Normalization (AdaIN) tra il rumore del contenuto e quello dello stile.
• A questo rumore fuso viene aggiunto un residuo specifico del contenuto.
• Questa architettura a due componenti permette di bilanciare esplicitamente l'intensità della stilizzazione con la preservazione dell'identità strutturale fin dal primo passo temporale ($t=T$).

B. Regolazione dell'Attenzione Globale (GAR - Global Attention Regulation)

Questo modulo agisce sugli strati di Self-Attention per preservare l'identità del contenuto mentre si introduce lo stile:

• Utilizza un "modello insegnante" per il contenuto e uno per lo stile.
• Fonde le proiezioni di attenzione ($Q, K, V$) dei due insegnanti utilizzando una normalizzazione adattiva per allineare le distribuzioni statistiche.
• Le proiezioni composite risultanti vengono fuse con le proiezioni native del modello generatore principale (studente) tramite un coefficiente di pesatura ($\alpha$).
• Obiettivo: Mantenere la struttura spaziale e semantica originale (identità) mentre si incorporano le attribuzioni stilistiche macroscopiche.

C. Trapianto di Attenzione Locale (LAT - Local Attention Transplantation)

Questo modulo agisce sugli strati di Cross-Attention per un controllo preciso e localizzato:

• Sfrutta canali di cross-attenzione sottoutilizzati per iniettare lo stile senza distruggere la struttura del contenuto.
• Sostituisce direttamente le chiavi ($K$) e i valori ($V$) del modello studente con quelli estratti dal modello insegnante di stile.
• Protegge le query ($Q$) del modello studente fondendole pesantemente con le query del modello insegnante di contenuto (tramite un coefficiente $\beta$).
• Obiettivo: Decouplare la guida dello stile (tramite $K, V$) dalla preservazione del contenuto (tramite $Q$), permettendo una stilizzazione ad alta fedeltà senza compromettere l'integrità strutturale.

Il metodo è compatibile sia con architetture basate su DDIM (es. Stable Diffusion 2.1) che su DiT (es. Stable Diffusion 3.5).

3. Contributi Chiave

1. Approccio Training-Free: HAM genera immagini stilizzate di alta qualità senza richiedere ottimizzazione dei gradienti o addestramento su immagini di stile, rendendolo efficiente e versatile.
2. Meccanismi Eterogenei: L'introduzione combinata di GAR (per il controllo globale e la preservazione dell'identità) e LAT (per l'iniezione precisa dello stile tramite cross-attention) supera i limiti dei metodi che manipolano solo la self-attention.
3. Inizializzazione del Rumore Ibrida: La proposta di SINI risolve il conflitto di ottimizzazione tra intensità dello stile e fedeltà del contenuto già nella fase di inizializzazione del rumore.
4. Compatibilità Universale: Il framework è stato validato su diverse architetture (SD2.1 e SD3.5), dimostrando adattabilità.

4. Risultati

Il metodo è stato valutato su dataset come MS-COCO e WikiArt, confrontandosi con metodi SOTA (State-of-the-Art) come StyleID, DiffArtist, CSGO e ControlNet.

• Metriche Quantitative: HAM ottiene prestazioni all'avanguardia su molteplici metriche:
  • Preservazione del Contenuto: Supera tutti i concorrenti su LPIPS, DINO e CLIP-I, indicando una migliore conservazione dei dettagli strutturali e semantici.
  • Forza dello Stile: Ottiene il punteggio più alto su CLIP-T (allineamento con il prompt di stile) e risultati ottimali su FID e ArtFID.
  • Metriche Composite: Le nuove metriche introdotte (DC e CC), che bilanciano contenuto e stile, mostrano HAM nettamente superiore.
• Valutazione Qualitativa: Le immagini generate mostrano una capacità superiore nel catturare stili complessi (es. Van Gogh, Monet, schizzi a matita) mantenendo intatti i soggetti originali e i dettagli fini, evitando le distorsioni tipiche dei metodi precedenti.
• Ablation Study: Gli esperimenti confermano che la rimozione di qualsiasi modulo (SINI, GAR, LAT) degrada significativamente le prestazioni, dimostrando la necessità di tutti e tre i componenti per l'equilibrio ottimale.

5. Significato e Impatto

Il lavoro HAM rappresenta un passo avanti significativo nel campo del trasferimento di stile basato su diffusione.

• Risoluzione del Trade-off: Dimostra che è possibile ottenere un equilibrio superiore tra fedeltà del contenuto e trasferimento dello stile senza ricorrere a costosi processi di addestramento.
• Efficienza: Essendo training-free, il metodo è immediatamente applicabile a qualsiasi modello di diffusione pre-addestrato, riducendo barriere computazionali e di risorse.
• Flessibilità: La capacità di gestire sia input testuali che immagini di riferimento, adattandosi a diverse architetture di modelli, lo rende uno strumento pratico per applicazioni reali di editing e generazione di immagini.

In sintesi, HAM stabilisce un nuovo standard per il trasferimento di stile "zero-shot", offrendo una soluzione robusta che preserva l'identità dell'immagine originale mentre ne trasforma radicalmente l'estetica.