Riepilogo Tecnico: TAG: Guida di Amplificazione Tangenziale per il Campionamento Resistente alle Allucinazioni

1. Enunciato del Problema

I modelli di diffusione hanno raggiunto prestazioni all'avanguardia nella generazione di immagini, ma soffrono frequentemente di allucinazioni, definite come inconsistenze semantiche o violazioni della distribuzione dei dati (ad esempio, impossibilità anatomiche come dita in più, o oggetti mescolati). Ricerche recenti suggeriscono che questi errori derivano dall'interpolazione di modi, dove le traiettorie di campionamento attraversano valli a bassa densità tra modi distinti della distribuzione dei dati, portando a disallineamenti degli attributi e inconsistenze strutturali.

I metodi esistenti di guida al momento dell'inferenza, come la Guida Senza Classificatore (CFG) e le sue varianti, fanno tipicamente affidamento su una scalatura residua tra i rami condizionato e incondizionato. Sebbene efficaci, questi metodi sono in gran parte prive di consapevolezza geometrica; applicano un'unica amplificazione scalare al residuo senza tenere conto della struttura direzionale locale della distribuzione dei dati. Ciò può distorcere involontariamente la traiettoria di denoising, causando una deriva fuori dalla varietà (off-manifold) o un eccessivo livellamento (over-smoothing). Inoltre, molte soluzioni esistenti richiedono segnali esterni, modifiche architetturali o valutazioni aggiuntive di denoising, aggiungendo un significativo sovraccarico computazionale.

2. Metodologia: Guida di Amplificazione Tangenziale (TAG)

Gli autori propongono la Guida di Amplificazione Tangenziale (TAG), un metodo di guida senza addestramento, agnostico rispetto all'architettura e plug-and-play che opera puramente sui segnali di traiettoria. TAG si fonda sulla decomposizione geometrica del passo di aggiornamento del campionamento.

Concetto Fondamentale

Attingendo all'identità di Tweedie e al teorema dell'anello gaussiano, gli autori osservano che la regione ad alta probabilità di una distribuzione corrotta giace su un guscio sferico sottile (una varietà di dati rumorosa, $M_k$). L'aggiornamento di campionamento può essere decomposto in:

1. Componente Radiale (Normale): Sposta lo stato lungo il raggio, dettato dal programma di rumore.
2. Componente Tangenziale: Sposta lo stato lungo la varietà, preservando il raggio mentre affina la struttura semantica.

Gli autori ipotizzano che la componente tangenziale porti informazioni ricche di struttura e semantica, mentre la componente normale sia in gran parte rumore non strutturato. Amplificare la componente tangenziale indirizza la traiettoria verso regioni ad alta densità della varietà dei dati senza alterare la progressione radiale.

Algoritmo

Dato un incremento di base del solver $\Delta_{k+1}$ (ad esempio, da DDIM) al passo temporale $k+1$:

1. Proiezione: L'aggiornamento viene decomposto utilizzando proiettori sulla direzione radiale ($P_{M_{k+1}}$) e sulla direzione tangenziale ortogonale ($P^\perp_{M_{k+1}}$) rispetto allo stato corrente $x_{k+1}$.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. Amplificazione: La componente tangenziale viene amplificata di un fattore $\eta \ge 1$, mentre la componente radiale rimane invariata.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

Giustificazione Teorica

Il documento fornisce un'analisi di Taylor del primo ordine che mostra come l'amplificazione della componente tangenziale aumenti monotonicamente il guadagno di verosimiglianza logaritmica del primo ordine. Nello specifico, il Teorema 4.1 dimostra che l'aumento di $\eta$ spinge la traiettoria di campionamento verso regioni di maggiore densità del modello, riducendo così gli artefatti fuori dalla varietà (allucinazioni) preservando al contempo la calibrazione radiale necessaria per un corretto denoising.

Estensione alla CFG

Per la Guida Senza Classificatore, gli autori affrontano l'incoerenza tra le previsioni condizionate e incondizionate. Propongono di allineare la previsione condizionata al residuo tangenziale (la differenza tra i punteggi condizionati e incondizionati proiettati sullo spazio tangente). Questa riconciliazione riduce il disallineamento che spesso degrada la qualità della generazione nella CFG standard.

3. Contributi Chiave

• Insight Geometrico: Il documento stabilisce un legame concreto tra la geometria intrinseca della funzione di punteggio e la qualità del campione, dimostrando che l'amplificazione delle componenti tangenziali indirizza il campionamento verso la varietà in-distribution.
• Algoritmo TAG: Introduzione di un algoritmo fondato teoricamente, computazionalmente leggero e agnostico rispetto all'architettura che realizza questo principio geometrico. Non richiede riaddestramento, valutazioni aggiuntive della rete né modifiche architetturali.
• Compatibilità Plug-and-Play: TAG è progettato per integrarsi perfettamente con solver e metodi di guida esistenti (ad esempio, PAG, SEG, SSG) come passo di post-elaborazione sul vettore di aggiornamento.

4. Risultati Sperimentali

Gli autori hanno valutato TAG su varie basi di Stable Diffusion (v1.5, v2.1, XL, 3) e modelli moderni (Qwen-Image, Wan2.2 video) utilizzando il dataset COCO 2014 e T2I-CompBench.

• Miglioramenti Quantitativi:
  • Generazione Incondizionata: TAG ha migliorato costantemente il FID (ad esempio, SD v1.5: 58.41 $\to$ 46.20) e il CMMD su tutte le basi senza aumentare il numero di valutazioni della funzione (NFE).
  • Generazione Condizionata: TAG ha migliorato la fedeltà del campione e l'allineamento al prompt (ImageReward, CLIP-Score) su SD v1.5, v2.1, XL e 3.
  • Riduzione delle Allucinazioni: Su T2I-CompBench (sottoinsiemi Spaziali e Complessi), TAG ha migliorato le metriche di fedeltà compositiva, indicando una riduzione delle allucinazioni strutturali (ad esempio, posizionamento o relazioni errate degli oggetti) piuttosto che semplici spostamenti stilistici percettivi.
  • Generazione Video: Applicato a Wan2.2, TAG ha migliorato il grado dinamico, la qualità dell'immagine e la coerenza temporale, riducendo gli artefatti strutturali in scene complesse.
• Efficienza:
  • TAG aggiunge un sovraccarico computazionale trascurabile (circa +9.4% di latenza) rispetto alle linee di base, poiché coinvolge solo proiezioni vettoriali leggere.
  • Al contrario, metodi come PAG (Perturbed Attention Guidance) raddoppiano quasi la latenza (+112.8%) a causa di valutazioni UNet aggiuntive.
• Compatibilità: L'impilamento di TAG sopra i metodi di guida esistenti (PAG, SEG, SSG) ha prodotto ulteriori miglioramenti nel FID e nei punteggi di preferenza umana, dimostrando la sua ortogonalità rispetto alla guida basata su residui.

5. Significato e Affermazioni

Il documento afferma che TAG offre una visione geometrica delle allucinazioni, identificandole come un fallimento nel rimanere sulla varietà dei dati durante l'interpolazione di modi. Isolando e amplificando la componente tangenziale dell'aggiornamento, TAG corregge efficacemente la traiettoria di campionamento verso regioni ad alta densità.

Gli autori sottolineano che TAG è un raffinamento complementare piuttosto che una sostituzione per i solver esistenti. Migliora la qualità del campione e riduce le allucinazioni con un costo computazionale minimo, rendendolo adatto all'integrazione nelle pipeline esistenti. Il documento nota con modestia che, sebbene l'analisi teorica stabilisca un guadagno di verosimiglianza locale del primo ordine, non caratterizza pienamente il comportamento della traiettoria inversa sull'intero processo di campionamento. Si suggerisce un lavoro futuro per esplorare la scalatura adattiva e stime di geometria locale della varietà più complesse.