Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems

1. Il Problema

I modelli di diffusione basati sul punteggio (score-based diffusion models) generano immagini di alta qualità attraverso un processo sequenziale di rimozione del rumore. Sebbene la teoria sottostante si basi su equazioni differenziali stocastiche (SDE) o flussi di probabilità (ODE) in tempo continuo, che garantiscono la convergenza distribuzionale, questa prospettiva continua tratta la rete neurale appresa come una "scatola nera".
Mancano intuizioni strutturali su come una catena di campionamento discreta assembla il contesto spaziale globale nelle fasi iniziali (alto rumore) e sintetizza i dettagli locali nelle fasi finali (basso rumore). Inoltre, non è chiaro perché l'attenzione self-attention sia così efficace come primitiva generativa in questi modelli.

2. Metodologia

L'autore stabilisce un collegamento teorico fondamentale: la catena inversa deterministica DDIM (Denoising Diffusion Implicit Models), indicata come $\Phi$, opera come un Sistema di Funzioni Iterate Partizionato (PIFS - Partitioned Iterated Function Systems), un concetto introdotto da Jacquin (1992) per la compressione frattale delle immagini.

La metodologia si basa su tre pilastri:

1. Analisi della Contrazione: Si studia l'operatore di un singolo passo DDIM $\Phi_t$ per determinare se è una contrazione (riduce le distanze) o un'espansione. Si utilizzano due norme:
   • Norma Euclidea (EC): Analizza la contrazione globale.
   • Norma Block-Max (PC): Analizza la contrazione a livello di "patch" (blocchi di pixel), distinguendo tra l'espansione diagonale (interno del blocco) e l'accoppiamento incrociato (tra blocchi diversi).
2. Geometria dell'Attrattore: Si caratterizza la dimensione frattale dell'attrattore del sistema PIFS utilizzando lo spettro di Lyapunov e la dimensione di Kaplan-Yorke.
3. Ottimizzazione Geometrica: Si derivano criteri di progettazione ottimali basati su quantità geometriche calcolabili senza valutare il modello, collegandoli a scelte empiriche esistenti.

3. Contributi Chiave

A. Struttura a Due Regimi (Two-Regime Structure)

Il paper dimostra che il processo di denoising attraversa due fasi distinte, governate dalla competizione tra l'espansione diagonale e la soppressione appresa:

• Regime I (Alto Rumore - Assemblaggio del Contesto Globale):
  • L'attenzione è "diffusa" (cross-patch coupling alta).
  • Un campo di soppressione direzionale appreso ($S_{k,t}$) mantiene i blocchi diagonali sotto una soglia di espansione, impedendo l'esplosione dei dettagli.
  • La contrazione è garantita globalmente dalla struttura isotropa del rumore.
• Regime II (Basso Rumore - Sintesi dei Dettagli Finiti):
  • L'attenzione diventa locale.
  • La soppressione viene rilasciata "patch per patch" in un ordine rigoroso basato sulla varianza: le patch a bassa varianza vengono rilasciate prima, quelle ad alta varianza dopo.
  • Questo crea una finestra temporale in cui alcune patch si espandono (generando dettagli) mentre altre sono ancora contratte, spiegando la dinamica osservata empiricamente.

B. Geometria Frattale e Dimensione di Kaplan-Yorke

L'autore deriva una formula analitica per la dimensione frattale dell'attrattore del PIFS:

• Viene definita una soglia di espansione globale $\lambda^{**}$ risolvendo un'equazione di Moran discreta.
• Una patch contribuisce alla diversità del campione (dimensione dell'attrattore > 0) solo se la sua varianza supera questa soglia.
• Il campo di soppressione $S_{k,t}$ riduce la dimensione effettiva dell'attrattore rispetto alla base gaussiana, spiegando come il modello mantenga la coerenza globale pur generando dettagli complessi.

C. Collegamento con l'Addestramento (Collage Minimisation)

Si dimostra che l'obiettivo di score-matching (minimizzare l'errore di previsione del rumore) è l'analogo diretto della minimizzazione dell'errore di collage di Barnsley.

• Minimizzare la loss di training non solo avvicina le traiettorie al punto fisso, ma garantisce teoricamente che la distribuzione generata sia vicina alla distribuzione dei dati in termini di distanza di Wasserstein ($W_1$).
• Viene proposto un regolarizzatore PIFS che impone direttamente la condizione di contrazione block-max durante l'addestramento.

D. Spiegazione Teorica delle Scelte Empiriche

Il framework PIFS fornisce una giustificazione geometrica per quattro scelte progettuali comuni:

1. Cosine Offset (Nichol & Dhariwal): L'offset $s_{off}$ aumenta la soglia di contrazione $L^*_t$ nell'ultimo passo, evitando che il passo finale sia un "anello debole" con margini di contrazione quasi nulli.
2. Shift Log-SNR Dipendente dalla Risoluzione (Hoogeboom et al.): Necessario per mantenere invariato il rapporto tra la soglia di espansione $\lambda^{**}$ e la varianza del segnale al variare della risoluzione, preservando la geometria dell'attrattore.
3. Min-SNR Loss Weighting (Hang et al.): Corregge lo squilibrio nell'addestramento, dando più peso ai passi a basso rumore (Regime II) dove avviene la maggior parte del lavoro di assemblaggio della varietà (manifold), allineando la loss con la crescita della dimensione di Kaplan-Yorke.
4. Align Your Steps (Sabour et al.): Giustifica la concentrazione dei passi di campionamento nella regione a basso rumore, dove la soglia di contrazione $L^*_t$ è più piccola e il lavoro geometrico è più intenso.

4. Risultati Sperimentali

L'autore convalida le previsioni teoriche su modelli pre-addestrati (DDPM) per CIFAR-10 e CelebA-HQ:

• Conferma dei Regimi: Le misurazioni dello spettro Jacobiano confermano la transizione da un accoppiamento cross-patch dominante (Regime I) a una contrazione diagonale con rilascio graduale (Regime II).
• Correlazione di Spearman: Si osserva una inversione del segno nella correlazione tra varianza della patch e contrazione diagonale durante la transizione, confermando la teoria del rilascio stratificato (le patch a bassa varianza si liberano prima).
• Dimensione di Kaplan-Yorke:
  • Su CIFAR-10, tutte le patch superano la soglia di espansione gaussiana, ma la soppressione appresa mantiene la contrazione diagonale sotto controllo fino alla fine.
  • Su CelebA-HQ (risoluzione più alta), la soppressione è così forte da ridurre la dimensione effettiva dell'attrattore a zero ($d_{KY} = 0$), spiegando l'alta fedeltà visiva ma la bassa diversità dei campioni in quel regime specifico.
• Scaling del Rumore: La deviazione del punteggio appreso rispetto al punteggio gaussiano scala come $O(\sqrt{\bar{\alpha}_t})$ nell'alta regione di rumore, come previsto.

5. Significato e Impatto

Questo lavoro trasforma la comprensione dei modelli di diffusione da un approccio puramente probabilistico/stocastico a una geometria frattale deterministica.

• Unificazione: Fornisce un linguaggio di progettazione unificato che collega schedule del rumore, architetture (self-attention) e obiettivi di training.
• Interpretabilità: Spiega perché l'attenzione self-attention funziona: è la primitiva naturale per implementare la struttura PIFS, permettendo un controllo dinamico dell'accoppiamento tra patch (cross-patch coupling).
• Guida Pratica: Offre criteri geometrici calcolabili (senza addestrare nuovi modelli) per ottimizzare le schedule di rumore e le strategie di campionamento, trasformando intuizioni empiriche in problemi di ottimizzazione geometrica risolvibili.

In sintesi, il paper dimostra che il successo dei modelli di diffusione risiede nella loro capacità di imparare implicitamente una struttura PIFS che sfrutta l'autosimilarità locale delle immagini naturali, bilanciando l'assemblaggio globale e la sintesi locale attraverso un controllo geometrico preciso della contrazione e dell'espansione.