Sintesi Tecnica: Valutazione dello Spazio di Rappresentazione dei Modelli di Diffusione tramite Principi di Apprendimento Auto-Supervisionato

1. Definizione del Problema

I modelli di diffusione si sono affermati come sistemi generativi allo stato dell'arte e, più recentemente, come potenti apprenditori di rappresentazioni auto-supervisionate. Tuttavia, il collegamento teorico e pratico tra le loro capacità generative e le loro proprietà di apprendimento delle rappresentazioni rimane ampiamente inesplorato. A differenza dei metodi tradizionali di apprendimento auto-supervisionato (SSL), che ottimizzano esplicitamente l'invarianza rispetto alle aumentazioni dei dati, i modelli di diffusione vengono addestrati tramite un obiettivo di denoising per recuperare segnali puliti da input corrotti dal rumore gaussiano.

Questa distinzione solleva questioni fondamentali: in che misura le rappresentazioni di diffusione catturano implicitamente le proprietà geometriche delle "buone" rappresentazioni (come l'invarianza e l'espansione) ricercate nell'SSL? Inoltre, come evolvono queste proprietà attraverso diversi livelli di rumore e durante la dinamica di addestramento, in particolare nei regimi con dati limitati, dove i modelli transitano dalla generalizzazione alla memorizzazione? Le metriche di valutazione attuali, come la Fréchet Inception Distance (FID), sono spesso insufficienti per rilevare la memorizzazione precoce o per fornire segnali intrinseci, privi di etichette, durante l'addestramento.

2. Metodologia

2.1 Decomposizione Invarianza-Residuo

Gli autori propongono un framework radicato nei principi SSL per analizzare le caratteristiche della diffusione. Per un dato' immagine di addestramento $\mathbf{x}_0$, essi considerano una perturbazione casuale $a$ che comprende sia le aumentazioni standard che preservano la semantica, sia il rumore gaussiano additivo inerente al processo di diffusione. Sia $\mathbf{h}(a(\mathbf{x}_0))$ la rappresentazione estratta da uno strato fisso del modello di diffusione.

Gli autori decompongono questa rappresentazione in due componenti:

1. Componente Invariante ($\mathbf{s}$): La media condizionale della rappresentazione attraverso le perturbazioni, $\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$. Questa cattura gli attributi semantici stabili e resilienti alla corruzione.
2. Componente Residua ($\boldsymbol{\xi}$): La deviazione dalla media, $\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$. Questa cattura le variazioni specifiche della vista e sensibili all'aumentazione.

Questa decomposizione porta a una decomposizione della covarianza totale: $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$, dove $\boldsymbol{\Sigma}_s$ rappresenta la dispersione delle identità invarianti e $\boldsymbol{\Sigma}_\xi$ rappresenta la variazione residua aggregata.

2.2 Il Rapporto di Contaminazione Invariante (ICR)

Per quantificare la "salute" dello spazio di rappresentazione, gli autori introducono il Rapporto di Contaminazione Invariante (ICR). Formulano un problema di autovalori generalizzato:
$$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$$
dove $\lambda_i$ rappresenta il rapporto segnale-rumore (SNR) lungo la $i$-esima direzione di Fisher $\mathbf{v}_i$. Un $\lambda_i$ elevato indica una direzione dominata da una struttura invariante stabile, mentre un $\lambda_i$ basso indica la dominanza della variazione residua di rumore.

L'ICR è definito come:
$$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$$
dove $d$ è la dimensione delle caratteristiche.

• Basso ICR: Indica che il segnale invariante domina la variazione residua (alto SNR), suggerendo una rappresentazione robusta.
• Alto ICR: Indica che la variazione residua (contaminazione) occupa una parte significativa dello spazio di rappresentazione.

Crucialmente, l'ICR è privo di etichette (label-free) e può essere calcolato interamente dalle caratteristiche di addestramento senza valutatori esterni o set di test tenuti da parte.

3. Contributi Chiave

1. Una Metrica di Valutazione Basata sulla Rappresentazione: Il paper introduce l'ICR, una singola metrica scalare derivata da una decomposizione invarianza-residuo. Misura quanto la variazione sensibile all'aumentazione e al rumore contamini la struttura stabile dello spazio delle caratteristiche.
2. Identificazione di una Finestra Semantica: Gli autori dimostrano che gli schedule del rumore della diffusione ammettono una "finestra semantica" intermedia in cui l'ICR è minimizzato. Questo minimo coincide con i livelli di rumore che producono la massima accuratezza di classificazione lineare, fornendo una regola semplice, basata su SSL, per selezionare gli scale di rumore ottimali per i task a valle.
3. Monitoraggio di Generalizzazione vs. Memorizzazione: Il paper rivela fasi distinte di apprendimento nello spazio delle rappresentazioni:
   • Regime Ricco di Dati: L'ICR diminuisce monotonicamente con l'avanzare dell'addestramento, seguendo da vicino i miglioramenti nella qualità generativa (FID).
   • Regime con Dati Limitati: L'ICR mostra una traiettoria a forma di U. Diminuisce inizialmente mentre il modello impara a generalizzare, raggiunge un minimo e poi aumenta man mano che il modello inizia a memorizzare campioni specifici di addestramento. Ciò rende l'ICR un segnale di early-stopping sensibile per la memorizzazione, rilevabile prima che le metriche di generazione standard o i test del vicino più prossimo indichino l'overfitting.

4. Risultati Sperimentali

Il framework è stato valutato su CIFAR-10, CIFAR-100 e ImageNet utilizzando varie architetture di diffusione (EDM, SiT).

• Analisi del Livello di Rumore: In tutti i dataset, la curva ICR è a forma di U rispetto ai livelli di rumore. Il minimo dell'ICR si allinea precisamente con il picco nell'accuratezza della classificazione lineare. Ciò conferma che i livelli di rumore intermedi offrono il miglior compromesso tra la cattura dei dettagli fini e le strutture semantiche stabili.
• Addestramento Ricco di Dati: Negli esperimenti con set di addestramento completi (ad esempio, 50k immagini CIFAR-10, 1.28M ImageNet), l'ICR e la FID diminuiscono entrambi monotonicamente durante le iterazioni di addestramento. Ciò suggerisce che, man mano che il modello apprende il manifold dei dati, la sua rappresentazione interna diventa sempre più invariante e "pura".
• Addestramento con Dati Limitati: Negli esperimenti con dati limitati (ad esempio, 4k immagini CIFAR-10, 10k immagini ImageNet), l'ICR ha seguito una curva a forma di U. Il minimo della curva ICR si è verificato poco prima che il rapporto di memorizzazione iniziasse a salire. Le visualizzazioni dei vicini più prossimi hanno confermato che, durante il minimo dell'ICR, i vicini erano semanticamente significativi, mentre nella fase di overfitting (ICR crescente), i vicini diventavano visivamente non correlati.
• Dinamiche di Espansione delle Caratteristiche: L'analisi delle tracce di $\boldsymbol{\Sigma}_s$ e $\boldsymbol{\Sigma}_\xi$ ha mostrato che, nei regimi ricchi di dati, l'espansione delle caratteristiche è guidata dalla crescita della struttura invariante. Nei regimi con dati limitati, una volta che la struttura invariante satura, l'ulteriore espansione è guidata dalla variazione residua, portando all'aumento dell'ICR.

5. Significato e Rivendicazioni

Il paper sostiene che i modelli di diffusione possono essere monitorati ed valutati efficacemente attraverso la geometria delle loro rappresentazioni apprese utilizzando principi di auto-supervisione. Il significato primario risiede nel fornire segnali intrinseci durante l'addestramento che non dipendono da:

• Reti pre-addestrate esterne (come DINOv2 o Inception).
• Campionamento e generazione costosa di immagini di test.
• Etichette di verità fondamentale (ground-truth).

Gli autori sostengono che l'ICR funga da strumento diagnostico unificato che colma il divario tra l'apprendimento delle rappresentazioni e la modellazione generativa. Offre un metodo pratico per identificare le scale di rumore ottimali per l'estrazione delle caratteristiche e per rilevare l'inizio della memorizzazione in scenari con scarsità di dati, affrontando una lacuna critica nelle metodologie di valutazione attuali dove le metriche standard come la FID possono fallire nel rilevare l'overfitting precoce. Il lavoro suggerisce che la transizione dalla generalizzazione alla memorizzazione è fondamentalmente uno spostamento nello spazio delle rappresentazioni dalla struttura invariante alla variazione residua.