Learnability-Guided Diffusion for Dataset Distillation

1. Il Problema: Ridondanza nella Distillazione dei Dataset

La distillazione dei dataset mira a creare un piccolo dataset sintetico ($D_S$) che, quando usato per addestrare un modello, raggiunga prestazioni comparabili all'addestramento sul dataset originale completo e massiccio ($D_T$).
Sebbene i metodi recenti basati su modelli di diffusione (come Influence-Guided Diffusion o Minimax Diffusion) abbiano mostrato risultati promettenti, il paper identifica un limite fondamentale: l'elevata ridondanza.

• Il Fenomeno: I metodi attuali ottimizzano per la diversità visiva o per la corrispondenza con la traiettoria di addestramento media. Questo porta a generare campioni che forniscono segnali di addestramento sovrapposti.
• L'Evidenza Empirica: Gli autori dimostrano che, partizionando un dataset distillato in sottoinsiemi disgiunti, fino all'80-90% del segnale di addestramento di un sottoinsieme è già catturato dagli altri. In pratica, i campioni sono ridondanti: un modello addestrato su un primo batch impara quasi tutto ciò che serve anche dai batch successivi, indicando che non c'è un reale "curriculum" di apprendimento.

2. Metodologia: Distillazione Incrementale Guidata dall'Apprendibilità

Per risolvere il problema della ridondanza, gli autori propongono un approccio incrementale e guidato dall'apprendibilità, che costruisce il dataset sintetico passo dopo passo, adattandosi allo stato di apprendimento del modello corrente.

A. Formulazione Incrementale

Invece di generare tutto il dataset in una volta, il processo è suddiviso in $K$ incrementi ($I_1, I_2, ..., I_K$).

1. Si inizia con un piccolo dataset seme (es. 10 immagini per classe).
2. Si addestra un modello fino alla convergenza.
3. Si generano nuovi campioni (il prossimo incremento) basandosi su ciò che il modello attualmente non sa ancora imparare bene, ma che è comunque apprendibile.
4. Si aggiunge l'incremento al dataset e si ripete.

B. Il Concetto di "Apprendibilità" (Learnability)

Il cuore della metodologia è la definizione di un punteggio di apprendibilità per un campione $(x, y)$:
$$S(x, y) = \mathcal{L}(\theta_{curr}, x, y) - \omega \cdot \mathcal{L}(\theta^*, x, y)$$
Dove:

• $\mathcal{L}(\theta_{curr}, x, y)$ è la perdita (es. cross-entropy) del modello corrente (che sta imparando).
• $\mathcal{L}(\theta^*, x, y)$ è la perdita di un modello di riferimento (addestrato sul dataset completo).
• $\omega$ è un peso di regolarizzazione.

Interpretazione: Un punteggio $S$ alto indica che il modello corrente fatica a imparare il campione (alta perdita), ma il modello di riferimento lo classifica correttamente (bassa perdita). Questi sono i campioni ideali: difficili ma apprendibili, situati nel "gap" tra ciò che il modello sa già e ciò che deve ancora imparare.

C. Learnability-Guided Diffusion (LGD)

Gli autori integrano questo punteggio direttamente nel processo di campionamento dei modelli di diffusione (Diffusion Models):

1. Guidance dell'Apprendibilità: Durante il processo di denoising, il gradiente del punteggio di apprendibilità $\nabla_{x_t} S(x_t, y)$ viene utilizzato per guidare la traiettoria di generazione verso regioni dello spazio dei dati che massimizzano il guadagno informativo per il modello corrente.
2. Regolarizzazione del Modello di Riferimento: Il termine negativo nel punteggio assicura che i campioni generati non siano "fuori distribuzione" (OOD) o errati semanticamente, mantenendo la validità del dataset.
3. Selezione dei Campioni: Vengono generati $\kappa$ candidati per ogni posizione nel dataset. Solo il candidato con il punteggio di apprendibilità più alto viene selezionato e aggiunto al buffer di memoria, garantendo che ogni nuovo campione sia complementare a quelli già presenti.
4. Diversità: Viene applicata una "deviation guidance" per spingere i nuovi campioni ad allontanarsi da quelli già generati nella stessa classe, evitando clustering e massimizzando la diversità visiva.

3. Contributi Chiave

1. Framework Incrementale Guidato dall'Apprendibilità: Un nuovo paradigma che costruisce dataset sintetici stadio per stadio, condizionando la generazione allo stato attuale del modello per evitare ridondanza.
2. Algoritmo LGD: L'introduzione di un meccanismo di guida nella diffusione che bilancia l'utilità per il modello corrente con la validità semantica, generando automaticamente un curriculum di difficoltà crescente.
3. Analisi della Ridondanza: Dimostrazione empirica che i metodi esistenti soffrono di un'alta sovrapposizione informativa (80-90%), mentre il metodo proposto riduce questa ridondanza del 39.1%.
4. Risultati SOTA: Ottenimento di prestazioni allo stato dell'arte su dataset complessi come ImageNet-1K, ImageNette e ImageWoof.

4. Risultati Sperimentali

Il metodo è stato valutato su ImageNette, ImageWoof e ImageNet-1K con diversi architetture (ConvNet, ResNet) e budget di immagini per classe (IPC).

• Prestazioni:
  • ImageNet-1K (50 IPC): 60.1% di accuratezza (paragonabile al SOTA MGD3 a 60.2%, ma con un approccio diverso e ridondanza ridotta).
  • ImageNette (100 IPC): 87.2% (miglioramento significativo rispetto a DiT+IGD che raggiunge 84.5%).
  • ImageWoof (100 IPC): 72.9%.
• Analisi della Ridondanza:
  • Nei metodi baseline (DiT, IGD), un modello addestrato su un primo incremento raggiungeva il 90-98% di accuratezza su incrementi successivi (indicando che non c'era nuova informazione).
  • Con LGD, l'accuratezza su incrementi successivi scende drasticamente (es. 17-82%), dimostrando che ogni nuovo incremento introduce segnali di apprendimento complementari e non ridondanti.
• Dinamiche di Addestramento:
  • L'analisi mostra "picchi di perdita" (loss spikes) significativi ogni volta che viene aggiunto un nuovo incremento, indicando che i nuovi dati sono più difficili e informativi.
  • Il metodo mantiene guadagni marginali sostenuti lungo tutto il curriculum, a differenza dei metodi statici che mostrano rendimenti decrescenti.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nella distillazione dei dataset:

• Dal "Cosa" al "Quando": Sposta l'attenzione dal generare un dataset statico che imita la media dell'addestramento, al generare un curriculum dinamico che si adatta all'evoluzione delle capacità del modello.
• Efficienza del Campione: Dimostra che la qualità di un dataset distillato non dipende solo dalla quantità di dati o dalla diversità visiva, ma dalla struttura informativa e dalla complementarità dei campioni rispetto allo stato di apprendimento del modello.
• Scalabilità: Fornisce una base solida per applicare tecniche di distillazione a dataset su larga scala (come ImageNet-1K) riducendo i costi computazionali e migliorando l'efficienza dei dati, un aspetto cruciale nell'era dei grandi modelli.

In sintesi, il paper propone che la vera distillazione non è comprimere i dati, ma organizzare l'apprendimento, generando artificialmente i dati esattamente nel momento in cui il modello ne ha più bisogno per progredire.