Riepilogo Tecnico: Ripensare la Distillazione di Dataset per la Classificazione

Definizione del Problema

La Distillazione di Dataset (DD) mira a sintetizzare set di addestramento compatti e sintetici che preservino le prestazioni di generalizzazione di modelli addestrati su dataset originali su larga scala. Nonostante la sua promessa nel machine learning data-centric, il campo affronta due sfide critiche:

1. Protocolli di Valutazione Incoerenti: I metodi DD sono spesso valutati utilizzando pipeline variabili (ad esempio, l'Empirical Risk Minimization standard rispetto alla supervisione con etichette soft di un singolo o multipli teacher). Ciò rende difficile isolare se i guadagni di prestazioni derivino dalla qualità dei dati distillati o da specifiche scelte di progettazione della valutazione.
2. Superiorità non Dimostrata rispetto ai Coreset: Molti metodi DD pretendono di superare la Selezione di Coreset (CS) — che seleziona sottoinsiemi di dati reali — basandosi sull'assunto che limitare i dati condensati a campioni reali ne limiti l'espressività. Tuttavia, tali affermazioni mancano di un confronto sistematico contro solidi baseline CS, in particolare su dataset su larga scala e sotto protocolli standardizzati.

Inoltre, molti approcci DD si affidano a modelli generativi pre-addestrati addestrati sull'intero dataset, limitandone la scalabilità e l'applicabilità in domini in cui tali modelli non sono disponibili.

Metodologia

Gli autori conducono uno studio di benchmarking sistematico su larga scala per disaggregare l'efficacia intrinseca della DD dagli artefatti di valutazione e per confrontare rigorosamente la DD rispetto alla CS.

Design Sperimentale

• Dataset: Gli esperimenti sono eseguiti su ImageNet-1K (1.000 classi), ImageNet-100 (100 classi) e ImageNette (10 classi).
• Metodi Confrontati:
  • Metodi DD (7 SOTA): Lo studio copre tre categorie:
    • Basati su Addestramento Generativo: VLCP, D3HR, Minimax (richiedono il fine-tuning di modelli generativi).
    • Senza Addestramento Generativo: DiT-Distillation, MGD, ManifoldGD (utilizzano modelli generativi pre-addestrati con campionamento guidato).
    • Non Generativi/Disaccoppiati: FADRM+ (ottimizza i campioni tramite data residual matching).
  • Metodi CS (3 Strategie):
    • Campionamento Casuale: Un semplice baseline per classe.
    • AUM (Accumulated Margin): Valuta i campioni in base alla dinamica di addestramento (margine) di un modello addestrato sull'intero dataset.
    • CS Guidata dai Concetti: Utilizza colli di bottiglia concettuali basati su LLM per stimare l'importanza del campione senza l'addestramento dell'intero dataset.
• Protocolli di Valutazione: Per testare la sensibilità alla supervisione, vengono utilizzati tre protocolli:
  1. Hard Label: Modelli addestrati direttamente su set condensati con etichette originali (senza teacher).
  2. Single-Teacher Soft Label (RDED): Utilizza un unico teacher pre-addestrato per generare etichette soft per la distillazione della conoscenza.
  3. Multi-Teacher Soft Label (EDC): Utilizza molteplici teacher e supervisione ibrida (soft + hard labels).
• Metriche: Oltre all'accuratezza, lo studio valuta la Rappresentatività (copertura della distribuzione originale), la Diversità (ridondanza all'interno del set condensato) e il Costo di Costruzione (tempo e risorse computazionali).

Contributi Chiave

1. Benchmarking Sistematico: Il documento fornisce il primo confronto completo di sette metodi DD SOTA contro tre strategie CS sotto dataset e protocolli di valutazione uniformi.
2. Analisi della Sensibilità del Protocollo: Dimostra che le prestazioni della DD sono altamente intrecciate con la pipeline di valutazione, e che nessun singolo metodo DD supera costantemente gli altri attraverso tutti i protocolli e i dataset.
3. Rivalutazione di DD vs CS: Lo studio mette in discussione la narrativa secondo cui la DD superi intrinsecamente la CS, mostrando che i metodi CS spesso eguagliano o superano le prestazioni della DD, in particolare su dataset su larga scala.
4. Valutazione Qualitativa Multidimensionale: Gli autori introducono un framework di valutazione più ampio che include rappresentatività, diversità e costo di costruzione, rivelando che i metodi CS offrono spesso una migliore copertura distributiva ed efficienza.

Risultati

Prestazioni di Accuratezza

• Dataset su Larga Scala (ImageNet-1K/100): Sotto il protocollo Hard Label, i metodi CS (specificamente AUM e Concepts) eguagliano o superano significativamente i metodi DD SOTA. Ad esempio, su ImageNet-1K con 10 IPC (Immagini Per Classe), AUM supera il miglior metodo DD di 3,3% (ResNet-18) e 4,8% (ResNet-50).
• Protocolli Soft Label: Anche quando si utilizzano etichette soft di un singolo o di molteplici teacher (dove la DD tipicamente guadagna un vantaggio), i metodi CS rimangono altamente competitivi, spesso eguagliando o superando le prestazioni della DD.
• Dataset su Piccola Scala (ImageNette): I metodi DD performano bene su ImageNette, talvolta superando la CS. Tuttavia, gli autori notano che il "miglior" metodo DD varia per protocollo, evidenziando l'instabilità dei ranking della DD rispetto alla robustezza della CS.
• Baseline Casuali: Diversi metodi DD non riescono a superare semplici sottoinsiemi casuali di dati reali, particolarmente sotto la valutazione hard-label.

Efficienza e Qualità

• Costo di Costruzione: I metodi CS mostrano una complessità temporale costante rispetto all'IPC (Immagini Per Classe), mentre i metodi DD (specialmente quelli generativi) scalano linearmente con l'IPC. I metodi DD basati sull'addestramento comportano costi sostanziali a causa dell'addestramento/fine-tuning del modello generativo.
• Rappresentatività e Diversità: I metodi CS (particolarmente AUM) ottengono un trade-off superiore, occupando la regione ad alta rappresentatività e alta diversità dello spazio delle metriche. I metodi DD tendono a concentrarsi su mode visive più strette, risultando in una minore diversità e maggiore ridondanza.
• Qualità Visiva: L'analisi qualitativa mostra che i sottoinsiemi CS (AUM) catturano pose, punti di vista e sfondi diversificati. Al contrario, i set DD spesso mostrano viste canoniche ripetute, artefatti e texture innaturali.

Significato e Rivendicazioni

Il paper sostiene che il successo attuale della Distillazione di Dataset richieda una rivalutazione. Gli autori affermano che:

1. La CS è un Baseline Necessario: La futura ricerca sulla DD deve includere solidi baseline CS (come AUM) per evitare di interpretare erroneamente i guadagni specifici della valutazione come efficienza intrinseca dei dati.
2. La Valutazione Standardizzata è Critica: Il campo deve adottare protocolli standardizzati, inclusa la valutazione hard-label, per valutare equamente la vera utilità dei dati distillati.
3. Efficienza Pratica: Per l'apprendimento data-centric su larga scala, la Selezione di Coreset rimane un'alternativa più efficiente dal punto di vista computazionale, scalabile e robusta rispetto alla DD attuale, offrendo accuratezza paragonabile o superiore con costi di costruzione significativamente inferiori e una migliore copertura distributiva.

Gli autori concludono che, sebbene la DD mostri potenziale su dataset piccoli e separabili, i suoi vantaggi pratici diminuiscono su benchmark su larga scala dove la CS fornisce una soluzione più efficiente e affidabile.