Improving Diversity in Black-box Few-shot Knowledge Distillation

1. Enunciato del Problema

Il paper affronta la sfida della Distillazione della Conoscenza (KD) Few-shot in modalità Black-box.

• Contesto: La KD standard trasferisce la conoscenza da un grande modello "insegnante" a un modello "studente" più piccolo. Tuttavia, la KD tradizionale richiede un ampio dataset di addestramento e il pieno accesso ai parametri interni dell'insegnante (white-box).
• Vincoli: In scenari reali (ad esempio, la distillazione di modelli proprietari come FaceNet di Google o ChatGPT), lo sviluppatore dello studente spesso ha a disposizione:
  1. Accesso Black-box: Sono disponibili solo le probabilità di previsione finali dell'insegnante; gradienti interni, logit o parametri sono nascosti.
  2. Dati Few-shot: Sono disponibili solo un numero molto ridotto di immagini etichettate ($N$) per l'addestramento dello studente, insufficienti a rappresentare la vera varietà dei dati.
• Limitazioni delle Soluzioni Esistenti: I metodi attuali di KD few-shot spesso si affidano a insegnanti white-box o utilizzano semplici aumentazioni dei dati (come MixUp) che producono immagini sintetiche prive di diversità o semantica realistica. Altri metodi che utilizzano Autoencoder Variazionali (CVAE) soffrono di artefatti di sfocatura e non promuovono esplicitamente la diversità.

2. Metodologia: DivBFKD

Gli autori propongono DivBFKD (Diverse Black-box Few-Shot Knowledge Distillation), un framework a due fasi progettato per generare immagini sintetiche diversificate che imitano la distribuzione originale di addestramento dell'insegnante senza accedere ai suoi interni.

Fase 1: Generazione (WGAN con Selezione ad Alta Confidenza)

L'innovazione principale risiede nell'addestramento di una Rete Generativa Avversaria di Wasserstein (WGAN) per generare immagini sintetiche diversificate e di alta qualità.

• Immagini ad Alta Confidenza: Invece di utilizzare tutte le immagini generate, il metodo filtra le immagini sintetiche in base alla confidenza dell'insegnante. Un'immagine $\tilde{x}$ è considerata "ad alta confidenza" se la massima probabilità predetta dall'insegnante $c_{\tilde{x}}$ supera una soglia $\tau$.
• Soglie Adattive ($\tau$): Una soglia fissa è inefficace perché gli insegnanti mostrano bias specifici per classe (ad esempio, predire "pantaloni" con maggiore confidenza rispetto a "camicie"). Gli autori propongono soglie adattive calcolate per classe utilizzando la $q$-quantile (ad esempio, $q=0.1$) dei punteggi di confidenza delle poche immagini reali disponibili. Questo garantisce che la soglia sia relativa al comportamento dell'insegnante per ciascuna classe specifica.
• Addestramento Avversario in Tempo Reale:
  • Il generatore della WGAN ($G$) crea immagini sintetiche.
  • Il discriminatore ($D$) viene addestrato per distinguere tra immagini reali (dal set few-shot $D$) e immagini sintetiche ad alta confidenza (selezionate dall'iterazione precedente).
  • Ciclo di Feedback: Trattando le immagini sintetiche ad alta confidenza come "reali" per il discriminatore, il generatore è incentivato a produrre immagini più diversificate che l'insegnante classifica con alta confidenza. Questo crea un ciclo di feedback positivo che espande la diversità del set generato.

Fase 2: Distillazione

• Costruzione del Dataset: Un dataset di distillazione ($D_{KD}$) è costruito combinando le originali immagini reali few-shot ($N$) e un budget di immagini sintetiche ($M$) generate dalla WGAN addestrata.
• Bilanciamento delle Classi: Per prevenire bias, le immagini sintetiche sono generate con bilanciamento delle classi tramite campionamento per rifiuto.
• Addestramento: La rete studente viene addestrata su $D_{KD}$ utilizzando la classica funzione di perdita Cross-Entropy contro le previsioni dell'insegnante (etichette soft).

3. Contributi Chiave

1. Schema di Addestramento Innovativo per WGAN: Introduce un meccanismo per iniettare immagini ad alta confidenza nel ciclo di apprendimento avversario in tempo reale. Questo utilizza efficacemente l'insegnante come supervisore per guidare il generatore verso la distribuzione di addestramento sconosciuta dell'insegnante.
2. Soglie Adattive: Propone un metodo specifico per classe e indipendente dal dataset per definire "alta confidenza" utilizzando soglie basate sulle quantili, mitigando il bias dell'insegnante e prevenendo la selezione di immagini anomale.
3. KD Black-box Few-shot Diversificata (DivBFKD): Un framework completo che affronta la mancanza di diversità nei dati sintetici, un collo di bottiglia critico nella KD few-shot.
4. Prestazioni all'Avanguardia: Dimostra miglioramenti significativi rispetto ai metodi esistenti di KD few-shot su vari dataset e architetture.

4. Risultati Sperimentali

Il metodo è stato valutato su sette dataset (MNIST, FMNIST, SVHN, CIFAR10, CIFAR100, Tiny-ImageNet, Imagenette) con varie architetture (LeNet, AlexNet, ResNet, VGG).

• Miglioramenti delle Prestazioni:
  • Dataset Semplici: DivBFKD ha superato il secondo miglior metodo black-box (FS-BBT) di circa il 2% su FMNIST e CIFAR10. Ha migliorato la KD Standard del 17% su CIFAR10.
  • Dataset Complessi: Su CIFAR100, DivBFKD ha raggiunto un'accuratezza del 59,91%, superando FS-BBT (56,28%) di circa il 3,6%. Su Imagenette (alta risoluzione), ha raggiunto l'86,48%, riducendo significativamente il divario con il limite superiore "Student-Full".
  • Cross-Architettura: Il metodo è rimasto robusto anche quando insegnante e studente avevano architetture diverse (ad esempio, insegnante ResNet e studente VGG), migliorando l'accuratezza del 14–22% rispetto alla KD Standard.
• Metriche di Diversità e Qualità:
  • Copertura: Le immagini sintetiche hanno coperto il 42% dei vicinati delle immagini di addestramento dell'insegnante, rispetto al solo 18% per le immagini few-shot e al 29% per gli output standard della WGAN.
  • FID/IS: Ha ottenuto il miglior Fréchet Inception Distance (13,96) e Inception Score (4,42) tra le baseline, indicando alta diversità e qualità.
• Studi di Ablazione: Hanno confermato che sia le Soglie Adattive (AT) che il Bilanciamento delle Classi (CB) sono componenti essenziali, con AT che fornisce il boost più significativo nella diversità.
• Confronto con KD Senza Dati: DivBFKD ha superato significativamente i metodi KD senza dati (zero-shot), dimostrando che anche una piccola quantità di dati reali (2K immagini) combinata con dati sintetici diversificati è superiore all'assenza totale di dati reali.

5. Significato

Questo paper apporta un contributo significativo al campo della compressione dei modelli e dell'AI che preserva la privacy:

• Applicabilità Pratica: Risolve un problema reale critico in cui le organizzazioni non possono condividere grandi dataset o pesi di modelli a causa di preoccupazioni sulla privacy o sulla proprietà intellettuale.
• Focus sulla Diversità: Sposta l'attenzione dalla semplice generazione di qualsiasi dato sintetico alla generazione di dati diversificati e allineati all'insegnante, che è la chiave per una distillazione efficace in ambienti con scarsità di dati.
• Efficienza: Il metodo proposto aggiunge un sovraccarico computazionale trascurabile (semplice thresholding e selezione in tempo reale) pur fornendo risultati all'avanguardia.
• Generalizzabilità: L'approccio è indipendente dall'architettura e funziona su compiti di classificazione di immagini semplici e complessi, rendendolo uno strumento versatile per il dispiegamento di modelli leggeri in ambienti vincolati.