Improved Knowledge Distillation for Land-Use Image Classification

Sintesi Tecnica: Distillazione della Conoscenza Migliorata per la Classificazione di Immagini di Uso del Suolo

Definizione del Problema
Il deep learning ha fatto passi da gigante nell'analisi di immagini di telerilevamento, con architetture recenti (ad es., Transformer, CNN profonde) che raggiungono livelli di accuratezza allo stato dell'arte. Tuttavia, questi modelli ad alte prestazioni comportano spesso costi computazionali e di memoria sostanziali, ostacolando il loro dispiegamento su piattaforme edge con risorse limitate. Sebbene la Distillazione della Conoscenza (Knowledge Distillation, KD) offra una soluzione trasferendo la conoscenza da modelli "teacher" (insegnanti) di grandi dimensioni a modelli "student" (studenti) leggeri, gli approoli di KD esistenti nel telerilevamento si affidano spesso a obiettivi di distillazione singoli. Tali metodi possono non riuscire a catturare appieno la conoscenza probabilistica, geometrica e strutturale complementare codificata nei modelli profondi, in particolare data l'elevata somiglianza inter-classe e le sottili variazioni visive inerenti alle immagini aeree.

Metodologia
Gli autori propongono un framework di KD migliorato utilizzando un paradigma teacher-student.

• Architettura: Una rete VGG16 funge da teacher grazie alla sua struttura convoluzionale profonda e uniforme, capace di apprendere caratteristiche gerarchiche ricche. Una rete MobileNetV2 funge da student leggero, scelta per il ridotto numero di parametri pur mantenendo capacità di apprendimento delle caratteristiche discriminative.
• Strategia della Funzione di Perdita: Il modello student viene addestrato utilizzando una funzione di perdita composita che integra una supervisione hard con una nuova strategia di supervisione soft.
  1. Hard Loss: Cross-entropia categorica standard utilizzando le etichette ground truth per imporre una classificazione corretta e mantenere confini di classe discriminativi.
  2. Soft Loss (Probabilistico-Rappresentazionale): Una combinazione pesata di due componenti distinte:
     • Perdita di Divergenza KL: Misura la divergenza tra le distribuzioni di probabilità ammorbidite del teacher e dello student (utilizzando un parametro di temperatura $T$). Questa trasferisce la conoscenza probabilistica riguardante le probabilità relative delle classi.
     • Perdita di Similarità del Coseno: Applicata ai logit normalizzati L2 del teacher e dello student. A differenza delle metriche statiche dello spazio delle caratteristiche, questa componente allinea la geometria strutturale e la direzionalità delle rappresentazioni, concentrandosi sulle relazioni angolari piuttosto che sull'ampiezza.
  3. Obiettivo Totale: La perdita finale ($\mathcal{L}_{total}$) bilancia la hard loss e la combinata soft loss ($\mathcal{L}_{soft}$) tramite parametri di ponderazione $\alpha$ e $\lambda$.

Contributi Chiave

• Formulazione della Perdita Ibrida: Il documento introduce un framework che ottimizza simultaneamente la somiglianza semantica a livello di classe (tramite la divergenza KL) e l'allineamento strutturale a livello di feature (tramite la Similarità del Coseno), affrontando i limiti della distillazione a obiettivo singolo.
• Allineamento Geometrico: Il lavoro sfrutta in modo unico la Similarità del Coseno come componente dinamica della perdita per imitare la direzionalità dei logit del teacher, garantendo che lo student apprenda la geometria strutturale delle rappresentazioni del teacher.
• Compressione Efficiente: Il metodo comprime con successo un pesante VGG16 teacher in un altamente efficiente MobileNetV2 student senza una degradazione significativa dell'accuratezza.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset di uso del suolo UC Merced (21 classi, 2100 immagini).

• Prestazioni: Il metodo proposto ha raggiunto un'accuratezza di classificazione massima del 99,04%, superando l'addestramento baseline di MobileNetV2 (96,47%) e vari approcci di distillazione a perdita singola (ad es., Hard + KL: 97,17%, Hard + Coseno: 97,08%).
• Efficienza: Il modello student distillato ha ridotto il numero di parametri da 14,85 milioni (Teacher) a 2,42 milioni e il costo computazionale da 20,06 GFLOPs a 0,40 GFLOPs.
• Confronto: Il metodo ha superato cinque degli otto baseline non-KD allo stato dell'arte e ha ottenuto risultati competitivi rispetto ai recenti approcci basati su KD, offrendo un rapporto accuratezza-parametri superiore rispetto ai metodi che utilizzano teacher più profondi (ad es., ResNet50/101) e student più pesanti.
• Generalizzazione: Esperimenti preliminari sui dataset AID e NWPU-RESISC45 hanno dimostrato capacità di generalizzazione promettenti (rispettivamente 95,77% e 91,59% di accuratezza).
• Significatività Statistica: Uno studio di ablazione su 10 sessioni indipendenti ha confermato che l'intero framework (Hard + KL + Coseno) produce un miglioramento statisticamente significativo rispetto al baseline (p-value < 0,05).

Significato e Rivendicazioni
Il documento sostiene che, integrando la supervisione hard con perdite soft probabilistiche e rappresentazionali, il framework proposto preserva efficacemente le relazioni semantiche e la geometria delle feature. Ciò consente alla rete student leggera di raggiungere un'elevata discriminazione inter-classe nelle immagini aeree mantenendo l'efficienza computazionale. Gli autori posizionano il metodo come adatto ad applicazioni di telerilevamento in tempo reale e con risorse limitate. Essi riconoscono modestamente la presenza di una minima varianza tra le simulazioni e notano che, sebbene l'approccio sia stato validato su UC Merced, il lavoro futuro dovrebbe concentrarsi sull'estensione dell'analisi a dataset più grandi e diversificati e sulla riduzione ulteriore dell'overhead computazionale.