Improved Knowledge Distillation for Land-Use Image Classification

Résumé Technique : Amélioration de la Distillation de Connaissances pour la Classification d'Images d'Occupation des Sols

Énoncé du Problème
L'apprentissage profond a considérablement fait progresser l'analyse d'images de télédétection, les architectures récentes (par exemple, les Transformers, les CNN profonds) atteignant des niveaux de précision de pointe. Cependant, ces modèles de haute performance engendrent souvent des coûts de calcul et de mémoire substantiels, ce qui entrave leur déploiement sur des plateformes de bord (edge) aux ressources limitées. Bien que la Distillation de Connaissances (KD - Knowledge Distillation) offre une solution en transférant le savoir de modèles « enseignants » volumineux vers des modèles « étudiants » légers, les approches de KD existantes en télédétection reposent souvent sur des objectifs de distillation uniques. Ces méthodes peuvent échouer à capturer pleinement les connaissances probabilistes, géométriques et structurelles complémentaires encodées dans les modèles profonds, particulièrement compte tenu de la forte similitude inter-classes et des fines variations visuelles inhérentes à l'imagerie aérienne.

Méthodologie
Les auteurs proposent un cadre de KD amélioré utilisant un paradigme enseignant-étudiant.

• Architecture : Un réseau VGG16 sert d'enseignant en raison de sa structure convolutionnelle profonde et uniforme capable d'apprendre des caractéristiques hiérarchiques riches. Un réseau MobileNetV2 agit comme l'étudiant léger, choisi pour son nombre réduit de paramètres tout en maintenant des capacités d'apprentissage de caractéristiques discriminantes.
• Stratégie de Fonction de Perte : Le modèle étudiant est entraîné à l'aide d'une fonction de perte composite qui intègre une supervision dure avec une nouvelle stratégie de supervision douce.
  1. Perte Dure (Hard Loss) : Entropie croisée catégorielle standard utilisant les étiquettes de vérité terrain pour imposer une classification correcte et maintenir des frontières de classes discriminantes.
  2. Perte Douce (Soft Loss - Probabiliste-Représentationnelle) : Une combinaison pondérée de deux composantes distinctes :
     • Perte de Divergence KL : Mesure la divergence entre les distributions de probabilité adoucies de l'enseignant et de l'étudiant (en utilisant un paramètre de température $T$). Cela transfère la connaissance probabiliste concernant les confiances relatives des classes.
     • Perte de Similitude Cosinus : Appliquée aux logits normalisés par L2 de l'enseignant et de l'étudiant. Contra \text{à} des métriques d'espace de caractéristiques statiques, cette composante aligne la géométrie structurelle et la directionnalité des représentations, se concentrant sur les relations angulaires plutôt que sur la magnitude.
  3. Objectif Total : La perte finale ($\mathcal{L}_{total}$) équilibre la perte dure et la perte douce combinée ($\mathcal{L}_{soft}$) via des paramètres de pondération $\alpha$ et $\lambda$.

Contributions Clés

• Formulation de Perte Hybride : L'article introduit un cadre qui optimise simultanément la similitude sémantique au niveau des classes (via la divergence KL) et l'alignement structurel des caractéristiques (via la similitude cosinus), répondant ainsi aux limites de la distillation à objectif unique.
• Alignement Géométrique : Ce travail exploite de manière unique la similitude cosinus comme une composante de perte dynamique pour imiter la directionnalité des logits de l'enseignant, garantissant que l'étudiant apprenne la géométrie structurelle des représentations de l'enseignant.
• Compression Efficace : La méthode parvient à compresser un enseignant VGG16 lourd en un étudiant MobileNetV2 hautement efficace sans dégradation significative de la précision.

Résultats Expérimentaux
Les expériences ont été menées sur le jeu de données d'occupation des sols UC Merced (21 classes, 2100 images).

• Performance : La méthode proposée a atteint une précision de classification de pointe de 99,04 %, surpassant l'entraînement de base de MobileNetV2 (96,47 %) et diverses approches de distillation à perte unique (par exemple, Dur + KL : 97,17 %, Dur + Cosinus : 97,08 %).
• Efficacité : Le modèle étudiant distillé a réduit le nombre de paramètres de 14,85 millions (Enseignant) à 2,42 millions et le coût de calcul de 20,06 GFLOPs à 0,40 GFLOPs.
• Comparaison : La méthode a surpassé cinq des huit bases de référence non-KD de pointe et a obtenu des résultats compétitifs face aux approches récentes basées sur la KD, offrant un compromis précision-paramètres supérieur par rapport aux méthodes utilisant des enseignants plus profonds (ex: ResNet50/101) et des étudiants plus lourds.
• Généralisation : Des expériences préliminaires sur les jeux de données AID et NWPU-RESISC45 ont démontré des capacités de généralisation prometteuses (respectivement 95,77 % et 91,59 % de précision).
• Signification Statistique : Une étude d'ablation sur 10 exécutions indépendantes a confirmé que le cadre complet (Dur + KL + Cosinus) produit une amélioration statistiquement significative par rapport à la base (p-valeur < 0,05).

Signification et Revendications
L'article affirme qu'en intégrant une supervision dure avec des pertes douces probabilistes et représentationnelles, le cadre proposé préserve efficacement les relations sémantiques et la géométrie des caractéristiques. Cela permet au réseau étudiant léger d'atteindre une haute discrimination inter-classes dans l'imagerie aérienne tout en maintenant l'efficacité computationnelle. Les auteurs positionnent la méthode comme étant bien adaptée aux applications de télédétection en temps réel et à ressources limitées. Ils reconnaissent modestement une légère variance entre les simulations et notent que, bien que l'approche soit validée sur UC Merced, les travaux futurs devraient se concentrer sur l'extension de l'analyse à des jeux de données plus larges et plus diversifiés, ainsi que sur la réduction supplémentaire de la charge de calcul.