Improved Knowledge Distillation for Land-Use Image Classification

Resumen Técnico: Destilación de Conocimiento Mejorada para la Clasificación de Imágenes de Uso de Suelo

Planteamiento del Problema
El aprendizaje profundo ha avanzado significativamente en el análisis de imágenes de teledetección, con arquitecturas recientes (por ejemplo, Transformers, CNN profundas) que alcanzan una precisión de vanguardia. Sin embargo, estos modelos de alto rendimiento suelen incurrir en costos computacionales y de memoria sustanciales, lo que dificulta su despliegue en plataformas periféricas (edge) con recursos limitados. Si bien la Destilación de Conocimiento (KD, por sus siglas en inglés) ofrece una solución al transferir el conocimiento de modelos "maestros" de gran tamaño a modelos "estudiantes" ligeros, los enfoques de KD existentes en teledetección suelen depender de objetivos de destilación únicos. Estos métodos pueden fallar al capturar plenamente el conocimiento complementario probabilístico, geométrico y estructural codificado en los modelos profundos, particularmente dada la alta similitud interclase y las variaciones visuales finas inherentes a las imágenes aéreas.

Metodología
Los autores proponen un marco de KD mejorado utilizando un paradigma maestro-estudiante.

• Arquitectura: Una red VGG16 sirve como el maestro debido a su estructura convolucional profunda y uniforme, capaz de aprender características jerárquicas ricas. Una red MobileNetV2 actúa como el estudiante ligero, elegida por su reducido recuento de parámetros manteniendo capacidades de aprendizaje de características discriminativas.
• Estrategia de Función de Pérdida: El modelo estudiante es entrenado utilizando una función de pérdida compuesta que integra la supervisión dura con una novedosa estrategia de supervisión blanda.
  1. Pérdida Dura (Hard Loss): Entropía cruzada categórica estándar utilizando etiquetas de verdad de campo (ground truth) para imponer la clasificación correcta y mantener límites de clase discriminativos.
  2. Pérdida Blanda (Soft Loss - Probabilística-Representacional): Una combinación ponderada de dos componentes distintos:
     • Pérdida de Divergencia KL: Mide la divergencia entre las distribuciones de probabilidad suavizadas del maestro y el estudiante (usando un parámetro de temperatura $T$). Esto transfiere el conocimiento probabilístico respecto a las confidencias relativas de las clases.
     • Pérdida de Similitud de Coseno: Aplicada a los logits normalizados en L2 del maestro y el estudiante. A diferencia de las métricas estáticas del espacio de características, este componente alinea la geometría estructural y la direccionalidad de las representaciones, centrándose en las relaciones angulares en lugar de la magnitud.
  3. Objetivo Total: La pérdida final ($\mathcal{L}_{total}$) equilibra la pérdida dura y la pérdida blanda combinada ($\mathcal{L}_{soft}$) mediante parámetros de ponderación $\alpha$ y $\lambda$.

Contribuciones Clave

• Formulación de Pérdida Híbrida: El artículo introduce un marco que optimiza simultáneamente la similitud semántica a nivel de clase (vía divergencia KL) y el alineamiento estructural a nivel de característica (vía Similitud de Coseno), abordando las limitaciones de la destilación de objetivo único.
• Alineamiento Geométrico: El trabajo explota de manera única la Similitud de Coseno como un componente de pérdida dinámico para imitar la direccionalidad de los logits del maestro, asegurando que el estudiante aprenda la geometría estructural de las representaciones del maestro.
• Compresión Eficiente: El método comprime con éxito un pesado VGG16 maestro en un MobileNetV2 estudiante altamente eficiente sin una degradación significativa de la precisión.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos de uso de suelo UC Merced (21 clases, 2100 imágenes).

• Desempeño: El método propuesto alcanzó una precisión de clasificación máxima del 99.04%, superando el entrenamiento base de MobileNetV2 (96.47%) y varios enfoques de destilación de pérdida única (por ejemplo, Hard + KL: 97.17%, Hard + Cosine: 97.08%).
• Eficiencia: El modelo estudiante destilado redujo el recuento de parámetros de 14.85 millones (Maestro) a 2.42 millones y el costo computacional de 20.06 GFLOPs a 0.40 GFLOPs.
• Comparación: El método superó a cinco de los ocho baselines de vanguardia no basados en KD y logró resultados competitivos frente a enfoques recientes de KD, ofreciendo una relación precisión-parámetro superior en comparación con métodos que utilizan maestros más profundos (por ejemplo, ResNet50/101) y estudiantes más pesados.
• Generalización: Experimentos preliminares en los conjuntos de datos AID y NWPU-RESISC45 demostraron capacidades de generalización prometedoras (95.77% y 91.59% de precisión, respectivamente).
• Significancia Estadística: Un estudio de ablación sobre 10 ejecuciones independientes confirmó que el marco completo (Hard + KL + Cosine) produce una mejora estadísticamente significativa sobre el baseline (p-valor < 0.05).

Significancia y Reivindicaciones
El artículo sostiene que, al integrar la supervisión dura con pérdidas blandas probabilísticas y de representación, el marco propuesto preserva eficazmente las relaciones semánticas y la geometría de las características. Esto permite que la red estudiante ligera logre una alta discriminación interclase en imágenes aéreas manteniendo la eficiencia computacional. Los autores posicionan el método como adecuado para aplicaciones de teledetección en tiempo real y con recursos limitados. Reconocen modestamente la existencia de una varianza menor entre las simulaciones y señalan que, si bien el enfoque se valida en UC Merced, el trabajo futuro debería centrarse en extender el análisis a conjuntos de datos más grandes y diversos, y en reducir aún más la carga computacional.