Improved Knowledge Distillation for Land-Use Image Classification

Resumo Técnico: Destilação de Conhecimento Aprimorada para Classificação de Imagens de Uso do Solo

Definição do Problema
O aprendizado profundo avançou significativamente a análise de imagens de sensoriamento remoto, com arquiteturas recentes (ex: Transformers, CNNs profundas) alcançando precisão de estado da arte. No entanto, esses modelos de alto desempenho frequentemente incorrem em custos computacionais e de memória substanciais, dificultando sua implantação em plataformas de borda (edge) com recursos limitados. Embora a Destilação de Conhecimento (KD - Knowledge Distillation) ofereça uma solução ao transferir conhecimento de modelos "professores" grandes para modelos "alunos" leves, as abordagens de KD existentes em sensoriamento remoto frequentemente dependem de objetivos de destilação únicos. Esses métodos podem falhar em capturar totalmente o conhecimento probabilístico, geométrico e estrutural complementar codificado em modelos profundos, particularmente dada a alta semelhança inter-classe e as variações visuais finas inerentes às imagens aéreas.

Metodologia
Os autores propõem um framework de KD aprimorado utilizando um paradigma professor-aluno.

• Arquitetura: Uma rede VGG16 serve como o professor devido à sua estrutura convolucional profunda e uniforme, capaz de aprender características hierárquicas ricas. Uma rede MobileNetV2 atua como o aluno leve, escolhida por sua contagem reduzida de parâmetros enquanto mantém capacidades de aprendizado de características discriminativas.
• Estratégia de Função de Perda: O modelo aluno é treinado usando uma função de perda composta que integra supervisão rígida (hard) com uma nova estratégia de supervisão suave (soft).
  1. Perda Rígida (Hard Loss): Entropia cruzada categórica padrão usando rótulos de verdade fundamental (ground truth) para impor a classificação correta e manter fronteiras de classe discriminativas.
  2. Perda Suave (Probabilística-Representacional): Uma combinação ponderada de dois componentes distintos:
     • Perda de Divergência KL: Mede a divergência entre as distribuições de probabilidade suavizadas do professor e do aluno (usando um parâmetro de temperatura $T$). Isso transfere o conhecimento probabilístico referente às confianças relativas de classe.
     • Perda de Similaridade de Cosseno: Aplicada aos logits normalizados em L2 do professor e do aluno. Diferente de métricas estáticas de espaço de características, este componente alinha a geometria estrutural e a direcionalidade das representações, focando em relações angulares em vez de magnitude.
  3. Objetivo Total: A perda final ($\mathcal{L}_{total}$) equilibra a perda rígida e a perda suave combinada ($\mathcal{L}_{soft}$) através de parâmetros de ponderação $\alpha$ e $\lambda$.

Principais Contribuições

• Formulação de Perda Híbrida: O artigo introduz um framework que otimiza simultaneamente a semelhança semântica ao nível de classe (via divergência KL) e o alinhamento estrutural de características (via Similaridade de Cosseno), abordando as limitações da destilação de objetivo único.
• Alinhamento Geométrico: O trabalho explora unicamente a Similaridade de Cosseno como um componente de perda dinâmico para mimetizar a direcionalidade dos logits do professor, garantindo que o aluno aprenda a geometria estrutural das representações do professor.
• Compressão Eficiente: O método comprime com sucesso um professor VGG16 pesado em um aluno MobileNetV2 altamente eficiente sem degradação significativa de precisão.

Resultados Experimentais
Experimentos foram conduzidos no conjunto de dados de uso do solo UC Merced (21 classes, 2100 imagens).

• Desempenho: O método proposto alcançou um pico de precisão de classificação de 99,04%, superando o treinamento de linha de base MobileNetV2 (96,47%) e várias abordagens de destilação de perda única (ex: Hard + KL: 97,17%, Hard + Cosseno: 97,08%).
• Eficiência: O modelo aluno destilado reduziu a contagem de parâmetros de 14,85 milhões (Professor) para 2,42 milhões e o custo computacional de 20,06 GFLOPs para 0,40 GFLOPs.
• Comparação: O método superou cinco de oito baselines de estado da arte não-KD e alcançou resultados competitivos contra abordagens recentes baseadas em KD, oferecendo um compromisso precisão-parâmetro superior em comparação com métodos usando professores mais profundos (ex: ResNet50/101) e alunos mais pesados.
• Generalização: Experimentos preliminares nos conjuntos de dados AID e NWPU-RESISC45 demonstraram capacidades de generalização promissoras (95,77% e 91,59% de precisão, respectivamente).
• Significância Estatística: Um estudo de ablação ao longo de 10 execuções independentes confirmou que o framework completo (Hard + KL + Cosseno) produz uma melhoria estatisticamente significativa sobre a linha de base (p-valor < 0,05).

Significância e Alegações
O artigo alega que, ao integrar supervisão rígida com perdas suaves probabilísticas e representacionais, o framework proposto preserva efetivamente as relações semânticas e a geometria das características. Isso permite que a rede de aluno leve alcance alta discriminação inter-classe em imagens aéreas enquanto mantém a eficiência computacional. Os autores posicionam o método como bem adequado para aplicações de sensoriamento remoto em tempo real e com recursos restritos. Eles reconhecem modestamente a pequena variância entre as simulações e observam que, embora a abordagem seja validada no UC Merced, trabalhos futuros devem focar na extensão da análise para conjuntos de dados maiores e mais diversos e na redução adicional do overhead computacional.