Resumo Técnico: Escolhas de Design que Importam na Classificação Multirrótulo de Sensoriamento Remoto

Problema

O benchmarking de modelos de aprendizagem profunda (DL) para classificação multirrótulo (MLC) de imagens de sensoriamento remoto (RSI) normalmente produz classificações de desempenho de modelos. No entanto, essas classificações frequentemente falham em generalizar além dos conjuntos de dados específicos nos quais foram avaliadas. O desempenho dos modelos de DL é influenciado por uma interação complexa de fatores, incluindo arquitetura de rede, estratégias de treinamento (ex: ajuste fino vs. pré-treinado) e inicialização. Além disso, propriedades intrínsecas do conjunto de dados — como escala, resolução espacial e complexidade do espaço de rótulos — afetam significativamente quais escolhas de design são eficazes. As abordagens de benchmarking atuais, que dependem de simples classificações de desempenho, não fornecem insights acionáveis sobre por que certas escolhas funcionam para conjuntos de dados específicos ou como essas escolhas interagem. Há uma necessidade de ir além de classificações estáticas em direção a uma compreensão sistemática de como as escolhas de design e suas interações contribuem para a variabilidade de desempenho em diferentes regimes de dados.

Metodologia

Os autores empregam a Análise de Variância Funcional (fANOVA) para decompor a variância no desempenho do modelo em contribuições de escolhas de design individuais e suas interações. O estudo utiliza um framework fANOVA estendido aplicado a dois cenários de benchmarking distintos em sete conjuntos de dados de RSI.

Cenários Experimentais

1. Cenário 1 (Ponta a Ponta vs. Extração de Características): Baseado em Stoimchev et al. [9], este cenário avalia 48 modelos de DL. Ele investiga se CNNs usadas como preditores de ponta a ponta superam aquelas usadas como extratores de características combinados com modelos baseados em árvores (Random Forest, Extra Trees). As escolhas de design analisadas são:
   • Arquitetura de Rede: Variantes de VGG, ResNet, EfficientNet.
   • Estratégia de Ajuste Fino (Fine-tuning): Pré-treinado (camadas congeladas) vs. Ajuste Fino (todas as camadas atualizadas).
   • Estratégia de Aprendizado: Ponta a ponta vs. Extração de características com classificadores subsequentes.
2. Cenário 2 (Arquitetura e Inicialização): Baseado em Dimitrovski et al. [8], este cenário avalia 20 modelos de DL, incluindo CNNs e Transformers (ViT, SwinT, etc.). As escolhas de design são:
   • Arquitetura de Rede: AlexNet, VGG, ResNet, DenseNet, EfficientNet, ViT, MLP-Mixer, ConvNeXt, SwinT.
   • Estratégia de Inicialização: Do zero vs. Pré-treinado.

Pipeline de Análise

1. Meta-Representações de Conjuntos de Dados: Para cada conjunto de dados, a fANOVA é aplicada às pontuações de desempenho dos modelos avaliados. Isso gera um vetor de meta-representação que captura a importância dos efeitos principais (módulos individuais) e efeitos de interação (pareados e de ordem superior).
2. Agrupamento (Clustering): O agrupamento hierárquico é aplicado a essas meta-representações para agrupar conjuntos de dados com base em seus "perfis de sensibilidade de escolha de design", em vez de níveis brutos de desempenho.
3. Correlação com Meta-Características: Os clusters resultantes são analisados contra meta-características intrínsecas do conjunto de dados (ex: número de amostras, resolução espacial, cardinalidade de rótulos) para identificar padrões.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Quantificação do Impacto da Escolha de Design: Aplica a fANOVA a dois cenários de benchmarking de MLC (48 e 20 modelos) em sete conjuntos de dados de RSI, quantificando a contribuição específica de escolhas de design individuais e suas interações para a variabilidade de desempenho.
2. Meta-Representações de Conjuntos de Dados: Constrói meta-representações a partir das pontuações de importância da fANOVA. O agrupamento hierárquico dessas representações revela que os conjuntos de dados se agrupam naturalmente por sua sensibilidade às escolhas de design, em vez de pelo magnitude do desempenho geral.
3. Identificação de Regimes de Desempenho: O estudo demonstra que o fator dominante que governa o desempenho muda com base no regime do conjunto de dados:
   • Grande escala: Impulsionado pela estratégia de ajuste fino e arquitetura.
   • Dados limitados: Governado pela estratégia de inicialização.
   • Intermediário: Caracterizado por interações entre arquitetura e estratégias de aprendizado/inicialização.
4. Reenquadramento das Conclusões de Benchmarking: Reinterpreta as conclusões de estudos estabelecidos [8, 9] como condicionais ao conjunto de dados, em vez de universais, fornecendo diretrizes conscientes do conjunto de dados para seleção de modelos.

Resultados

A análise revela padrões distintos de como as escolhas de design influenciam o desempenho através de diferentes escalas de conjuntos de dados:

• Variabilidade de Desempenho Bruto: Conjuntos de dados como Ankara e AID mostraram distribuições de desempenho estreitas (baixa sensibilidade a escolhas de design), enquanto conjuntos como BigEarthNet e MLRSNet mostraram distribuições amplas (alta sensibilidade).
• Decomposição de Variância:
  • No Cenário 1, efeitos individuais dominaram, com escolhas únicas explicando mais de 80% da variância em alguns casos. Interações pareadas foram substanciais, mas menores; interações de três vias foram negligenciáveis.
  • No Cenário 2, efeitos individuais também dominaram, mas interações pareadas permaneceram não negligenciáveis (8–20%), indicando que a combinação de arquitetura e inicialização impacta significativamente o desempenho.
• Agrupamento e Análise de Regime:
  • Cluster 1 (Grande escala: BigEarthNet-19/43, MLRSNet): O desempenho é impulsionado principalmente pela estratégia de ajuste fino (Cenário 1) e pela escolha de arquitetura (Cenário 2). Adaptar pesos pré-treinados é crucial, e o ajuste fino melhora o desempenho uniformemente entre as arquiteturas neste regime.
  • Cluster 2 (Dados limitados: Ankara, UCM, AID): Em conjuntos de dados pequenos, a inicialização (pré-treinamento) é decisiva. Aprender representações fortes do zero é difícil; o pré-treinamento reduz significativamente o overfitting e melhora a generalização. No Cenário 1, a arquitetura torna-se mais influente aqui, com modelos mais simples (ex: VGG) às vezes superando modelos mais profundos em dados de baixa resolução e pequena escala.
  • Cluster 3 (Intermediário: DFC-15, PlanetUAS): Tanto a arquitetura quanto as estratégias de inicialização/aprendizado são importantes, e suas interações tornam-se não negligenciáveis. Por exemplo, certas arquiteturas (ex: ConvNeXt, VGG16) beneficiam-se mais do pré-treinamento do que outras (ex: ResNet152), exigindo uma configuração conjunta cuidadosa.

Significância e Alegações

O artigo afirma que suas descobertas fornecem insights acionáveis e conscientes do conjunto de dados que vão além das classificações tradicionais de benchmarking. Ao identificar que a importância da escolha de design não é universal, mas depende de propriedades intrínsecas do conjunto de dados (escala, resolução, complexidade), o estudo argumenta que:

• As conclusões de benchmarking devem ser reenquadradas como condicionais ao regime do conjunto de dados.
• Praticantes devem priorizar o ajuste fino e a capacidade arquitetônica para conjuntos de dados de grande escala.
• Para regimes de dados limitados, a escolha da inicialização (pré-treinamento) é o fator mais crítico.
• Para regimes intermediários, a interação entre os módulos deve ser considerada.

Os autores observam limitações, incluindo a restrição a CNNs e Transformers iniciais, a exclusão de modelos de fundação visual recentes e a dependência de elementos de treinamento fixos (ex: aumento de dados, otimizadores) de estudos anteriores. Eles sugerem que trabalhos futuros devem focar em prever perfis de sensibilidade diretamente a partir de meta-características de conjuntos de dados e estender a análise para modelos de fundação modernos.