Résumé technique : Choix de conception déterminants pour la classification multi-étiquettes en télédétection

Énoncé du problème

L'évaluation des modèles d'apprentissage profond (DL) pour la classification multi-étiquette (MLC) d'images de télédétection (RSI) produit généralement des classements de performance des modèles. Cependant, ces classements échouent souvent à se généraliser au-delà des jeux de données spécifiques sur lesquels ils ont été évalués. La performance des modèles de DL est influencée par une interaction complexe de facteurs, incluant l'architecture du réseau, les stratégies d'entraînement (ex: fine-tuning vs pré-entraînement) et l'initialisation. De plus, les propriétés intrinsèques du jeu de données — telles que l'échelle, la résolution spatiale et la complexité de l'espace d'étiquettes — affectent significativement l'efficacité de certains choix de conception. Les approches de benchmarking actuelles, qui reposent sur de simples classements de performance, ne fournissent pas d'informations exploitables sur le pourquoi certains choix fonctionnent pour des jeux de données spécifiques ou comment ces choix interagissent. Il est nécessaire de dépasser les classements statiques pour tendre vers une compréhension systématique de la manière dont les choix de conception et leurs interactions contribuent à la variabilité de la performance à travers différents régimes de données.

Méthodologie

Les auteurs utilisent l'analyse de variance fonctionnelle (fANOVA) pour décomposer la variance de la performance des modèles en contributions provenant des choix de conception individuels et de leurs interactions. L'étude utilise un cadre fANOVA étendu appliqué à deux scénarios de benchmarking distincts sur sept jeux de données de RSI.

Scénarios expérimentaux

1. Scénario 1 (End-to-End vs Extraction de caractéristiques) : Basé sur Stoimchev et al. [9], ce scénario évalue 48 modèles de DL. Il examine si les CNN utilisés comme prédicteurs de bout en bout (end-to-end) surpassent ceux utilisés comme extracteurs de caractéristiques combinés à des modèles basés sur des arbres (Forêt Aléatoire, Extra Trees). Les choix de conception analysés sont :
   • Architecture du réseau : Variantes de VGG, ResNet, EfficientNet.
   • Stratégie de fine-tuning : Pré-entraîné (couches gelées) vs Fine-tuné (toutes les couches mises à jour).
   • Stratégie d'apprentissage : End-to-end vs Extraction de caractéristiques avec classifieurs en aval.
2. Scénario 2 (Architecture et Initialisation) : Basé sur Dimitrovski et al. [8], ce scénario évalue 20 modèles de DL, incluant des CNN et des Transformers (ViT, SwinT, etc.). Les choix de conception sont :
   • Architecture du réseau : AlexNet, VGG, ResNet, DenseNet, EfficientNet, ViT, MLP-Mixer, ConvNeXt, SwinT.
   • Stratégie d'initialisation : À partir de zéro (from scratch) vs Pré-entraîné.

Pipeline d'analyse

1. Méta-représentations des jeux de données : Pour chaque jeu de données, la fANOVA est appliquée aux scores de performance des modèles évalués. Cela génère un vecteur de méta-représentation capturant l'importance des effets principaux (modules individuels) et des effets d'interaction (interactions par paires et d'ordre supérieur).
2. Clustering : Le clustering hiérarchique est appliqué à ces méta-représentations pour regrouper les jeux de données selon leurs « profils de sensibilité aux choix de conception » plutôt que selon leurs niveaux de performance brute.
3. Corrélation avec les méta-caractéristiques : Les clusters résultants sont analysés par rapport aux méta-caractéristiques intrinsèques des jeux de données (ex: nombre d'échantillons, résolution spatiale, cardinalité des étiquettes) afin d'identifier des modèles.

Contributions principales

Le papier apporte quatre contributions primaires :

1. Quantification de l'impact des choix de conception : Il applique la fANOVA à deux scénarios de benchmarking MLC (48 et 20 modèles) sur sept jeux de données de RSI, quantifiant la contribution spécifique des choix de conception individuels et de leurs interactions à la variabilité de la performance.
2. Méta-représentations des jeux de données : Il construit des méta-représentations à partir des scores d'importance de la fANOVA. Le clustering hiérarchique de ces représentations révèle que les jeux de données se regroupent naturellement par leur sensibilité aux choix de conception, plutôt que par l'amplitude de leur performance globale.
3. Identification des régimes de performance : L'étude démontre que le facteur dominant régissant la performance change selon le régime du jeu de données :
   • Grande échelle : Piloté par la stratégie de fine-tuning et l'architecture.
   • Données limitées : Gouverné par la stratégie d'initialisation.
   • Intermédiaire : Caractérisé par des interactions entre l'architecture et les stratégies d'apprentissage/initialisation.
4. Recadrage des conclusions de benchmarking : Il réinterprète les conclusions d'études établies [8, 9] comme étant conditionnelles au jeu de données plutôt qu'universelles, fournissant des directives de sélection de modèles dépendantes du jeu de données.

Résultats

L'analyse révèle des modèles distincts sur la manière dont les choix de conception influencent la performance à travers différentes échelles de jeux de données :

• Variabilité de la performance brute : Des jeux de données comme Ankara et AID présentent des distributions de performance serrées (faible sensibilité aux choix de conception), tandis que des jeux de données comme BigEarthNet et MLRSNet présentent des distributions larges (haute sensibilité).
• Décomposition de la variance :
  • Dans le Scénario 1, les effets individuels dominent, les choix uniques expliquant plus de 80 % de la variance dans certains cas. Les interactions par paires sont substantielles mais plus faibles ; les interactions à trois voies sont négligeables.
  • Dans le Scénario 2, les effets individuels dominent également, mais les interactions par paires restent non négligeables (8–20 %), indiquant que la combinaison de l'architecture et de l'initialisation impacte significativement la performance.
• Analyse de clustering et de régime :
  • Cluster 1 (Grande échelle : BigEarthNet-19/43, MLRSNet) : La performance est principalement pilotée par la stratégie de fine-tuning (Scénario 1) et le choix de l'architecture (Scénario 2). L'adaptation des poids pré-entraînés est cruciale, et le fine-tuning améliore la performance uniformément à travers les architectures dans ce régime.
  • Cluster 2 (Données limitées : Ankara, UCM, AID) : Dans les petits jeux de données, l'initialisation (pré-entraînement) est décisive. Apprendre des représentations fortes à partir de zéro est difficile ; le pré-entraînement réduit significativement le surapprentissage et améliore la généralisation. Dans le Scénario 1, l'architecture devient plus influente ici, avec des modèles plus simples (ex: VGG) surpassant parfois les plus profonds sur des données de faible résolution et de petite taille.
  • Cluster 3 (Intermédiaire : DFC-15, PlanetUAS) : L'architecture et les stratégies d'initialisation/apprentissage sont toutes deux importantes, et leurs interactions deviennent non négligeables. Par exemple, certaines architectures (ex: ConvNeXt, VGG16) bénéficient davantage du pré-entraînement que d'autres (ex: ResNet152), nécessissant une configuration conjointe minutieuse.

Signification et affirmations

Le papier affirme que ses conclusions fournissent des informations exploitables et dépendantes du jeu de données qui vont au-delà des classements traditionnels de benchmarking. En identifiant que l'importance des choix de conception n'est pas universelle mais dépend des propriétés intrinsèques des jeux de données (échelle, résolution, complexité), l'étude soutient que :

• Les conclusions de benchmarking doivent être recadrées comme étant conditionnelles au régime du jeu de données.
• Les praticiens devraient prioriser le fine-tuning et la capacité architecturale pour les jeux de données à grande échelle.
• Pour les régimes à données limitées, le choix de l'initialisation (pré-entraînement) est le facteur le plus critique.
• Pour les régimes intermédiaires, l'interaction entre les modules doit être prise en compte.

Les auteurs notent des limites, notamment la restriction aux CNN et aux premiers Transformers, l'exclusion des modèles de fondation visuelle récents, et la dépendance à des éléments d'entraînement fixes (ex: augmentations, optimiseurs) issus d'études antérieures. Ils suggèrent que les travaux futurs devraient se concentrer sur la prédiction directe des profils de sensibilité à partir des méta-caractéristiques des jeux de données et étendre l'analyse aux modèles de fondation modernes.