Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

Résumé technique : Transfert d'apprentissage de modèles RVB vers des images hyperspectrales avec décompositions tensorielles entraînables

Énoncé du problème
L'imagerie hyperspectrale (HSI) capture des données sur des centaines de longueurs d'onde spectrales, offrant des informations riches pour des tâches en télédétection, imagerie médicale et horticulture. Cependant, l'entraînement de modèles d'apprentissage profond sur des HSI est entravé par la rareté de grands ensembles de données diversifiés par rapport aux images RVB. Par conséquent, le transfert d'apprentissage à partir de modèles de base RVB pré-entraînés (par exemple, entraînés sur ImageNet) constitue une stratégie souhaitable. Pourtant, une incompatibilité fondamentale existe : les modèles de base standards s'attendent à des entrées RVB à 3 canaux, tandis que les images hyperspectrales possèdent des dimensions de canal significativement plus élevées ($\hat{C}_{in} > 3$).

Les solutions existantes à ce décalage de dimensionnalité souffrent de compromis importants :

1. Adaptation côté image : La réduction des images hyperspectrales à 3 canaux via une réduction de dimensionnalité (par exemple, PCA) ou une sélection de canaux préserve l'architecture du modèle mais élimine des informations spectrales cruciales.
2. Adaptation côté modèle : Le remplacement de la première couche de convolution par une couche ayant $\hat{C}_{in}$ canaux d'entrée préserve les données de l'image mais nécessite l'entraînement de nouveaux poids à partir de zéro. Cela sacrifie les motifs spatiaux pré-appris des filtres originaux, augmente le nombre de paramètres entraînables et accroît le risque de surapprentissage sur de petits ensembles de données HSI.

Méthodologie
Les auteurs proposent une approche novatrice qui comble cette lacune en utilisant des décompositions tensorielles partiellement entraînables. L'idée centrale est que les filtres de convolution dans les modèles de base peuvent être décomposés en composantes spatiales et spectrales. En les séparant, la méthode peut conserver les motifs spatiaux appris à partir de grands ensembles de données RVB tout en adaptant les composantes spectrales au domaine hyperspectral spécifique.

Le processus implique les étapes suivantes :

1. Décomposition : Les poids de la première couche de convolution ($W^1$) d'un modèle de base pré-entraîné sont décomposés en utilisant soit la décomposition CP (Canonic Polyadic), soit la décomposition Tucker.
   • Décomposition CP : Approxime le filtre comme une somme de tenseurs de rang un, séparant le filtre en un vecteur spectral et deux vecteurs spatiaux (horizontal et vertical).
   • Décomposition Tucker : Projette le tenseur dans un tenseur de cœur de dimension inférieure via des multiplications matricielles. Les auteurs appliquent une décomposition Tucker partielle, compressant uniquement la dimension spectrale tout en préservant la structure spatiale.
2. Remplacement de composantes : Les composantes spectrales originales à 3 canaux sont éliminées. Elles sont remplacées par de nouvelles composantes spectrales entraînables de dimension $\hat{C}_{in}$ (correspondant à l'entrée hyperspectrale).
3. Gel et entraînement : Les composantes spatiales (dérivées des filtres pré-entraînés originaux) sont gelées. Seules les nouvelles composantes spectrales et la couche de classification finale sont entraînées.
4. Implémentation : Les couches décomposées sont implémentées à l'aide de convolutions séparables groupées. Pour la CP, cela implique une convolution ponctuelle suivie de deux convolutions profondes ; pour la Tucker, une convolution ponctuelle suivie d'une convolution 2D standard.

Contributions clés

• Mécanisme de transfert novateur : L'article introduit une méthode pour adapter des modèles de base RVB à 3 canaux à des entrées hyperspectrales sans sacrifier les informations spatiales pré-entraînées ni éliminer les données spectrales.
• Efficacité des paramètres : En gelant les composantes spatiales, la méthode réduit considérablement le nombre de paramètres entraînables par rapport au réentraînement de la première couche à partir de zéro, atténuant ainsi les risques de surapprentissage dans des scénarios où les données sont rares.
• Préservation des priors spatiaux : L'approche maintient les « formes elliptiques colorées » et les comportements de détection de bords caractéristiques des filtres de modèles de base pré-entraînés, qui sont cruciaux pour des tâches de vision robustes.

Résultats expérimentaux
Les auteurs ont évalué leur méthode sur cinq ensembles de données : trois ensembles de données de télédétection (Botswana, Indian Pines, Kennedy Space Center) et deux ensembles de données horticoles (Avocat, Feuilles de vigne). Ils ont comparé leurs approches CP et Tucker à deux lignes de base :

• Réduire : Réduction de dimensionnalité à 3 canaux.
• À partir de zéro : Remplacement de la première couche par une nouvelle couche entraînée à partir de zéro.

Constats :

• Précision : Les méthodes CP et Tucker proposées ont constamment surpassé la ligne de base « Réduire ». Elles étaient généralement plus précises que la ligne de base « À partir de zéro », en particulier sur des ensembles de données complexes comme « Feuilles de vigne » où « À partir de zéro » a mal performé.
• Robustesse : Dans les expériences de surapprentissage (variation des taux d'apprentissage et entraînement sur des époques prolongées), la méthode « À partir de zéro » a surappris significativement plus rapidement que les approches décomposées. Les méthodes décomposées ont démontré une plus grande stabilité.
• Indépendance du modèle de base : Les résultats ont été valables à travers différentes architectures de modèles de base (AlexNet, DenseNet, ResNet18).
• Sensibilité au rang : Bien qu'un rang de décomposition de $R=2$ ait généralement fourni le meilleur équilibre, l'augmentation du rang à $R=3$ n'a pas systématiquement produit d'améliorations supplémentaires, suggérant la nécessité d'un réglage des hyperparamètres.

Signification et affirmations
L'article affirme que cette approche résout avec succès le décalage de dimensionnalité entre les images hyperspectrales et les modèles de base RVB tout en préservant à la fois les informations spectrales de l'image et les priors spatiaux du modèle. Les auteurs affirment que leur méthode est plus précise et plus robuste contre le surapprentissage que les approches existantes de transfert d'apprentissage hyperspectral qui soit compressent l'image, soit réentraînent le modèle à partir de zéro.

Ce travail se positionne comme une étape vers la création de modèles de base universels pour l'imagerie hyperspectrale. Cependant, les auteurs restent modestes concernant les limites, notant que les couches décomposées en tenseurs peuvent être sensibles à l'initialisation et aux stratégies d'optimisation. Ils suggèrent que les travaux futurs pourraient se concentrer sur des stratégies d'optimisation spécifiquement adaptées à ces couches et explorer des méthodes qui pourraient éventuellement permettre un transfert d'apprentissage sans rétropropagation à travers l'ensemble du réseau.