Résumé Technique : Les raccourcis à basse fréquence dans l'apprentissage visuel piloté par la texture

Énoncé du Problème

Les réseaux de neurones sont sujets à l'apprentissage de raccourcis (shortcut learning), où les modèles apprennent des caractéristiques qui performent bien sur les données d'entraînement mais échouent à se généraliser aux ensembles de test en distribution (ID) ou hors distribution (OOD). Alors que la recherche existante sur l'apprentissage de raccourcis et le biais spectral s'est largement concentrée sur les benchmarks standard pilotés par la forme (ex: CIFAR-10, ImageNet) où la classification repose sur les formes globales des objets, de nombreux domaines d'applications réels sont pilotés par la texture. Dans ces domaines (ex: histopathologie, classification de textiles, reconnaissance de terrains terrestres), la « forme » est mal définie ou non pertinente, et la classification repose sur des motifs spatiaux répétitifs et fins.

L'article examine si l'apprentissage de raccourcis se manifeste différemment dans les domaines pilotés par la texture par rapport aux benchmarks standards. Plus précisément, il pose la question suivante : les modèles pilotés par la texture s'appuient-ils sur des composantes fréquentielles spécifiques qui agissent comme des raccourcis, et comment cette dépendance affecte-t-elle la robustesse aux corruptions OOD ?

Méthodologie

Les auteurs utilisent un cadre de diagnostic basé sur la fréquence utilisant la Transformée en Cosinus Discrète (DCT) pour analyser la dynamique de l'apprentissage.

1. Pipeline de l'élagage fréquentiel (Frequency Pruning) :

   • Les images sont transformées dans le domaine fréquentiel.
   • Les composantes fréquentielles sont regroupées en diagonales (du haut à gauche vers le bas à droite), où les taux d'oscillation et la complexité spatiale augmentent.
   • Les auteurs appliquent des stratégies d'élagage en mettant à zéro des ensembles spécifiques de diagonales : Composantes à Basse Fréquence (LFC), Composantes à Fréquence Moyenne (MFC) et Composantes à Haute Fréquence (HFC).
   • Les ensembles d'entraînement et de test sont tous deux élagués selon la stratégie, et les modèles sont entraînés de zéro pour évaluer l'impact sur les performances ID et OOD.

2. Analyse du comportement spectral :

   • Contributions de l'exactitude : Les auteurs mesurent la « contribution à l'exactitude » des composantes fréquentielles individuelles en élagant ces dernières une par une de l'ensemble de test et en attribuant la chute d'exactitude résultante à cette composante.
   • Définition du raccourci à basse fréquence : Un phénomène où les contributions à l'exactitude d'un modèle sont concentrées sur un petit nombre de LFC, bien que l'information de classification réside dans des détails plus fins et de plus haute fréquence.

3. Configuration expérimentale :

   • Jeux de données : Six jeux de données ont été utilisés : SP-Colorectal (histopathologie), TextileNet (textiles), GTOS (terrain terrestre), GalaxyMNIST, EuroSAT (utilisation des terres) et CIFAR-10 (benchmark standard).
   • Modèles : ResNet-50, MobileNet-V3, ViT-Small, ViT-Tiny, et des modèles de fondation (DinoV2, CLIP).
   • Corruptions OOD : Les corruptions d'ImageNet-C ont été utilisées, classées en basse fréquence (brouillard), haute fréquence (flou gaussien) et mixte (transformation élastique).

Principaux Résultats et Constats

1. Existence de raccourcis à basse fréquence dans les domaines pilotés par la texture

• Comportement spectral asymétrique : Dans les domaines pilotés par la texture (SP-Colorectal, TextileNet, GTOS), les modèles entraînés sur des données non élaguées présentent un comportement spectral fortement asymétrique. Ils prennent la majorité de leurs décisions en se basant sur quelques Composantes à Basse Fréquence (Ls/LFCs).
• Contraste avec les données pilotées par la forme : Contrairement à CIFAR-10, où les contributions à l'exactitude sont plus équilibrées à travers le spectre (reposant sur des structures lisses définissant la forme), les tâches pilotées par la texture dépendent des LFC (ex: ombrage d'arrière-plan, effets de caméra) même si l'information discriminante réside dans des motifs de haute fréquence et de grain fin.
• Persistance : Ce comportement de raccourci est persistant à travers différentes architectures de modèles (CNN et Transformers), tailles, hyperparamètres et optimiseurs. Il affecte également les modèles de vision de fond pré-entraînés (DinoV2) et les modèles de langage (CLIP), bien que la sévérité varie.

2. Impact de l'élagage des LFC sur la performance ID

• Élimination des raccourcis : L'élagage des LFC des ensembles d'entraînement et de test force le modèle à s'appuyer sur des caractéristiques de plus haute fréquence.
• Amélioration de l'exactitude : Cette intervention élimine le raccourci et fournit un comportement spectral plus équilibré, entraînant une amélioration de l'exactitude ID allant jusqu'à 8 % pour les tâches pilotées par la texture.
• Compromis : Pour les tâches pilotées par la forme comme CIFAR-10, l'élagage des LFC réduit l'exactitude ID car le modèle perd l'accès aux structures lisses de basse fréquence qui définissent les formes des objets.

3. Impact sur la robustesse OOD

• Vulnérabilité aux corruptions à basse fréquence : Les modèles présentant des raccourcis à basse fréquence sont très vulnérables aux corruptions OOD qui modifient les basses fréquences (ex: brouillard). Cela conduit à des chutes d'exactitude allant jusqu'à 70 % par rapport aux performances ID.
• Amélioration de la robustesse via l'élagage : L'élagage des LFC améliore considérablement la robustesse aux corruptions à basse fréquence (ex: brouillard), offrant une exactitude OOD jusqu'à 40 % supérieure. En supprimant la dépendance aux LFC corrompus, le modèle devient plus robuste.
• Compromis avec les corruptions à haute fréquence : L'amélioration de la robustesse s'accompagne d'un compromis. À mesure que les modèles sont forcés de s'appuyer davantage sur les caractéristiques de haute fréquence (en raison de l'élagage des LFC), ils deviennent plus vulnérables aux corruptions à haute fréquence (ex: flou gaussien). L'exactitude OOD finale dépend de l'interaction entre l'amélioration de la généralisation via un comportement spectral équilibré et l'augmentation de la sensibilité au bruit de haute fréquence.

4. Différences d'architecture de modèle

• ViTs vs CNNs : Les Vision Transformers (ViTs) présentent un biais plus marqué vers les caractéristiques de basse fréquence que les CNN. Dans les domaines avec un bruit de basse fréquence sévère (ex: TextileNet avec ses fonds blancs et ses formes corporelles), les ViTs souffrent plus durement des raccourcis à basse fréquence. Par conséquent, l'élagage des LFC diminue parfois l'exactitude ID pour les ViT sur ces tâches spécifiques, alors qu'il améliore systématiquement les performances pour les CNN.

Signification et Revendications

L'article affirme identifier et caractériser un type spécifique d'apprentissage de raccourci — les raccourcis à basse fréquence — qui est prévalent dans les domaines pilotés par la texture mais distinct des raccourcis basés sur la forme observés dans les benchmarks standards.

• Nouveauté : Ce travail étend l'analyse fréquentielle au-delà des jeux de données centrés sur les objets standards pour inclure des domaines d'application critiques où la texture est l'indice sémantique primaire.
• Mécanisme : Il démontre que le biais de simplicité pousse les modèles à s'accrocher à quelques caractéristiques simples de basse fréquence (arrière-plans, éclairage) plutôt qu'aux textures complexes de haute fréquence requises pour la tâche.
• Solution : Les auteurs proposent l'élagage fréquentiel (spécifiquement des LFC) comme une technique de régularisation simple et efficace. Cette méthode non seulement atténue l'apprentissage de raccourcis, mais améliore également l'exactitude ID et la robustesse aux corruptions OOD spécifiques dans les domaines pilotés par la texture.
• Implications : Les conclusions suggèrent que les benchmarks standards actuels peuvent ne pas capturer pleinement la dynamique d'apprentissage des applications réelles pilotées par la texture, et que l'analyse spectrale est un outil crucial pour diagnostiquer et améliorer la généralisation des modèles dans ces domaines.

L'article conclut que si l'élagage des LFC offre une voie vers une meilleure généralisation et robustesse, la stratégie optimale dépend de l'interaction spécifique entre les caractéristiques spectrales du domaine, l'architecture du modèle et la nature des corruptions OOD.