The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

Résumé Technique : L'importance de la phase dans les représentations neurales

Énoncé du Problème
Les images naturelles présentent une asymétrie fondamentale dans leur représentation de Fourier : le spectre de phase encode les bords, les contours et l'arrangement spatial (l'identité), tandis que le spectre d'amplitude encode un profil d'énergie indépendant du contenu. Les travaux classiques d'Oppenheim et Lim (1981) ont démontré que la reconstruction d'une image à partir de sa phase seule produit un résultat reconnaissable, alors que l'amplitude seule ne le permet pas. Bien que les classificateurs d'images modernes soient entraînés de bout en bout sur des pixels sans contraintes de Fourier explicites, il reste incertain si cette asymétrie phase-amplitude est récupérée au sein de leurs représentations latentes. Des études antérieures ont traité la phase et l'amplitude respectivement comme le « contenu » et le « style » dans l'augmentation de données ou l'adaptation de domaine, mais ces approches opèrent strictement dans l'espace des pixels. Cet article demande si les classificateurs d'images entraînés encodent en interne l'identité de la classe dans une composante de type phase et si cet encodage est causal pour la prédiction finale.

Méthodologie
Les auteurs adaptent l'expérience d'Oppenheim–Lim en un cadre d'intervention causale appliqué aux couches cachées de réseaux de neurones entraînés. La procédure centrale implique :

1. Construction de Chimères : Étant donné deux images de classes différentes ($A$ et $B$), les auteurs construisent un état caché « chimère » à une couche $\ell$ spécifique. Cet état conserve l'amplitude de l'image $A$ ($|h_A|$) mais adopte la composante de type phase de l'image $B$ ($\phi(h_B)$).
2. Définitions de la Phase : La définition de la « phase » s'adapte à l'espace de représentation de l'architecture :
   • Flux Complexe : Pour les réseaux à valeurs complexes (PRISM2D), la phase est l'angle complexe par canal ($h/|h|$).
   • Cartes de Caractéristiques Réelles : Pour les réseaux à valeurs réelles, la phase est définie via une transformée de Fourier 2D sur la grille spatiale (phase spectrale-spatiale).
   • Scalaires Réels : Pour les activations réelles standards, la phase dégénère en signe ($\text{sign}(h)$), servant de sonde universelle à travers toutes les architectures.
3. Intervention : La chimère est injectée dans le réseau, et la passe avant est complétée. La prédiction est enregistrée pour déterminer si le modèle suit le « donneur d'amplitude » ($A$) ou le « donneur de phase/signe » ($B$).
4. Modèles Évalués : L'étude couvre quatre architectures pour tester la généralité :
   • PRISM2D : Un modèle à valeurs complexes avec des activations préservant la phase.
   • GFNet-Ti : Un modèle spectral à valeurs réelles filtrant dans le domaine de Fourier.
   • ViT-B/16 : Un Vision Transformer standard.
   • ResNet-50 : Un réseau convolutif standard.
5. Contrôles : Pour écarter les explications triviales (par exemple, les amplitudes devenant non informatives avec la profondeur), les auteurs utilisent des contrôles incluant :
   • Substitution d'Amplitude : Remplacement de toutes les amplitudes spécifiques à l'image par une amplitude moyenne de lot (batch-mean).
   • Destruction de Phase : Randomisation de la phase tout en conservant l'amplitude.
   • Échanges de Composante DC uniquement : Isolation de la moyenne globale (terme DC) de la structure spatiale.
   • Vérifications Géométriques : Mesure de la similitude cosinus entre les chimères et les donneurs pour s'assurer que la chimère ne reconstruit pas simplement l'état du donneur.

Résultats Clés

1. Dominance Phase/Signe : Dans les quatre architectures, la prédiction suit le donneur de phase (ou de signe) avec une probabilité élevée au moment de la lecture.
   • ViT-B/16 : S'engage sur un code d'identité basé sur le signe dès le premier bloc, atteignant ~91 % de suivi de la phase à la couche finale.
   • PRISM2D & GFNet : Construisent la dépendance à la phase au fil de la profondeur initiale à intermédiaire, atteignant ~75–76 %.
   • ResNet-50 : Semble initialement briser le schéma car le remplacement des signes après le ReLU n'a aucun effet (car le ReLU supprime l'information de signe). Cependant, l'intervention avant le dernier ReLU des blocs résiduels révèle un code de signe latent fort dans les blocs tardifs (~88 %), similaire au ViT.
2. Invariance de l'Amplitude : La suppression de toute l'information d'amplitude spécifique à l'image (remplacement par l'amplitude moyenne du lot) laisse la précision proche de la ligne de base pour les modèles spectraux et le ViT. Inversement, la destruction de la phase fait chuter la précision vers le hasard.
3. Différences Mécanistes :
   • Le ViT exprime le code d'identité tôt et le maintient tout au long du processus.
   • Les Modèles Spectraux consolident l'identité dans la phase précocement.
   • ResNet transporte l'identité d'une structure spatiale distribuée dans les couches précoces vers un code de canal lisible par pooling (spécifiquement le terme DC) dans les derniers blocs. Le fossé « texture-forme » entre les CNN et les modèles d'attention est recadré non pas comme une séparation catégorique phase-contre-amplitude, mais comme une différence de moment et de base dans laquelle le code phase/signe est exprimé.

Signification et Revendications
L'article prétend fournir un compte rendu unifié et sensible à la lecture de la manière dont divers classificateurs d'images convergent vers un code d'identité dominant la phase/le signe.

• Preuve Causale : Contrairement aux études précédentes basées sur l'augmentation, ce travail établie la causalité en montrant que l'identité peut être « transplantée » entre des images via la manipulation de la phase/du signe au sein du réseau.
• Recadrage du Fossé Texture-Forme : La différence comportementale entre les CNN biaisés par la texture et les modèles d'attention alignés sur la forme est expliquée par le timing et la géométrie du code d'identité. Les CNN (comme ResNet) cachent le code de signe derrière la rectification et comptent sur l'amplitude pour le signal jusqu'à la dernière couche de pooling, tandis que les modèles d'attention et spectraux s'engagent plus tôt sur la phase/le signe.
• Interprétation Géométrique : Les résultats suggèrent que les classificateurs linéaires lisent l'« angle » (phase/signe) du vecteur de caractéristiques plutôt que sa « longueur » (amplitude). Cela s'aligne sur d'autres découvertes en interprétabilité mécaniste concernant les représentations périodiques et angulaires dans les réseaux de neurones.

Limites
Les auteurs notent que la portée est limitée aux modèles de vision. Bien que la méthode de transplantation soit généralisable à d'autres modalités, le test le plus propre se fait sur les images. De plus, la comparaison entre les modèles entraînés sur ImageNet-100 (PRISM2D, GFNet) et ceux utilisant des poids ImageNet-1k (ViT, ResNet) introduit une différence d'échelle d'entraînement, bien que les auteurs soutiennent que les tendances de profondeur au sein d'un même modèle restent valides. La définition de la « phase » varie selon les architectures (angle complexe, phase spectrale ou signe scalaire), représentant une famille de codes liés plutôt qu'une quantité unique et unifiée.