Résumé technique : Dissocier la dépendance aux fréquences spatiales des avantages de robustesse aux attaques adverses dans les réseaux de neurones convolutifs profonds guidés par des données neuronales

Énoncé du problème

Les réseaux de neurones convolutifs profonds (DCNN) ont atteint un niveau de performance humain dans la reconnaissance visuelle, mais restent étonnamment vulnérables aux attaques adverses — des perturbations quasi imperceptibles provoquant des erreurs de classification catastrophiques. Des recherches récentes indiquent que l'alignement des représentations des DCNN avec l'activité du cortex visuel humain (guidage neuronal) améliore considérablement la robustesse aux attaques adverses. Cependant, le mécanisme sous-tendant cette amélioration reste flou.

Deux hypothèses concurrentes ont émergé concernant les caractéristiques spectrales responsables de cette robustesse :

1. Biais vers les basses fréquences spatiales (BFS) : L'alignement neuronal pourrait améliorer la robustesse en déplaçant la dépendance des textures haute fréquence fragiles vers des structures BFS globales et grossières, plus stables sous transformation.
2. Biais vers la « chaîne humaine » : Des travaux récents suggèrent que la reconnaissance d'objets chez l'humain repose sur une « chaîne humaine » étroite de fréquence moyenne (environ 28–56 cycles par image). Étant donné que les méthodes antérieures favorisant les BFS (par exemple, le flou gaussien) préservent involontairement cette chaîne, les gains de robustesse pourraient en réalité découler de la préservation de cette bande de fréquence moyenne spécifique plutôt que d'un déplacement général vers les BFS.

Cet article examine si la robustesse aux attaques adverses observée dans les modèles guidés par des données neuronales (NG) est causalement déterminée par une dépendance accrue aux BFS, à la chaîne humaine, ou aux deux.

Méthodologie

1. Caractérisation des modèles guidés par des données neuronales (NG)

Les auteurs ont d'abord analysé un ensemble de DCNN entraînés avec un « guidage neuronal » (NG), où la couche pénultième du réseau est alignée sur des réponses IRMf provenant de sept régions le long du flux visuel ventral humain (V1, V2, V4, VO, PHC, LO, TO).

• Métrique : La robustesse aux attaques adverses a été quantifiée comme l'aire sous la courbe (AUC) de la précision top-1 sous des attaques par descente de gradient projetée (PGD) bornées en $\ell_\infty$ à travers diverses magnitudes de perturbation ($\epsilon$).
• Analyse spectrale : Pour déterminer la dépendance aux fréquences spatiales (SF), les auteurs ont généré des perturbations adverses réussies pour chaque modèle. Ils ont calculé le spectre de puissance de Fourier de ces perturbations, les ont moyennés radialement et normalisé la distribution d'énergie. Une puissance plus élevée dans une bande spécifique indique une plus grande dépendance du modèle à cette plage de fréquences.

2. Biais explicite des DCNN via le brouillage de phase

Pour tester la causalité, les auteurs ont entraîné de nouveaux DCNN (ResNet-18 sur ImageNet-50) avec des biais SF explicites en utilisant l'augmentation de données par brouillage de phase. Cette méthode préserve le spectre d'amplitude (énergie) d'une image tout en brouillant la phase de bandes de fréquences spécifiques, éliminant ainsi l'information structurelle de ces bandes tout en conservant les autres.

• Conditions testées :
  • Chaîne humaine : Préservation uniquement de la bande 28–56 cpi ; brouillage du reste.
  • BFS extrêmes : Préservation des fréquences < 3,5 cpi ; brouillage du reste.
  • BFS-$\sigma$-fixe : Utilisation d'un masque de flou gaussien ($\sigma=1,5$) pour préserver les basses fréquences (chevauchant avec la chaîne humaine).
  • BFS-$\sigma$-mixte : Utilisation d'un mélange de noyaux gaussiens pour simuler une préférence BFS plus large (chevauchant avec la chaîne humaine).
  • Canal combiné : Une distribution d'entraînement mélangeant la préservation de la chaîne humaine et des BFS extrêmes.
  • Vérifications de nécessité : Des masques inverses ont été utilisés pour perturber (brouiller) sélectivement la chaîne humaine ou les BFS extrêmes afin de tester si leur absence était spécifiquement préjudiciable.

3. Analyse de similarité des représentations (RSA)

Pour déterminer si un biais SF seul pouvait reproduire la géométrie « humaine » des modèles NG, les auteurs ont effectué une RSA. Ils ont comparé les matrices de dissimilarité des représentations (RDM) des modèles biaisés par SF aux données IRMf des régions V1, V4 et TO du cerveau humain.

Résultats clés

1. Corrélation dans les modèles guidés par des données neuronales

Dans les modèles NG, les gains de robustesse étaient fortement corrélés à une dépendance accrue à la fois à la chaîne humaine ($\rho$ de Spearman = 0,98) et aux BFS ($\rho = 0,87$). À l'inverse, la dépendance aux hautes fréquences spatiales (HFS) était anticorrélée avec la robustesse. Cela a confirmé que les modèles NG déplacent leur dépendance spectrale vers des bandes pertinentes pour l'humain.

2. Dissociation causale par biais explicite

Lorsque les auteurs ont imposé explicitement ces biais durant l'entraînement, les résultats se sont fortement écartés du comportement des modèles NG :

• Biais vers la chaîne humaine : Le fait de biaiser explicitement les modèles vers la chaîne humaine détériorait la robustesse aux attaques adverses. Un biais plus fort entraînait une performance plus faible.
• Biais vers les BFS : Le biais des modèles vers les BFS (BFS extrêmes, $\sigma$-fixe, $\sigma$-mixte) n'a produit que des améliorations modestes de la robustesse. Crucialement, ces gains étaient disproportionnément faibles par rapport aux déplacements massifs de dépendance aux SF induits par la manipulation.
• Biais combiné : Le biais des modèles vers la fois la chaîne humaine et les BFS simultanément a toujours résulté en une robustesse inférieure à celle de la ligne de base, indiquant que l'effet préjudiciable du biais vers la chaîne humaine n'était pas compensé par les gains BFS.
• Nécessité : La perturbation de la chaîne humaine réduisait la robustesse, mais la perturbation des BFS extrêmes provoquait une chute plus importante, suggérant que la chaîne humaine n'est pas unique et nécessaire à la robustesse.

3. Géométrie des représentations

Les modèles biaisés par SF n'ont pas réussi à reproduire la géométrie des représentations du cerveau humain.

• Alors que les modèles NG montraient des augmentations significatives de similarité avec les représentations neuronales humaines (V1, V4, TO), les modèles biaisés par SF montraient peu ou pas d'augmentation de similarité par rapport à la ligne de base.
• Même la condition « Canal combiné », qui imitait le profil de dépendance aux SF des modèles NG, n'a pas réussi à améliorer la similarité des représentations.

Contributions clés

1. Dissociation de la corrélation et de la causalité : L'article démontre que, bien qu'une dépendance accrue à la chaîne humaine et aux BFS corréle avec la robustesse dans les modèles guidés par des données neuronales, imposer explicitement ces biais est insuffisant pour générer de la robustesse. En fait, imposer un biais vers la chaîne humaine est activement nuisible.
2. Réfutation du mécanisme de la « chaîne humaine » : L'étude réfute l'hypothèse selon laquelle la robustesse des modèles NG est pilotée par la préservation de la chaîne humaine de fréquence moyenne.
3. Rôle limité des BFS : Bien que le biais BFS offre des gains mineurs de robustesse, il ne peut expliquer l'ampleur des améliorations observées dans les modèles NG, ni induire une géométrie des représentations humaine.
4. Hypothèse de propriété émergente : Les auteurs proposent que la dépendance altérée aux SF est une propriété émergente de l'apprentissage de représentations plus humaines, plutôt que le mécanisme causal principal de la robustesse.

Importance et affirmations

L'article conclut que la robustesse aux attaques adverses conférée par le guidage neuronal n'est pas principalement pilotée par un simple déplacement de la dépendance aux fréquences spatiales (ni BFS ni chaîne humaine). Au contraire, les auteurs soutiennent que la robustesse découle probablement de reconfigurations géométriques plus larges de l'espace des représentations (par exemple, le « dénouement » des variétés d'objets) qui conduisent naturellement aux biais spectraux observés comme une conséquence secondaire.

Les auteurs adoptent une position modeste, notant que si le biais SF est une propriété partielle des représentations semblables à celles du cerveau, il n'est pas le mécanisme computationnel principal. Ils suggèrent que les recherches futures devraient se concentrer sur la caractérisation des transformations géométriques spécifiques dans l'espace des représentations qui confèrent la robustesse, plutôt que de se focaliser uniquement sur les caractéristiques spectrales. Ils reconnaissent également les limites concernant l'utilisation d'une augmentation de données au niveau de la population par rapport aux profils d'ajustement diversifiés des neurones individuels dans les systèmes biologiques.