Solving adversarial examples requires solving exponential misalignment

Cette étude démontre que la vulnérabilité aux exemples adversariaux découle d'un désalignement exponentiel entre les dimensions des variétés perceptuelles des réseaux de neurones et celles des concepts humains, suggérant qu'une robustesse véritable nécessite un alignement dimensionnel.

L'essentiel

Voici une explication simple de cette recherche, imagée comme une histoire de cartes et de territoires.

Le Problème : Pourquoi les IA sont-elles si facilement trompées ?

Imaginez que vous apprenez à un enfant à reconnaître un chat.

• L'enfant (l'humain) : Il voit un chat, puis un autre, puis un troisième. Il comprend que pour être un chat, il faut avoir des moustaches, des oreilles pointues, une queue, etc. Si vous lui montrez un dessin bizarre ou un chat en peluche, il dira peut-être "ce n'est pas un vrai chat", mais il ne sera pas confus. Son concept de "chat" est étroit et précis. C'est comme une petite île bien définie dans un océan.

• L'ordinateur (l'IA) : Lui, il ne voit pas de moustaches ou de queue. Il voit des millions de points de données (pixels). Pour lui, le concept de "chat" est devenu une énorme forêt qui couvre presque tout l'océan.

  • Dans cette forêt, il y a des vrais chats.
  • Mais il y a aussi des tas de choses étranges : du bruit statique, des formes abstraites, des images qui ressemblent à du grésillement de télévision. Pour l'IA, tout cela est un "chat" car cela tombe dans sa vaste forêt.

Le Concept Clé : Le "Manifold Perceptif" (La Carte de l'IA)

Les chercheurs appellent cette vaste forêt le Manifold Perceptif (PM). C'est l'espace de toutes les images que l'IA est sûre d'être un chat.

• La dimension de l'île humaine : C'est petite (environ 20 dimensions). C'est facile à naviguer.
• La dimension de la forêt de l'IA : C'est gigantesque (des milliers de dimensions). Elle est si grande qu'elle remplit presque tout l'espace disponible.

L'analogie de la pièce :
Imaginez une pièce immense (l'espace des images).

• L'humain a dessiné un petit cercle au sol pour dire "C'est ici qu'est un chat".
• L'IA a rempli toute la pièce avec de la mousse jusqu'au plafond et a dit "Tout ce qui touche à la mousse est un chat".

Pourquoi les "Exemples Adversariaux" existent-ils ?

Un exemple adversarial, c'est quand on ajoute un tout petit peu de bruit invisible à une photo (par exemple, une photo de chien) et que l'IA se met à crier "C'est un chat !".

Pourquoi cela arrive-t-il ?
Parce que la "forêt" de l'IA est si immense qu'elle touche presque partout.

• Si vous êtes une photo de chien, vous êtes à quelques pas de la forêt du chat.
• Si vous êtes une photo d'avion, vous êtes aussi à quelques pas de la forêt du chat.
• Comme la forêt remplit presque tout l'espace, n'importe quel point dans la pièce est extrêmement proche d'une "forêt de chat".

Il suffit de faire un tout petit pas (une perturbation imperceptible) pour passer de "Chien" à "Chat" pour l'IA, simplement parce que la frontière est partout et nulle part à la fois.

La Solution : Rétrécir la Forêt

Les chercheurs ont découvert quelque chose de fascinant en regardant des IA plus "robustes" (qui résistent mieux aux attaques) :

1. Moins de dimensions = Plus de sécurité : Plus l'IA a appris à réduire la taille de sa "forêt" (à la rendre plus précise, comme celle d'un humain), plus il est difficile de la tromper.
2. L'alignement : Les IA les plus sûres sont celles dont la "forêt" ressemble le plus à l'"île" humaine. Elles ont appris à ignorer le bruit et à se concentrer sur les vraies caractéristiques.
3. Le problème actuel : Même les IA les plus intelligentes et les plus sûres ont encore des forêts beaucoup trop grandes. Elles sont "exponentiellement mal alignées" avec nous. Elles voient des choses que nous ne voyons pas (du bruit qu'elles prennent pour des chats).

En Résumé

Pour rendre les IA invincibles aux astuces qui les trompent, nous ne devons pas seulement leur donner plus de données. Nous devons leur apprendre à réduire leur perception.

Il faut passer d'une vision où "tout est un chat" (une forêt géante) à une vision où "seul un vrai chat est un chat" (une petite île précise). Tant que l'IA continuera à voir des millions de choses comme des chats alors que nous n'en voyons qu'une poignée, elle restera fragile et facile à tromper.

La leçon : Pour que l'IA soit vraiment intelligente et sûre, elle doit apprendre à voir le monde avec la même "taille" de perception que nous, pas avec une vision démesurée et floue.

Résumé technique

1. Le Problème : La persistance des exemples adverses

Les attaques adverses, définies comme de petites perturbations d'entrée imperceptibles pour l'humain mais capables de tromper les réseaux de neurones, constituent un échec persistant de l'apprentissage automatique. Malgré une décennie de recherche et des progrès dans la robustesse (mesurés par des benchmarks comme RobustBench), les réseaux de neurones restent vulnérables là où la vision humaine est robuste.

• Le mystère géométrique : La raison géométrique fondamentale de cette vulnérabilité reste obscure. Pourquoi, dans les réseaux standards, toute image est-elle proche du concept d'une autre classe ? Pourquoi est-il si difficile d'éliminer cette propriété ?
• L'hypothèse centrale : Les auteurs postulent que les exemples adverses ne sont pas un bug isolé, mais la conséquence directe d'un désalignement exponentiel entre la perception humaine et la perception des machines.

2. Méthodologie et Cadre Théorique

A. Définition du Manifold Perceptuel (PM)

Les auteurs définissent le Manifold Perceptuel (PM) d'un réseau pour un concept de classe $c$ comme l'ensemble de toutes les entrées $x$ que le réseau classe avec une haute confiance (probabilité $p > p_0$, généralement 0.9) dans cette classe.
$$PM \equiv \{x \in [0, 1]^D \mid p(c | x) > p_0\}$$
L'objectif est de comparer la géométrie de ce PM machine avec celle du PM humain (l'ensemble des images naturelles que les humains classent avec confiance).

B. Mesure de la Dimensionnalité

Pour quantifier la taille de ces espaces, l'article utilise deux métriques de dimensionnalité intrinsèque estimées à partir d'échantillons :

1. Participation Ratio (PR) : Basé sur les valeurs propres de la matrice de covariance des échantillons.
2. Two Nearest Neighbors (2NN) : Une méthode statistique estimant la dimension intrinsèque nécessaire pour parcourir le manifold.

C. Échantillonnage du PM

Pour explorer le contenu du PM d'un réseau, les auteurs utilisent l'ascension de gradient projetée (Projected Gradient Ascent - PGA). Ils partent d'un bruit aléatoire et maximisent la log-probabilité de la classe cible tout en projetant l'entrée dans l'espace des images valides $[0, 1]^D$. Cela permet de générer des échantillons que le réseau "voit" comme appartenant à la classe, même si l'humain ne les reconnaît pas.

D. Modèle Toy Géométrique

Les auteurs proposent un modèle théorique simplifié où le PM est un ellipsoïde de dimension $d$ dans un espace ambiant de dimension $D$. Ils démontrent analytiquement que la distance attendue entre un point aléatoire et le PM diminue linéairement à mesure que $d$ augmente. Si $d \approx D$, le PM remplit presque tout l'espace, rendant n'importe quelle image proche d'un concept, facilitant ainsi les attaques.

3. Contributions Clés et Résultats

A. Preuve du Désalignement Exponentiel

L'étude révèle un écart dimensionnel massif :

• Images Naturelles (Humains) : Les concepts humains (ex: "chat", "chien") résident dans des manifolds de très faible dimensionnalité (environ 20 dimensions pour CIFAR-10 et ImageNet).
• Manifolds Machines (Réseaux standards) : Les PM des réseaux non robustes occupent des dimensions énormes (ex: ~3000 sur 3072 pour CIFAR-10, et >130 000 sur 150 000 pour ImageNet).
• Conséquence : Puisque le volume croît exponentiellement avec la dimension, il existe un nombre exponentiel d'images que la machine classe avec confiance comme un "chat", mais que l'humain ne reconnaît pas (souvent du bruit ou des textures incohérentes). C'est ce désalignement qui crée la vulnérabilité.

B. Validation sur Diverses Architectures

L'analyse a été étendue à :

• Réseaux supervisés (ResNet, WideResNet) : Confirme le désalignement massif.
• Modèles Fondationnels (CLIP) : Même les modèles entraînés par apprentissage contrastif (alignement image-texte) présentent un désalignement exponentiel. Les PM de CLIP pour des concepts comme "une photo de chambre" remplissent presque tout l'espace ambiant, produisant du bruit comme échantillons valides.

C. Corrélation entre Robustesse et Dimensionnalité

En analysant 18 réseaux avec des niveaux de robustesse variables (via RobustBench), les auteurs confirment deux prédictions de leur théorie :

1. Corrélation négative : Plus un modèle est robuste, plus la dimensionnalité de son PM est faible.
2. Distance au PM : Plus la dimension du PM est faible, plus la distance entre une image aléatoire (ou du bruit) et le PM est grande.

• Résultat clé : Même les modèles les plus robustes (ex: ~71% de robustesse sur CIFAR-10) restent exponentiellement désalignés (dimension PR ~250 vs 20 pour l'humain), bien que l'écart soit réduit.

D. Émergence Sémantique et Alignement Partiel

En examinant les échantillons générés par PGA :

• Pour les modèles non robustes (haute dimension), les échantillons du PM sont du bruit blanc inintelligible.
• Pour les modèles les plus robustes et pour les classes ayant la dimensionnalité de PM la plus basse (proche de celle de l'humain), les échantillons commencent à montrer des structures sémantiques reconnaissables (textures, parties d'objets).
• Cela suggère que l'alignement dimensionnel est une condition nécessaire (mais peut-être pas suffisante) pour l'alignement perceptuel.

4. Signification et Implications

• Nouvelle Perspective sur l'Adversarial : L'article déplace le débat de la "linéarité" ou des "caractéristiques non robustes" vers la géométrie de la dimensionnalité. Les exemples adverses sont une conséquence inévitable de la "malédiction de la dimensionnalité" des manifolds perceptuels des machines.
• Lien avec l'Alignement (AI Alignment) : Le problème des exemples adverses est présenté comme un problème de préchauffage (warmup) pour l'alignement général de l'IA. Si les machines ne peuvent pas aligner leurs perceptions de base (manifolds) avec celles des humains, il sera impossible d'aligner leurs valeurs et intentions sur un espace d'entrée exponentiellement vaste.
• Piste pour la Robustesse : Pour atteindre une robustesse véritable, il ne suffit pas d'augmenter la taille des données ou d'ajuster les marges. Il faut développer des méthodes d'entraînement capables de compresser la dimensionnalité du PM jusqu'à ce qu'elle corresponde à celle des concepts humains (environ 20 dimensions).
• Généralisation : Ces résultats s'appliquent aussi bien aux images (CIFAR, ImageNet) qu'aux modèles de langage (LLM), suggérant qu'il existe exponentiellement de séquences de tokens "gibberish" à haute probabilité pour les machines, ce qui pose des risques similaires d'attaque.

Conclusion

L'article conclut que la résolution des exemples adverses est intrinsèquement liée à la résolution du désalignement dimensionnel entre les perceptions machine et humaine. Tant que les manifolds perceptuels des machines restent de haute dimension, remplissant l'espace ambiant, la vulnérabilité aux attaques adverses persistera. La voie vers une IA robuste passe par l'alignement dimensionnel.