Inverting Neural Networks: New Methods to Generate Neural Network Inputs from Prescribed Outputs

1. Problématique

Le papier aborde le problème inverse des réseaux de neurones (RN) : déterminer quelles images d'entrée sont mappées vers des distributions de probabilités de classes spécifiques (sorties prescrites).

Contrairement à l'analyse standard qui étudie comment une entrée produit une sortie, ce travail cherche à inverser le processus pour comprendre la stabilité des systèmes et révéler leurs vulnérabilités. L'objectif est de générer des images d'entrée qui, lorsqu'elles sont traitées par un réseau pré-entraîné, produisent une classification quasi parfaite pour une classe donnée. Les auteurs soulignent que les méthodes existantes tendent à générer des images trop proches des données d'entraînement, limitant ainsi la compréhension de l'espace d'entrée complet.

2. Méthodologie

Les auteurs proposent deux méthodes générales pour résoudre ce problème inverse, sans nécessiter de réentraînement du réseau (pas de décodeurs supplémentaires).

A. Méthode de Passage Avant (Forward Pass)

Cette approche est applicable à n'importe quelle architecture de réseau de neurones.

• Principe : Elle utilise des algorithmes de recherche de racines (root-finding) classiques pour trouver l'entrée $x$ telle que $NN(x)$ corresponde à la distribution de classe désirée.
• Optimisation : Pour accélérer la convergence, l'algorithme utilise le Jacobien de la fonction de perte par rapport à l'image d'entrée.
• Processus :
  1. Un vecteur d'entrée initial aléatoire est échantillonné.
  2. Un algorithme de recherche de racine (ex: Levenberg-Marquardt) est appliqué en utilisant le Jacobien.
  3. La randomisation de l'initialisation permet de converger vers différentes solutions locales.

B. Méthode de Passage Arrière (Backward Pass)

Cette méthode est plus sophistiquée et s'applique aux blocs d'architecture contenant des couches linéaires, des fonctions d'activation inversibles (ex: SELU, LeakyReLU) et des couches Softmax.

• Principe : Elle inverse le réseau couche par couche, de la sortie vers l'entrée.
• Inversion des couches :
  • Softmax : Inversé via une formule logarithmique (à une constante près).
  • Fonctions d'activation : Inversées directement si elles sont bijectives. Des vérifications de stabilité sont effectuées pour éviter les nombres infinis (conditionnement numérique).
  • Couches Linéaires ($W_i x + b_i$) : L'inversion utilise la Décomposition en Valeurs Singulières (SVD) pour calculer la pseudo-inverse. Pour assurer la stabilité, les valeurs singulières trop petites (indiquant un mauvais conditionnement) sont mises à zéro selon un seuil de conditionnement maximal (ex: 100).
• Innovation Clé (Espace Nul) : Une fois l'inversion d'une couche linéaire effectuée, l'algorithme ajoute un vecteur aléatoire échantillonné dans l'espace nul (null-space) de la matrice de poids $W_i$. Cela permet de générer toutes les entrées possibles qui mènent à la même sortie intermédiaire, augmentant ainsi la diversité des images générées.

C. Méthode Généralisée

Les auteurs proposent de combiner les deux approches : utiliser le Backward Pass pour les blocs inversibles et le Forward Pass pour les blocs non inversibles ou complexes, permettant ainsi de couvrir un large éventail d'architectures modernes (y compris les Transformers).

3. Contributions Clés

1. Nouvelles Algorithmes : Introduction d'un algorithme de passage avant basé sur la recherche de racines et le Jacobien, et d'un algorithme de passage arrière exploitant les espaces nuls des couches linéaires.
2. Génération d'Images Aléatoires : Contrairement aux méthodes précédentes qui produisaient des images proches des données d'entraînement, ces méthodes génèrent des images « aléatoires » (bruitées) qui sont loin de l'ensemble de données original.
3. Couverture Complète de l'Espace : La méthode de passage arrière, grâce à l'ajout de bruit dans l'espace nul, permet de générer la distribution complète des entrées possibles pour une sortie donnée, révélant ainsi la structure réelle du mappage du réseau.
4. Applicabilité Large : Les méthodes sont démontrées sur des réseaux séquentiels (couches linéaires simples) et des architectures modernes de type Transformer (Vision Transformers).

4. Résultats Expérimentaux

Les expériences ont été menées sur :

• Réseaux Fully Connected (FCNN) : Avec 1, 2 et 6 couches linéaires (activation SELU).
• Vision Transformers (ViT) : Modèles tiny-ViT et DINOv3-Base fine-tunés sur MNIST.

Observations principales :

• Performance de Classification : Les images générées par les nouvelles méthodes obtiennent des scores de probabilité $\ge 0.9$ pour la classe cible et $\le 0.1$ pour les autres classes, confirmant une inversion quasi parfaite.
• Nature des Images :
  • Pour les réseaux à 1 couche, les images générées ressemblent encore vaguement aux données d'entraînement.
  • Pour les réseaux à 2 couches ou plus, et particulièrement pour les Transformers (ViT, DINOv3), les images générées deviennent totalement aléatoires (bruit pur) tout en étant classées correctement.
• Interprétation : Ce phénomène illustre le compromis biais-variance : la complexité du modèle réduit le biais (capacité à apprendre des motifs complexes) mais augmente la variance, permettant au réseau de classer correctement même des entrées sans structure sémantique apparente.

5. Signification et Conclusion

Ce travail met en évidence des vulnérabilités fondamentales des réseaux de neurones modernes. Le fait que des images purement aléatoires puissent être classées avec une précision quasi parfaite suggère que ces réseaux ne s'appuient pas uniquement sur des caractéristiques sémantiques robustes, mais qu'ils peuvent exploiter des corrélations statistiques subtiles ou des artefacts dans l'espace d'entrée.

• Sécurité : Ces méthodes peuvent être utilisées pour générer des exemples adversariaux ou tester la robustesse des modèles.
• Explicabilité (XAI) : Elles offrent un moyen de visualiser ce que le réseau « pense » être une classe spécifique, révélant que pour des modèles complexes, cette représentation peut être très éloignée de l'intuition humaine.
• Perspectives : Les auteurs travaillent actuellement à étendre la méthode de passage arrière pour gérer les fonctions d'activation non inversibles comme ReLU, potentiellement via des méthodes de programmation linéaire.

En résumé, ces méthodes fournissent une couverture plus complète de l'espace des images d'entrée, démontrant que les réseaux de neurones actuels peuvent être trompés ou manipulés beaucoup plus facilement que prévu par des entrées non structurées.