SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks

Ce papier présente SALVE, un cadre unifié qui combine l'interprétabilité mécaniste et l'édition de modèles pour découvrir, valider et contrôler de manière précise et permanente le comportement des réseaux de neurones via l'édition de vecteurs latents dans un espace de caractéristiques parcimonieuses.

L'essentiel

Voici une explication simple et imagée de l'article scientifique SALVE, traduite en français pour un public général.

Imaginez que les réseaux de neurones (les "cerveaux" de l'IA) sont comme de gigantesques usines secrètes. Elles produisent des résultats incroyables (reconnaître un chat, écrire un texte), mais personne ne sait exactement comment elles fonctionnent à l'intérieur. C'est une "boîte noire" : on met une photo, on obtient une réponse, mais le processus reste mystérieux.

L'article SALVE propose une nouvelle méthode pour ouvrir cette boîte noire, comprendre ce qui se passe dedans, et même modifier l'usine pour qu'elle change d'avis, sans avoir à la reconstruire de zéro.

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. Le Problème : L'usine est opaque

Actuellement, si vous voulez que l'IA arrête de reconnaître les églises, vous ne pouvez pas juste dire "arrête ça". Vous devez soit la réentraîner (ce qui est long et coûteux), soit utiliser des astuces temporaires qui ne fonctionnent que pour un instant précis. C'est comme essayer de changer la recette d'un gâteau en cours de cuisson en soufflant dessus : ça ne marche pas bien.

2. La Solution SALVE : Le "Détecteur de Pensées"

Les auteurs ont créé un outil appelé SALVE. Imaginez que vous installez un microphone ultra-sensible à l'intérieur de l'usine pour écouter les pensées des ouvriers (les neurones) pendant qu'ils travaillent.

• Étape 1 : Découvrir les concepts (Le Dictionnaire)
  L'outil utilise un "auto-encodeur" (un type de petit cerveau artificiel) pour écouter ces pensées et les regrouper. Au lieu d'entendre du bruit, il découvre des idées claires et distinctes.

  • Analogie : C'est comme si, dans une pièce remplie de gens qui parlent tous en même temps, SALVE arrivait à isoler la voix de quelqu'un qui parle spécifiquement de "golf" et celle de quelqu'un qui parle de "tours d'église". Il crée un dictionnaire de ces idées internes.

• Étape 2 : Vérifier la vérité (La Loupe)
  Une fois qu'il pense avoir trouvé l'idée "Golf", il faut vérifier. SALVE utilise une technique appelée Grad-FAM.

  • Analogie : C'est comme mettre une loupe lumineuse sur l'image originale. Si l'idée "Golf" est bien réelle, la loupe s'allume exactement sur la balle de golf dans la photo. Si elle s'allume sur le ciel, c'est que l'idée était fausse. Cela permet de s'assurer que l'IA a bien appris le concept.

• Étape 3 : Prendre le contrôle (Le Levier de commande)
  C'est ici que la magie opère. Au lieu de juste regarder, SALVE permet de toucher aux rouages de l'usine.

  • Analogie : Imaginez que l'usine a des leviers pour chaque idée.
    • Si vous voulez que l'IA ne voie plus d'églises, vous coupez le levier "Église". L'usine ne peut plus utiliser cette idée pour prendre sa décision.
    • Si vous voulez qu'elle voie plus de balles de golf, vous poussez le levier "Golf" vers le haut.
  • Contrairement aux méthodes actuelles qui sont temporaires (comme ajouter un post-it sur l'écran), SALVE modifie les poids permanents de l'usine. C'est comme changer les câbles électriques de l'usine pour toujours. Une fois fait, l'usine a changé, point final.

3. La Mesure de Sécurité : Le "Point de Rupture"

Les auteurs ont aussi inventé une jauge appelée $\alpha_{crit}$.

• Analogie : C'est comme un test de résistance pour un pont. Vous posez de plus en plus de poids sur le pont (en supprimant l'idée "Église") jusqu'à ce qu'il s'effondre (l'IA arrête de reconnaître l'église).
  • Si le pont s'effondre avec très peu de poids, c'est que l'IA est fragile et dépend trop d'une seule idée. C'est dangereux !
  • Si le pont tient bon longtemps, c'est que l'IA est robuste et utilise plusieurs idées pour reconnaître les choses.
    Cela permet de repérer les faiblesses de l'IA avant qu'elle ne fasse des erreurs graves.

Pourquoi c'est important ?

• Transparence : On ne devine plus, on voit et on comprend.
• Contrôle permanent : On peut corriger les erreurs de l'IA de façon définitive, sans la réentraîner.
• Sécurité : On peut tester la solidité de l'IA et voir si elle est trop dépendante de certains indices (comme reconnaître un chien uniquement parce qu'il a une queue, sans voir son corps).

En résumé

SALVE, c'est comme passer d'un utilisateur qui clique sur un bouton magique à un ingénieur qui a les plans de l'usine. Il peut non seulement voir comment l'usine fabrique ses décisions, mais aussi modifier les machines en interne pour qu'elles fonctionnent exactement comme on le souhaite, de manière durable et sûre.

C'est une avancée majeure pour rendre l'Intelligence Artificielle plus compréhensible, fiable et contrôlable.

Résumé technique

1. Problématique

Les réseaux de neurones profonds (DNN) atteignent des performances impressionnantes, mais leur opacité ("boîte noire") entrave la confiance, le débogage et le contrôle, en particulier dans les applications à haut risque. Bien que le domaine de l'interprétabilité mécaniste ait permis de découvrir des concepts internes (features) via des méthodes comme les autoencodeurs parcimonieux (SAE), il existe un fossé majeur entre la compréhension de ces concepts et leur contrôle effectif.

Les méthodes actuelles de contrôle se divisent en deux catégories limitées :

• L'orientation (Steering) : Ajout de vecteurs aux activations lors de l'inférence. C'est temporaire, ajoute une surcharge computationnelle et ne modifie pas le modèle de façon permanente.
• L'édition de poids (Weight Editing) : Souvent basée sur des exemples spécifiques (comme ROME) ou invasive (changement d'architecture). Elles manquent souvent de finesse pour un contrôle continu ou ne s'appuient pas sur une base de features interprétables découvertes de manière non supervisée.

L'objectif de SALVE est de combler ce fossé en créant un pipeline unifié permettant de découvrir, valider et contrôler de manière permanente les concepts internes d'un modèle via une édition directe de ses poids.

---

2. Méthodologie : Le Pipeline "Découvrir, Valider, Contrôler"

La méthode SALVE repose sur trois étapes principales, appliquées aux activations internes d'un modèle pré-entraîné (ici ResNet-18 et ViT-B/16).

A. Découverte de Features Interprétables (SAE)

• Approche : Un Autoencodeur Parcimonieux (SAE) linéaire est entraîné sur les activations d'une couche intermédiaire riche en sémantique (couche de pooling finale pour ResNet, token [CLS] pour ViT).
• Objectif : Apprendre une base de features latentes $Z$ parcimonieuse et native au modèle.
• Optimisation : Minimisation de la perte de reconstruction avec une pénalité de régularisation $\ell_1$ pour encourager la parcimonie (seules quelques dimensions s'activent par échantillon).
• Sélection : Les features spécifiques à une classe sont identifiées en calculant la moyenne conditionnelle des activations latentes par classe ($\mu_k$) et en classant les features par magnitude absolue.

B. Validation Sémantique

Pour s'assurer que les features découvertes correspondent à des concepts visuels réels, deux techniques sont utilisées :

1. Maximisation d'activation : Synthèse d'images à partir de bruit pour maximiser l'activation d'une feature spécifique.
2. Grad-FAM (Gradient-weighted Feature Activation Mapping) : Une méthode proposée par les auteurs, dérivée de Grad-CAM, qui visualise les régions d'entrée qui activent spécifiquement une feature latente (et non une classe). Cela permet de "ancrer" visuellement le concept abstrait dans l'image d'entrée.

C. Contrôle par Édition de Poids (Weight Editing)

Contrairement aux méthodes d'ajout de vecteurs, SALVE effectue une édition permanente des poids du modèle.

• Mécanisme : Utilisation de la matrice de décodage $D$ du SAE pour moduler les poids de la couche de classification finale ($w_{ij}$).
• Formule d'édition :
  $$w'_{ij} = w_{ij} \cdot \max(0, 1 \pm \alpha \cdot |c_j|)$$
  Où $c_j$ est la contribution de la feature latente sélectionnée à la coordonnée $j$, et $\alpha$ est un facteur de contrôle.
  • Le signe $-$ permet de supprimer (atténuer) l'influence d'une feature.
  • Le signe $+$ permet d'améliorer (amplifier) son influence.
• Avantage : Cette opération multiplicative préserve la structure des poids tout en permettant un contrôle continu et fin.

D. Diagnostic Quantitatif : Le Seuil Critique ($\alpha_{crit}$)

Les auteurs introduisent une métrique pour quantifier la dépendance d'une classe à une feature spécifique :

• Définition : $\alpha_{crit}$ est la plus petite valeur de suppression nécessaire pour réduire la contribution du logit d'une classe à zéro.
• Calcul : Il peut être estimé analytiquement (approximation linéaire) ou calculé numériquement.
• Utilité : Ce seuil permet d'identifier les représentations "fragiles" (faible $\alpha_{crit}$) susceptibles d'être vulnérables aux perturbations adverses.

---

3. Résultats Clés

Les expériences ont été menées sur ResNet-18 (ImageNette) et ViT-B/16 (ImageNette et CIFAR-100).

1. Découverte de Concepts Sémantiques :

   • Le SAE découvre des features parcimonieuses et interprétables. Par exemple, une feature "balle de golf" ou "église" est fortement corrélée à une classe spécifique.
   • Grad-FAM confirme que ces features s'activent sur des régions sémantiquement pertinentes (ex: texture de la balle, tour de l'église).

2. Contrôle Précis et Permanent :

   • Suppression de classe : En supprimant la feature dominante d'une classe (ex: "Église"), la précision de cette classe chute à ~0%, tandis que les autres classes restent stables.
   • Amélioration de classe : En amplifiant une feature, la précision de la classe associée augmente.
   • Robustesse architecturale : Ces résultats sont reproductibles sur les CNN (ResNet) et les Transformers (ViT), prouvant la généralité de la méthode.

3. Interventions sur des Features Trans-classes :

   • L'étude d'une feature "Tour" (active pour les églises et les pompes à essence) montre que sa suppression affecte différemment les classes. Cela révèle des dépendances complexes et des corrélations spurious (ex: la feature "Tour" agit comme un inhibiteur pour la classe "Scie sauteuse").

4. Comparaison avec les Baselines :

   • Comparé à ROME (édition de poids basée sur un exemple) et au Steering d'activation (ajout de vecteurs), SALVE atteint des résultats similaires en termes de suppression de classe.
   • Avantages distinctifs de SALVE :
     • Éditions permanentes sans surcharge à l'inférence.
     • Contrôle systématique sur plusieurs concepts latents.
     • Possibilité de diagnostics par échantillon via $\alpha_{crit}$.

5. Analyse de Sensibilité ($\alpha_{crit}$) :

   • La courbe de suppression montre une chute brutale de la précision au-delà d'un seuil critique.
   • Les résultats varient selon l'architecture : ViT présente un espace de représentation plus non-linéaire ("courbe"), rendant l'estimation analytique de $\alpha_{crit}$ plus conservative que pour ResNet.

---

4. Contributions et Signification

Contributions Principales :

1. Pipeline Unifié SALVE : Une méthode complète reliant la découverte non supervisée de features (SAE) à l'édition permanente des poids du modèle.
2. Grad-FAM : Une nouvelle technique de visualisation pour cartographier les features latentes sur les données d'entrée.
3. Métrique $\alpha_{crit}$ : Un outil quantitatif pour mesurer la robustesse des représentations internes et identifier les vulnérabilités potentielles.
4. Preuve de Concept Architecturale : Démonstration que le contrôle mécaniste est possible et efficace aussi bien sur les CNN que sur les Vision Transformers.

Signification pour le domaine :

• Interprétabilité Actionnable : SALVE transforme l'interprétabilité d'une activité d'observation en un outil de contrôle actif et durable.
• Sécurité et Fiabilité : La capacité à supprimer de manière permanente des concepts indésirables ou à diagnostiquer la fragilité d'un modèle (via $\alpha_{crit}$) est cruciale pour le déploiement de l'IA dans des environnements critiques.
• Avenir de l'Édition de Modèles : L'article suggère que l'alignement entre les dynamiques d'entraînement (taille des lots, régularisation) et la structure des features (modularité) est essentiel pour créer des modèles intrinsèquement plus éditables et robustes.

En résumé, SALVE offre une approche fondée sur des principes mécanistes pour rendre les réseaux de neurones non seulement plus transparents, mais aussi plus contrôlables et fiables grâce à une modification directe et permanente de leur architecture interne.