Résumé technique : Engrammes d'IA : À la recherche de traces mémorielles dans l'intelligence artificielle

1. Énoncé du problème

Les réseaux de neurones profonds stockent la connaissance de manière profondément entrelacée, où les paramètres individuels participent simultanément à de multiples comportements. Cette nature distribuée et entrelacée des représentations apprises rend difficile la manipulation « chirurgicale » de la connaissance, telle que la suppression de concepts spécifiques (désapprentissage de la machine ou machine unlearning) ou l'isolement de mémoires spécifiques sans réentraîner l'ensemble du modèle. Alors que les neurosciences postulent que les mémoires sont stockées dans des substrats physiques identifiables appelés « engrammes », il reste une question ouverte de savoir si des traces mémorielles analogues et identifiables existent au sein des réseaux de neurones artificiels. Les méthodes actuelles d'édition de connaissances ou de désapprentissage reposent souvent sur une optimisation itérative basée sur le gradient ou sur une attribution heuristique, ce qui peut être coûteux en termes de calcul, manquer de garanties théoriques de spécificité ou ne pas passer à l'échelle pour les modèles de grande taille.

2. Méthodologie

Le papier introduit un cadre géométrique pour identifier les « engrammes d'IA » — des traces mémorielles causales dans l'intelligence artificielle — en formalisant les critères neuroscientifiques sous la forme d'un problème inverse contraint.

2.1. Critères neuroscientifiques comme contraintes

Les auteurs définissent l'identification d'un engramme $\mu^+_c$ pour un concept cible $c$ en se basant sur quatre critères canoniques (Josselyn & Tonegawa, 2020 ; Tomé et al., 2024) :

1. Spécificité : L'engramme doit encoder sélectivement l'expérience cible ($X^+$) tout en restant inerte face aux expériences de référence ($X^-$).
2. Réactivation : L'engramme doit reproduire de manière cohérente les représentations internes ($Z^+$) associées à la cible.
3. Suffisance : L'injection de l'engramme dans un état naïf (nul) doit induire le comportement appris.
4. Nécessité : L'ablation de l'engramme d'un état appris doit éliminer le comportement cible tout en préservant les connaissances non liées.

2.2. Formulation algébrique

Les auteurs formulent la recherche de l'engramme synaptique $W^+$ comme un problème d'optimisation. Ils comparent les états observés (apprentissage naturel) aux états intervenus (manipulation algébrique) pour dériver des contraintes linéaires.

• Objectif : Minimiser l'écart entre les états intervenus et observés à travers les ensembles cibles et de référence.
• Contraintes : Imposer l'orthogonalité par rapport au sous-espace de référence ($W^+ X^- = 0$) pour assurer la spécificité.
• Solution : Les auteurs dérivent un estimateur en forme fermée pour l'engramme. En utilisant la pseudo-inverse de Moore-Penrose et des matrices de covariance non centrées ($\Sigma^+ = X^+ X^{+\top}$ et $\Sigma^- = X^- X^{-\top}$), ils obtiennent :
  $$W^+ = \Delta W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$$
  En pratique, pour un modèle entraîné avec des poids $W$, la mise à jour est approximée rétrospectivement comme $W^+ = W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$. Cela permet l'extraction d'engrammes en une seule passe directe (forward pass) sans rétropropagation.

2.3. Interprétation géométrique

Le papier établit un lien entre ces contraintes biologiques et la géométrie de l'information. Sous l'hypothèse de la courbure approximative factorisée par Kronecker (K-FAC) et le principe de l'entropie maximale, la solution dérivée en forme fermée correspond à la projection de norme minimale sur une variété de contraintes sous la métrique de l'information de Fisher. Cela révèle que la direction de l'engramme s'aligne sur la direction du gradient naturel sur la variété des paramètres.

2.4. Désapprentissage combinatoire

Parce que les engrammes identifiés sont linéairement additifs, le cadre permet un désapprentissage combinatoire. Pour supprimer un sous-ensemble de concepts, on peut simplement soustraire les engrammes correspondants des poids du modèle en utilisant l'arithmétique linéaire :
$$\text{Engram}(\alpha) := W - \alpha \sum_{k \in U} W^+_k$$
Cela contourne la complexité exponentielle des méthodes de désapprentissage itératives.

3. Contributions clés

1. Un cadre pour les engrammes d'IA : Les auteurs traduisent les critères de mémoire biologique en contraintes algébriques, produisant un estimateur en forme fermée et évolutif qui isole les traces mémorielles des paramètres globalement entrelacés.
2. Isolement de la mémoire amorti : La méthode découple les traces mémorielles, permettant la composition ou l'effacement instantané de la connaissance via une simple arithmétique linéaire. Cela résout la complexité combinatoire du désapprentissage et démontre une robustesse à travers diverses architectures, des simples MLP aux LLM de plusieurs milliards de paramètres.
3. Lien avec la géométrie de l'information : Le travail démontre que l'estimateur en forme fermée inspiré de la biologie récupère la courbure de Fisher, coïncidant avec la direction du gradient naturel, jetant ainsi un pont entre les théories de la mémoire biologique et l'apprentissage de représentations artificielles.

4. Résultats expérimentaux

Les auteurs valident le cadre à travers diverses architectures et jeux de données :

• Évolutivité et polyvalence : La méthode isole et efface avec succès des concepts dans les MLP, les CNN (ResNet-18/50), les Vision Transformers (ViT) et les modèles génératifs (ConvAE, WAE). Dans les expériences sur CIFAR-10 et CIFAR-100, l'ablation d'un engramme spécifique supprime sélectivement la précision de la classe cible tout en préservant les performances sur les classes de référence (précision chirurgicale).
• Performance quantitative : Sur les benchmarks de désapprentissage par classe (CIFAR-10/100), la méthode Engram atteint des scores Tug-of-War (ToW) supérieurs par rapport aux lignes de base de pointe (ex: NegGrad, SalUn, Fine-tuning), indiquant un alignement comportemental plus proche d'un modèle réentraîné à partir de zéro. Elle montre également une dissipation efficace des traces structurelles dans l'espace latent (métriques DA et NMI).
• Grands modèles de langage (LLM) : Appliquée à Llama-3.2-1B sur le benchmark TOFU, la méthode démontre une grande efficacité.
  • Efficacité : Elle nécessite environ 30 fois moins de FLOPs et 2,3 fois moins de mémoire de pointe que les méthodes itératives basées sur le gradient, se terminant en ~2 minutes contre des dizaines de minutes.
  • Performance : Bien qu'elle soit légèrement derrière certaines méthodes itératives dédiées (ex: AltPO, NPO) sur les métriques globales, elle surpasse significativement les autres lignes de base d'édition en forme fermée (UCE, Task Arithmetic) et obtient les scores de mémorisation exacte (EM) les plus bas parmi les méthodes sans gradient.
  • Localisation : L'analyse des poids de l'engramme révèle que les traces mémorielles ne sont pas distribuées de manière aléatoire mais concentrées dans des couches spécifiques : les projections Query (Q) et Key (K) de l'auto-attention et les projections Gate des MLP. Les études d'ablation confirment que cibler ces couches spécifiques est suffisant pour un désapprentissage efficace.

5. Signification et revendications

Le papier prétend combler le fossé entre les théories de la mémoire biologique et l'intelligence artificielle en démontrant que les substrats causaux de la connaissance peuvent être isolés et manipulés par des résolutions spectrales déterministes, même au sein de systèmes hautement non linéaires.

• Changement de paradigme : Le travail propose de passer le paradigme du désapprentissage de la machine de la recherche stochastique de gradient vers l'identification structurelle.
• Régime orthogonal : Les auteurs positionnent Engram non pas comme un remplacement pour le désapprentissage itératif, mais comme un régime orthogonal (O(1)-pass, sans gradient) particulièrement précieux lorsque :
  1. Le nombre de concepts à désapprendre est élevé (en exploitant la compositionnalité combinatoire).
  2. Les ressources de calcul ou l'accès aux poids sont restreints.
  3. L'objectif est l'identification structurelle plutôt que l'indistinguabilité distributionnelle.
• Interprétabilité : La découverte de motifs de localisation condensés dans les LLM offre une nouvelle perspective sur l'interprétabilité neuronale, suggérant que des topologies fonctionnelles spécifiques de la mémoire résident dans des sous-espaces linéarisables de l'espace des poids.

Les auteurs concluent que leur cadre offre une efficacité sans précédent pour l'isolement chirurgical de la mémoire, permettant un comportement de modèle plus sûr et une interprétabilité plus claire, tout en ouvrant des voies pour la recherche future sur la dynamique temporelle des engrammes dans l'apprentissage continu.