🧬 biology

Forgetting Is Not a Fix: Path Dependence in Sequential Engram Editing

Cet article infirme l'hypothèse des états de mémoire compositionnels du cadre de l'engramme de l'IA en démontrant que l'édition séquentielle d'engrammes présente une dépendance au chemin et un comportement non commutatif, prouvant ainsi que l'effacement de la mémoire n'est pas une solution stable sous des charges séquentielles cumulatives.

Auteurs originaux : Ferdinand M. Schessl

Publié 2026-07-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ferdinand M. Schessl

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et magique où chaque livre est écrit par un robot super intelligent. Ce robot ne se contente pas de lire des livres, il apprend de lui, stockant des faits et des idées dans son propre « cerveau » fait de nombres. Des scientifiques ont récemment découvert comment trouver ces souvenirs spécifiques à l'intérieur du cerveau du robot et les effacer, comme on supprimerait un seul fichier d'un ordinateur. Ce processus est appelé « désapprentissage machine » (machine unlearning), et c'est une chose très importante car si un robot apprend quelque chose qu'il ne devrait pas (comme un secret ou un fait nuisible), nous devons être capables de lui faire oublier cette chose spécifique sans casser le reste de son cerveau.

Considérez le cerveau du robot comme un immense réseau complexe de cordes. Quand le robot apprend quelque chose, il tend certaines cordes. Pour lui faire oublier, les scientifiques ont trouvé un moyen de couper juste les bonnes cordes pour desserrer ce souvenir spécifique. Une étude récente a suggéré l'idée que si vous voulez faire oublier deux choses différentes au robot, peu importe laquelle vous coupez en premier, le résultat final serait le même, comme mélanger de la peinture bleue et jaune pour obtenir du vert, que l'on verse le bleu en premier ou le jaune en premier. Ils ont appelé cela une « variété commutative » (commutative manifold), ce qui est une façon sophistiquée de dire que l'ordre des opérations ne change pas le résultat. Mais cet article pose une question très importante : que se passe-t-il si l'on continue de couper des cordes encore et encore ? Le cerveau se fatigue-t-il ? L'ordre compte-t-il réellement ?

Cet article est comme un chercheur en science des matériaux testant un pont. Au lieu de vérifier simplement si le pont supporte une voiture, ils font passer un camion lourd, puis un autre, puis encore un autre, pour voir si le métal commence à fatiguer ou à se fissurer. Les chercheurs ont pris la méthode exacte de l'étude précédente et l'ont testée sur trois cerveaux de robots différents (appelés modèles) de tailles variables. Ils n'ont pas seulement coupé un souvenir, ils ont coupé une séquence de souvenirs, les uns après les autres, et ils ont observé ce qui arrivait à ceux qu'ils n'avaient pas touchés.

Voici ce qu'ils ont découvert, et il s'avère que l'idée selon laquelle « l'ordre n'importe pas » est en fait fausse.

Premièrement, ils ont découvert que le cerveau du robot est dépendant du chemin parcouru (path-dependent). Cela signifie que l'histoire de ce que vous avez fait compte. Si vous coupez le souvenir A puis le souvenir B, le robot finit dans un état complètement différent de si vous coupez B puis A. En fait, la différence était énorme, environ 81 % à 100 % de la magnitude totale pour des souvenirs très proches, et environ 47 % à 68 % pour des souvenirs plus éloignés. C'est comme essayer de plier une feuille de papier : si vous la pliez gauche-puis-droite, elle finit avec une forme différente de si vous la pliez droite-puis-gauche. Le cerveau du robot se souvient de la séquence des coupes, et le résultat final change en fonction de l'ordre.

Deuxièmement, ils ont trouvé que le chevauchement rend l'ordre encore plus critique. Si les deux choses que vous voulez faire oublier au robot sont liées (comme la « Tour Eiffel » et le « Louvre », tous deux des monuments célèbres de Paris), l'ordre de la coupe change le résultat presque autant que la coupe elle-même. Dans un test spécifique, couper le Louvre avant la Tour Eiffel a provoqué l'oubli par le robot d'une troisième chose, totalement sans rapport (le Colisée à Rome). Mais s'ils ont coupé la Tour Eiffel en premier, le souvenir du Colisée est resté intact. L'ordre des coupes a littéralement décidé si un troisième souvenir, non touché, survivrait ou mourrait.

Troisièmement, l'article montre que le cerveau du robot accumule de la fatigue. Chaque fois qu'ils coupent un souvenir, les parties du cerveau qui n'ont pas été touchées commencent à se déplacer et à se déformer. Les chercheurs ont mesuré cela en utilisant les propres « jauges de contrainte » internes du robot (des outils mathématiques qui suivent la façon dont les données du cerveau sont organisées). Ils ont vu qu'avec chaque nouvelle coupe, ces parties non touchées dérivaient de plus en plus loin de leur état d'origine. C'est comme plier et déplier un trombone : même si vous ne cassez pas la partie que vous tenez, le métal devient plus faible et change de forme au fil du temps.

Enfin, et de manière plus surprenante, ils ont découvert que l'oubli n'est pas permanent comme nous le pensions. Lorsqu'ils coupaient un deuxième ou un troisième souvenir, le robot commençait parfois à « se souvenir » de la première chose qu'ils avaient tenté d'effacer. Dans un cas, un souvenir qui avait presque complètement disparu (avec un score de 8,91) a repris vie de manière significative (tombant à 4,85) simplement parce qu'ils avaient coupé un autre souvenir sans rapport plus tard. L'acte d'éditer le cerveau pour faire oublier une chose a en fait repoussé certaines connaissances effacées dans l'esprit du robot.

Alors, qu'est-ce que cela signifie ? L'idée que vous pouvez effacer des souvenirs dans n'importe quel ordre et obtenir un résultat parfait et stable est fausse. Si vous utilisez cette méthode pour faire oublier quelque chose à un robot aujourd'hui, et que vous éditez à nouveau demain pour lui faire oublier autre chose, le robot pourrait accidentellement se souvenir de la première chose. Le « certificat d'effacement » que vous obtenez aujourd'hui pourrait ne plus être valide demain. Le cerveau du robot n'est pas un objet statique où vous pouvez simplement supprimer des fichiers, c'est un système vivant et mouvant où l'histoire de vos éditions change le futur. Les scientifiques n'ont pas cassé le robot, mais ils ont prouvé que la « gomme magique » a une limite : elle fonctionne très bien pour une seule coupe, mais si vous l'utilisez continuellement, l'ordre compte, le cerveau se fatigue, et les choses oubliées pourraient bien revenir.

Résumé Technique : L'oubli n'est pas une solution : Dépendance au chemin dans l'édition séquentielle d'engrammes

Énoncé du problème
Le document traite d'une lacune critique dans les travaux récents de Kwon et al. (2026) concernant l'« AI Engram », une méthode qui formalise la localisation de la mémoire dans les réseaux de neurones comme un problème inverse contraint. Bien que Kwon et al. aient démontré avec succès que les éditions de mémoire uniques et appariées peuvent être traitées comme des opérations arithmétiques linéaires sur une « variété commutative » (Appendice F), leurs preuves se limitent à des tests à cycle unique. Ils reportent explicitement la question de la « dynamique temporelle » dans l'apprentissage continu à des travaux futurs.

Le problème central investigué ici est de savoir si l'hypothèse d'une variété commutative — où l'intégration des éditions A et B atteint un équilibre cohérent quel que soit l'ordre de séquence — se maintient sous une charge séquentielle. Les auteurs soutiennent que les tests à cycle unique sont structurellement incapables de révéler l'accumulation de fatigue, la dépendance au chemin ou les effets d'historique de charge, de manière analogue à la façon dont un cycle de contrainte unique en science des matériaux ne peut révéler la fatigue. Le document teste si l'« état oublié » reste un point fixe lorsqu'un modèle est soumis à des éditions séquentielles répétées.

Méthodologie
L'étude emploie un cadrage de « test de matériaux », traitant les poids du réseau de neurones comme un spécimen soumis à un protocole de fatigue.

Implémentation : Les auteurs utilisent l'implémentation de référence des auteurs originaux (ai-engram) et le régime d'édition exact sélectionné pour le benchmark TOFU LLM ( $\alpha$ fixé à 0,6).
Protocole Expérimental : Deux bras distincts sont comparés à travers trois « charges » de modèles (Qwen3-0.6B, TinyLlama-1.1B-Chat, et Qwen2-0.5B-Instruct) :
- Bras 1 (Composition Zero-Shot) : Tous les engrammes sont extraits du modèle vierge ( $M_0$ ) et appliqués séquentiellement comme une arithmétique linéaire. Cela représente l'opération théorique de la « variété commutative ».
- Bras 2 (Séquence Recalibrée) : Après chaque coupe, l'engramme suivant est extrait de l'état actuel du modèle. Cela représente la réalité du déploiement séquentiel (ex: demandes de suppression motivées par la conformité arrivant au fil du temps).
Concepts : Six concepts avec un chevauchement sémantique gradué sont utilisés (ex: Tour Eiffel/Louvre pour un chevauchement élevé ; Insuline/Python pour des domaines distants).
Métriques :
- Dépendance au chemin : Distance de poids (Frobenius relatif) entre le Bras 1 et le Bras 2.
- Non-commutativité : Distance de poids entre les ordres de coupe (A→B vs B→A).
- Dérive des survivants (Survivor Drift) : Croissance monotone des covariances entrée-couche des concepts non coupés (les statistiques suffisantes de la méthode elle-même), servant de « jauges de contrainte ».
- Dommages collatéraux : Décalages de la Log-Vraisemblance Négative (NLL) dans les concepts non coupés.

Principales Contributions

Protocole Séquentiel : Un protocole à deux bras pré-enregistré testant les limites de l'hypothèse de composition d'engrammes en utilisant le code et les paramètres des auteurs originaux.
Réplication Cross-Architecture : Validation à travers trois modèles couvrant deux fournisseurs et deux familles d'architectures (0,5B à 1,1B de paramètres).
Falsification de l'Hypothèse de la Variété Commutative : Le document démontre que l'hypothèse de l'Appendice F de Kwon et al. (2026) ne tient pas pour l'édition séquentielle.
Conditions Limites : Identification des limites de capacité où les structures de dommages collatéraux se brisent et la découverte que la connaissance effacée peut partiellement revenir.

Résultats
Quatre découvertes primaires se répètent sur les trois charges de modèles :

Dépendance au chemin (V1) : Le Bras 1 et le Bras 2 divergent de manière significative. Les états de poids finaux diffèrent de 61 à 71 % de la magnitude totale de l'édition. L'état certifié par la composition zero-shot n'est pas l'état d'un artefact édité séquentiellement.
Non-commutativité (V2) : L'ordre de coupe n'est pas interchangeable. L'effet est ordonné par chevauchement : les paires de concepts à fort chevauchement (ex: Eiffel/Louvre) produisent des différences d'ordre atteignant l'échelle d'une édition entière (ratio de distance de poids 0,81–1,00), tandis que les paires distantes montrent des effets plus faibles (0,47–0,68). Dans un cas, l'ordre de coupe de deux monuments parisiens a déterminé si un troisième concept non impliqué (le Colisée) survivait (NLL de 0,85 vs 6,50 nats).
Dérive des survivants (V4) : Les covariances entrée-couche des concepts survivants (non coupés) dérivent de manière monotone à chaque coupe subséquente. Cette « accumulation de fatigue » est enregistrée par les propres statistiques suffisantes de la méthode, prouvant que l'historique de la charge s'accumule même dans les parties intactes du réseau.
Dommages Collatéraux et Capacité (V3) : La structure de proximité des dommages collatéraux (où les concepts proches souffrent davantage) ne tient que lorsqu'il existe une réserve de capacité. À des magnitudes d'édition relatives plus élevées (spécifiquement dans le plus petit modèle de 0,5B), les dommages collatéraux deviennent « large bande », affectant les concepts distants de manière indiscriminée.

Résultat Bonus : L'état oublié n'est pas un point fixe
Dans deux des trois charges, une connaissance qui avait été supprimée avec succès (NLL élevée) est partiellement revenue après des coupes ultérieures non liées. Par exemple, dans la charge Qwen2-0.5B, la NLL d'un concept effacé est passée de 8,91 à 4,85 nats après deux coupes suivantes, se rapprochant de la ligne de base. Cela indique que l'« état oublié » n'est pas stable ; la redistribution des poids lors de nouvelles éditions peut involontairement restaurer des associations effacées.

Signification et Revendications
Le document conclut que l'Hypothèse de l'État de Mémoire Compositionnel (Appendice F de Kwon et al., 2026) est falsifiée pour l'édition séquentielle. Bien que les résultats de l'édition unique et l'estimateur à forme fermée de l'article original restent intacts, la revendication selon laquelle les éditions forment une variété commutative quel que soit l'ordre de séquence est incorrecte.

La signification pratique réside dans l'oubli en tant que conformité (ex: Droit à l'oubli). Les conclusions démontrent qu'un certificat d'effacement délivré aujourd'hui ne certifie pas l'état de l'artefact après sa prochaine édition. Un modèle qui passe un audit de suppression aujourd'hui peut partiellement restaurer l'association supprimée après une édition de routine non liée. Par conséquent, la vérification doit être relancée après chaque édition subséquente, ou le processus d'édition doit être garanti comme stable sous composition — une garantie que la méthode actuelle ne fournit pas.

Les auteurs déclarent explicitement qu'ils ne contestent pas les résultats de l'édition unique, le cadre d'identification des engrammes, ni l'estimateur à forme fermée du travail original ; ils falsifient seulement l'hypothèse spécifique concernant la composition des éditions dans les régimes séquentiels.

Articles similaires