🤖 machine learning

Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies

Ce document introduit l'Attribution de Données Mécaniste Symbolique (SMDA), un cadre qui jette un pont entre l'interprétabilité mécaniste et l'attribution de données en décomposant analytiquement la manière dont des exemples d'entraînement spécifiques façonnent des politiques comportementales symboliques de haut niveau, révélant ainsi des lacunes de sécurité systématiques et des interférences au niveau des caractéristiques dans les grands modèles de langage.

Auteurs originaux : Reza Habibi, Darian Lee, Magy Seif El-Nasr

Publié 2026-06-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Reza Habibi, Darian Lee, Magy Seif El-Nasr

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un orchestre géant et complexe. Pendant longtemps, nous avons traité cet orchestre comme une « boîte noire » : nous savons quelle musique il joue (les réponses qu'il donne), mais nous n'avons aucune idée de quels instruments spécifiques jouent quelles notes, ni comment le chef d'orchestre a décidé de commencer la chanson.

L'interprétabilité mécaniste est le domaine qui tente de comprendre le câblage interne de l'orchestre. C'est comme découvrir qu'un violoniste spécifique (un « neurone ») joue toujours une note aiguë lorsque le sujet est la « politique », ou qu'un rythme de batterie spécifique (un « circuit ») se déclenche lorsque le modèle est sur le point de mentir.

Mais il manque une pièce : l'attribution de données. Nous savons comment l'orchestre joue, mais nous ne savons pas quelle partition (données d'entraînement) lui a appris à jouer ainsi. Est-ce qu'une chanson spécifique dans l'ensemble d'entraînement a appris au violoniste à jouer la note aiguë ? Ou est-ce qu'un autre morceau a appris au batteur à s'arrêter ?

Ce document présente un nouvel outil appelé SMDA (Attribution de Données Mécaniste Symbolique) pour résoudre ce casse-tête, en se concentrant spécifiquement sur les raisons pour lesquelles les IA disent parfois « Je ne peux pas faire cela » (refus) lorsqu'on leur demande de faire quelque chose de préjudiciable.

Voici comment fonctionne le SMDA, en utilisant des analogies simples :

1. La « Politique Symbolique » (Le livre de règles)

Au lieu d'essayer de remonter l'influence jusqu'à un seul neurone minuscule (ce qui revient à chercher un grain de sable spécifique sur une plage), le SMDA construit un livre de règles simple (une « politique symbolique ») qui explique le comportement du modèle.

L'analogie : Imaginez que le comportement de refus de l'IA est un juge décidant d'interdire un livre. Le juge ne regarde pas seulement le livre ; il regarde une liste de contrôle de 75 « caractéristiques » spécifiques (comme « Contient-il de la violence ? » ou « Est-ce lié à la religion ? »).
L'innovation : Le SMDA utilise un « Autoencodeur Creux » (SAE) pour trouver ces 75 caractéristiques. C'est comme un traducteur ultra-avancé qui transforme les pensées internes complexes et désordonnées de l'IA en concepts clairs et compréhensibles par l'humain (ex : « Stéréotypes religieux » ou « Scènes de violence »).
Le but : Le SMDA ajuste une équation mathématique simple (régression Ridge) à cette liste de contrôle. Cette équation nous indique quel poids l'IA accorde à chaque caractéristique lorsqu'elle décide de dire « Non ».

2. L'expérience du « Et si ? » (Tracer l'influence)

Une fois le livre de règles construit, le SMDA demande : « Si nous avions ajouté un exemple d'entraînement spécifique à l'historique de l'IA, comment cela changerait-il le livre de règles ? »

L'analogie : Imaginez que vous enseignez à un étudiant. Vous voulez savoir si lui montrer une image d'un bâtiment en feu (un exemple « préjudiciable ») a changé sa règle pour « Quand appeler le 911 ».
Les deux voies : Le SMDA examine deux façons dont cet exemple d'entraînement modifie le livre de règles :
1. La voie de « Ce que je vois » ( $\Delta X$ ) : L'exemple d'entraînement a-t-il changé la façon dont l'IA voit le monde ? (ex : l'a-t-il rendue plus sensible au mot « feu » ?)
2. La voie de « Ce que je décide » ( $\Delta Y$ ) : L'exemple d'entraînement a-t-il changé la décision finale de l'IA ? (ex : l'a-t-il rendue plus susceptible de dire « Je ne peux pas », peu importe ce qu'elle voit ?)

En séparant ces deux aspects, le SMDA peut vous dire exactement pourquoi une paire d'entraînement spécifique a eu un effet.

3. Ce qu'ils ont découvert (Les résultats)

Les chercheurs ont testé cela sur Llama-3.2-3B-Instruct, un modèle d'IA populaire, en utilisant 200 exemples d'entraînement (certains préjudiciables, d'autres inoffensifs). Voici ce qu'ils ont découvert :

L'« écart » dans le livre de règles : Ils ont découvert que le livre de règles de l'IA présentait une faille étrange. Pour des catégories comme les « stéréotypes religieux » ou « se moquer de groupes protégés », l'IA pouvait détecter le préjudice (la caractéristique s'allume), mais le livre de règles attribuait à ces caractéristiques un poids négatif.
- Traduction : L'IA savait qu'elle voyait quelque chose de mal, mais son livre de règles interne lui disait d'ignorer cela et de coopérer. C'est comme un agent de sécurité qui voit un voleur, mais dont le manuel de procédures dit : « Si vous voyez un voleur, laissez-le passer ». Le SMDA a exposé ce processus défaillant.
L'« interférence entre caractéristiques » (Les effets secondaires imprévus) : C'est une découverte cruciale. Lorsqu'ils ont entraîné l'IA sur une requête concernant « l'assassinat d'un phacochère » (un sujet violent et préjudiciable), ils s'attendaient à ce que cela renforce la règle « Violence ».
- La surprise : Cet exemple d'entraînement unique a également modifié accidentellement les règles pour des sujets totalement sans rapport, comme les « demandes de droits d'auteur » ou les « questions religieuses ».
- L'analogie : C'est comme essayer d'apprendre à un élève à faire attention avec des couteaux, mais qu'en cours de route, vous lui apprenez accidentellement à avoir peur des cuillères. Les données d'entraînement ont « débordé » et ont perturbé des règles qu'elles n'étaient pas censées toucher.
Des données d'entraînement de mauvaise qualité : Ils ont trouvé des exemples d'entraînement spécifiques qui étaient « mal calibrés ». Par exemple, une requête demandant des informations sur « des pénis épais et longs » (un sujet sexuel/préjudiciable) était censée apprendre à l'IA à refuser le contenu sexuel. Au lieu de cela, le SMDA a montré que cet exemple apprenait surtout à l'IA à refuser des questions générales et inoffensives.
- Traduction : L'IA a appris la mauvaise leçon. Elle a pensé : « Si je vois cette question bizarre, je dois simplement arrêter de répondre à tout », plutôt que « Je devrais seulement refuser les questions sexuelles ».

Pourquoi cela importe

Avant le SMDA, si vous vouliez savoir pourquoi une IA refusait une requête, vous deviez soit :

Deviner (fonctions d'influence de type boîte noire) : « Ces données d'entraînement ont probablement causé cela. »
Inspecter manuellement les circuits : « Regardons le neurone n°452... » (C'est lent et difficile à mettre à l'échelle).

Le SMDA comble cette lacune. Il offre un outil de diagnostic qui est :

Précis : Il explique pourquoi (ex : « Cette paire d'entraînement a modifié la règle de la 'Religion', pas celle de la 'Violence' »).
Évolutif : Il ne nécessite pas qu'un humain cartographie manuellement chaque neurone.

En résumé : Le SMDA est comme un expert-comptable médico-légal pour les données d'entraînement de l'IA. Il ne se contente pas de dire « Ces données ont changé l'IA » ; il fournit un reçu détaillé montrant exactement quelles règles internes ont été ajustées, lesquelles ont été brisées, et quels exemples d'entraînement ont poussé l'IA à apprendre les mauvaises leçons. Cela aide les chercheurs à réparer le « livre de règles » pour rendre l'IA plus sûre et plus fiable.

Résumé Technique : Attribution de Données Mécaniste Symbolique (SMDA)

Énoncé du Problème

Les méthodes existantes d'attribution de données, y compris l'Attribution de Données Mécaniste (MDA), sont efficaces pour tracer les exemples d'entraînement vers des circuits de bas niveau pré-caractérisés (par exemple, des neurones, des têtes d'attention ou des caractéristiques SAE connues). Cependant, elles peinent à expliquer comment les données d'entraînement façonnent les décisions comportementales de haut niveau où le circuit sous-jacent n'est pas connu a priori. Cette lacune limite la capacité à diagnostiquer des phénomènes de sécurité complexes tels que la conformité nuisible, la sycophantie ou les comportements de refus, qui émergent souvent de l'interaction de multiples composants plutôt que d'une unité unique identifiable. De plus, les fonctions d'influence standard fonctionnent comme des boîtes noires, tandis que l'analyse manuelle des circuits n'est pas évolutive pour les politiques de haut niveau.

Méthodologie : Attribution de Données Mécaniste Symbolique (SMDA)

Les auteurs proposent la SMDA, un cadre qui attribue l'influence de l'entraînement à une politique symbolique apprise sur des caractéristiques d'Auto-encodeurs Creux (SAE), plutôt qu'à un composant de circuit spécifié à la main. La méthode opère via les étapes suivantes :

Construction de la Politique Symbolique :
- Le cadre extrait les activations de caractéristiques SAE d'une couche spécifique (Couche 10 de Llama-3.2-3B-Instruct) pour un ensemble d'évaluation de réserve.
- Il sélectionne un sous-ensemble de caractéristiques ( $d=75$ ) qui présentent des différences d'activation substantielles entre les prompts nuisibles et inoffensifs.
- Une régression Ridge en forme close est ajustée pour modéliser le comportement cible (propension au refus) en fonction de ces caractéristiques SAE. La sortie est un vecteur de poids de politique symbolique $W$ , où chaque entrée représente la contribution d'une caractéristique spécifique à la décision de refus.
Calcul de l'Influence :
- Pour une paire de données d'entraînement par ajustement fin supervisé (SFT) donnée $z_i$ , la SMDA approxime l'effet d'un seul pas de gradient sur les poids de la politique symbolique $W$ .
- Le décalage des poids, $\Delta W_i$ $Δ W_{i}$ , est décomposé analytiquement en deux voies en utilisant un développement de Taylor au premier ordre :
  - Voie $\Delta X$ : Changements dans les activations internes des caractéristiques SAE causés par la mise à jour du gradient.
  - Voie $\Delta Y$ : Changements dans les log-probabilités de refus de sortie du modèle causés par la mise à jour du gradient.
- Le score d'influence final est le produit scalaire $\langle \Delta W_i, W \rangle$ , indiquant si la paire d'entraînement pousse la politique davantage dans sa direction actuelle (positif) ou contre elle (négatif).
Configuration Expérimentale :
- Modèle : Llama-3.2-3B-Instruct.
- SAE : Un SAE BatchTopK entraîné sur le flux résiduel de la Couche 10, produisant 12 288 caractéristiques.
- Données : 200 paires d'entraînement SFT (100 refus de contenus nuisibles, 100 conformités inoffensives) et un ensemble d'évaluation de 11 000 prompts divisés en diverses configurations (nuisible-inoffensif, nuisible-naturel, nuisible-équilibré).

Principales Contributions

Innovation du Cadre : Introduction de la SMDA, qui déplace la cible d'attribution d'unités de bas niveau prédéfinies vers une politique symbolique apprise sur les caractéristiques SAE. Cela permet l'attribution dans des contextes où la structure du circuit sous-jacent est inconnue.
Décomposition Analytique : Dérivation d'un calcul d'influence en forme close qui sépare les effets d'entraînement en voies d'activation de caractéristiques ( $\Delta X$ ) et de probabilité de sortie ( $\Delta Y$ ), fournissant un aperçu mécaniste de comment l'entraînement modifie le comportement.
Analyse Empirique : Application de la SMDA au comportement de refus de Llama-3.2-3B-Instruct, analysant 200 paires SFT pour révéler des lacunes systématiques dans le comportement de sécurité et des modèles d'interférence entre caractéristiques.

Résultats Clés

L'analyse de la politique symbolique et des influences d'entraînement a produit trois conclusions principales :

Lacunes Systématiques dans le Comportement de Sécurité :
- Les coefficients de la politique symbolique ont révélé que le modèle de base détecte de manière fiable le contenu nuisible (les caractéristiques s'activent) mais échoue à traduire cette détection en décisions de refus.
  - Les caractéristiques associées aux stéréotypes religieux, à la caractérisation de groupes protégés et au cadrage argumentatif portaient de grands coefficients négatifs (prédisant la conformité). Cela indique que le modèle représente le dommage mais n'a pas appris la politique de refus correspondante pour ces catégories.
Différences Qualitatives dans l'Influence de l'Entraînement :
- La décomposition $\Delta X / \Delta Y$ a montré que les paires d'entraînement nuisibles et inoffensives exercent des influences qualitativement différentes.
- Pour certaines caractéristiques, les paires nuisibles ont principalement déplacé la probabilité de sortie du modèle ( $\Delta Y$ ), tandis que les paires inoffensives distribuaient l'influence de manière plus équilibrée sur les deux voies. Cela suggère que l'ajustement fin de la sécurité n'est pas un processus uniforme.
Interférence entre Caractéristiques :
- Les paires d'entraînement individuelles présentaient fréquemment une "interférence catastrophique", où une paire ciblant une catégorie sémantique (ex: violence) déplaçait de manière significative les coefficients de caractéristiques sémantiquement non liées (ex: demandes de droit d'auteur).
- La SMDA a identifié avec succès des paires d'entraînement "mal calibrées" où l'effet dominant tombait sur des caractéristiques non intentionnelles (ex: une paire de refus concernant le contenu sexuel supprimant principalement les requêtes d'information générale), soulignant les inefficacités potentielles de la curation des données de sécurité.

Signification et Revendications

L'article affirme qu'en combinant l'interprétabilité mécaniste et l'attribution de données, on obtient un outil de diagnostic qui est plus fin que les fonctions d'influence de type boîte noire et plus évolutif qu'une analyse manuelle de circuit.

Des Circuits aux Politiques : La SMDA comble le fossé entre la compréhension des composants individuels et la compréhension du comportement au niveau de la décision. Elle traite la politique symbolique elle-même comme l'objet de l'attribution, révélant non seulement quelles caractéristiques existent, mais aussi comment le modèle les pondère.
Utilité Diagnostique : Le cadre fournit des signaux interprétables pour l'ingénierie de la sécurité, tels que l'identification des paires d'entraînement qui provoquent une interférence entre caractéristiques non intentionnelle ou la révélation de catégories spécifiques où le modèle détecte le dommage mais échoue à refuser.
Limites et Portée : Les auteurs font preuve de modestie quant à la portée actuelle, notant que la SMDA attribue à la politique symbolique (une régression Ridge de 75 caractéristiques avec environ 64–70 % de précision de test) plutôt qu'au modèle complet. Ils précisent explicitement que bien que la méthode identifie les paires d'entraînement ayant des profils d'influence cohérents, elle ne réalise pas de validation causale via des expériences de réentraînement pour vérifier que la suppression de ces paires améliore la sécurité en aval. Ce travail est présenté comme une condition préalable nécessaire aux futures études d'intervention plutôt que comme un outil de curation de données entièrement validé.