💬 NLP

Towards Isolated Interventions via Almost Orthogonal Features in Language Models

Cet article propose et valide une méthode de régularisation par orthogonalité pour contraindre les caractéristiques des modèles de langage à être presque orthogonales, réduisant ainsi l'enchevêtrement des caractéristiques et permettant des interventions causales plus fiables et isolées sans compromettre la performance du modèle.

Auteurs originaux : Moritz Miller, Florent Draye, Bernhard Schölkopf

Publié 2026-07-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Moritz Miller, Florent Draye, Bernhard Schölkopf

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un cerveau de robot géant et super intelligent (un modèle de langage) qui pense dans un langage secret de cadrans et d'interrupteurs lumineux. Pendant longtemps, les scientifiques ont cru que s'ils pouvaient trouver le cadran spécifique pour un concept — comme « Jerry, l'étudiant en mathématiques » — ils pourraient simplement le tourner pour faire parler le robot d'« Aquaman » sans rien dérégler d'autre. Ils pensaient que ces cadrans étaient comme des interrupteurs indépendants dans une maison : basculer l'interrupteur de la « cuisine » ne devrait pas éteindre accidentellement les lumières de la « chambre ».

Mais les auteurs de cet article ont découvert que la réalité est plus désordonnée. Dans ces cerveaux de robots, les cadrans sont souvent emmêlés dans un énorme nœud collant. Si vous essayez de tourner le cadran « Jerry », cela fait accidentellement osciller le cadran « Aquaman » et peut-être même le cadran « mathématiques » aussi. C'est ce qu'on appelle l'enchevêtrement de caractéristiques (feature entanglement). C'est comme essayer de tirer un fil spécifique d'un pull, pour découvrir qu'en tirant dessus, on effiloche toute la manche. À cause de cela, lorsque les chercheurs essayaient de changer l'avis du robot sur un nom, le robot devenait confus, perdait ses compétences en mathématiques ou inventait n'importe quoi.

L'Idée Principale : Redresser le Nœud

Les auteurs se sont demandé : « Et si nous forcions le robot à disposer ses cadrans de manière à ce qu'ils ne se touchent pas ? » Ils ont utilisé une règle mathématique appelée Mécanismes Causaux Indépendants, qui dit essentiellement : « Si une chose change, elle ne doit pas secrètement changer les règles pour tout le reste. »

Pour tester cela, ils ont construit un outil spécial appelé Auto-encodeur Creux (Sparse Autoencoder ou SAE). Voyez le SAE comme un traducteur qui prend les pensées désordonnées et emmêlées du robot et les réécrit sous forme d'une liste propre et organisée. Mais voici le rebondissement : ils ont ajouté une règle stricte au traducteur. Ils lui ont dit : « Votre liste de concepts doit être presque orthogonale ».

Dans le monde de la géométrie, « orthogonale » signifie parfaitement perpendiculaire, comme l'angle d'une pièce où le sol rejoint le mur. Si deux choses sont orthogonales, elles n'interfèrent pas l'une avec l'autre. Les auteurs ont forcé le dictionnaire interne de concepts du robot à être comme un ensemble de bâtons parfaitement droits et qui ne se touchent pas.

L'Expérience : Changer les Noms Sans Briser les Mathématiques

Ils ont testé cela sur un robot entraîné à résoudre des problèmes mathématiques textuels. Ils ont trouvé 12 cadrans spécifiques que le robot utilisait pour les prénoms masculins (comme Jerry, Mike ou James).

L'Ancienne Méthode (Enchevêtrée) : Sans leur nouvelle règle, si on essayait de remplacer « Jerry » par « Aquaman », le robot faisait une erreur de calcul ou oubliait qui faisait les mathématiques.
La Nouvelle Méthode (Orthogonale) : Avec leur règle des « bâtons droits », ils ont remplacé le cadran « Jerry » par le cadran « Aquaman ».
- Le Résultat : Le robot a instantanément commencé à parler d'Aquaman au lieu de Jerry.
- La Magie : Les mathématiques sont restées parfaites ! Le robot a toujours calculé que l'écriture de lettres de 3 pages à 2 amis deux fois par semaine pendant 52 semaines est égale à 624 pages. Le changement était isolé ; il ne s'est pas répandu pour briser le reste du cerveau du robot.

À quel point en sont-ils sûrs ?

Les auteurs ne se sont pas contentés de deviner ; ils ont mesuré.

Ils ont testé cela sur 3 960 problèmes mathématiques différents.
Ils ont constaté que lorsqu'ils rendaient les cadrans plus orthogonaux (plus « perpendiculaires »), le robot réussissait l'échange de nom environ 70,9 % du temps (avec une règle stricte), contre seulement 60,1 % sans la règle.
Crucialement, la capacité du robot à résoudre les problèmes mathématiques n'a pas chuté. Il est resté tout aussi bon en mathématiques qu'avant, prouvant que rendre le cerveau plus organisé ne le rendait pas moins intelligent.

Ce qu'ils ont écarté

L'article argumente explicitement contre l'idée que ces caractéristiques enchevêtrées seraient un mal nécessaire. Ils montrent que l'on peut avoir un robot qui est à la fois intelligent en mathématiques et facile à contrôler, sans avoir à choisir entre les deux. Ils suggèrent également que la façon dont le robot apprend habituellement (où les caractéristiques se chevauchent) pourrait être la raison pour laquelle il est parfois difficile à contrôler ou pourquoi il peut être trompé par des attaques « adverses » (bien qu'ils ne prétendent pas avoir résolu ces attaques, mais simplement que cette méthode pourrait aider).

L'Essentiel à Retenir

En forçant les concepts internes du robot à se tenir à angle droit les uns par rapport aux autres, les auteurs ont montré que nous pouvons effectuer des « interventions isolées ». Nous pouvons changer une idée spécifique dans l'esprit du robot sans casser accidentellement le reste de son cerveau. C'est comme si l'on organisait enfin un tiroir en désordre pour que, lorsque vous sortez une chaussette, vous ne tiriez pas accidentellement tout votre manteau d'hiver avec elle. Le robot est toujours un génie des mathématiques, mais maintenant, nous pouvons réellement lui parler et changer son avis sans provoquer de crise de nerfs.

Résumé technique : Vers des interventions isolées via des caractéristiques presque orthogonales dans les modèles de langage

Énoncé du problème
Un postulat central de l'interprétabilité mécaniste est que les concepts significatifs dans les modèles de langage (LM) correspondent à des caractéristiques linéaires dans l'espace d'activation. Pour que ces caractéristiques permettent des interventions causales fiables, la manipulation d'une caractéristique ne devrait pas altérer substantiellement les effets des autres. Cependant, en pratique, les caractéristiques apprises sont souvent entremêlées. Ce « phénomène d'interférence de caractéristiques » se produit lorsque les caractéristiques sont fortement alignées dans l'espace de représentation, ce qui fait que les interventions localisées (par exemple, le pilotage d'un modèle) entraînent des effets secondaires indésirables, brouillant les contributions causales et limitant l'intervenabilité. Ce problème est exacerbé par le phénomène de superposition, où les modèles représentent plus de caractéristiques qu'ils n'ont de dimensions, menant à des motifs d'interférence difficiles à contrôler.

Méthodologie
Motivés par le principe des Mécanismes Causaux Indépendants (ICM), qui postule que les systèmes complexes peuvent être décomposés en modules autonomes qui ne s'influencent pas mutuellement, les auteurs proposent de contraindre les caractéristiques internes à être presque orthogonales. La méthodologie repose sur un pipeline de réglage fin (fine-tuning) en deux étapes :

Entraînement d'un SAE orthogonal : Les auteurs entraînent un auto-encodeur parcimonieux (SAE) sur les activations du flux résiduel d'un modèle de langage. Contrairement aux SAE standards, ils introduisent une pénalité de régularisation d'orthogonalité explicite sur la matrice de décodage $D$ . La fonction de perte inclut un terme $\lambda \| \text{tril}(D^\top D) \|_F^2$ , qui pénalise les éléments hors diagonale de la matrice de Gram, imposant ainsi une faible auto-cohérence (proche de l'orthogonalité) entre les atomes de caractéristiques.
Adaptation du LM : Une fois le SAE entraîné et ses poids gelés, les auteurs l'insèrent dans un Transformer pré-entraîné (spécifiquement un modèle Gemma 2 2B) à une couche intermédiaire (couche 12 sur 26). Ils effectuent ensuite une adaptation de bas rang (LoRA) sur le modèle de langage pour l'adapter à la nouvelle géométrie des caractéristiques tout en préservant les performances globales.

Cadre théorique
Le papier formalise la relation entre l'interférence des caractéristiques et l'intervenabilité. En modélisant la représentation du LM comme une combinaison linéaire parcimonieuse de caractéristiques ($X = DZ$) et en supposant une hypothèse linéaire pour la cartographie de sortie, les auteurs dérivent une borne supérieure sur l'écart attendu entre la sortie réelle et la sortie du modèle suite à une intervention.

Ils montrent que l'écart post-intervention est contrôlé par un terme de base et un terme spécifique à l'intervention proportionnel à la auto-cohérence du dictionnaire de caractéristiques, notée $\mu(D)$ .
Plus précisément, l'écart attendu est borné par un terme impliquant $\delta^2 (d-1)\mu(D)$ , où $\delta$ est l'amplitude de l'intervention. Cela démontre théoriquement que la réduction de l'auto-cohérence (augmentation de l'orthogonalité) limite directement la propagation de l'interférence, améliorant ainsi l'isolation des interventions.

Contributions clés

Borne théorique : Les auteurs fournissent une borne théorique supérieure reliant l'intervenabilité dans le flux résiduel à l'interférence des caractéristiques, liant explicitement l'écart des sorties du modèle à l'auto-cohérence du dictionnaire de caractéristiques.
Pipeline d'ajustement orthogonal : Ils démontrent un pipeline qui affine un LM autour d'un SAE possédant un décodeur presque orthogonal. Ils montrent que cette approche maintient des performances et des scores d'interprétabilité comparables aux SAE non pénalisés sur des tâches de raisonnement mathématique.
Interventions isolées : Les auteurs réalisent les premières interventions isolées sur des concepts spécifiques au sein d'un SAE en limitant explicitement les effets de débordement (spill-over). Ils réussissent à substituer des concepts (par exemple, changer le prénom « Jerry » en « Aquaman ») tout en préservant les capacités de raisonnement du modèle et en minimisant les changements non intentionnels sur d'autres caractéristiques.

Résultats

Orthogonalité vs Performance : L'évaluation empirique sur le jeu de données GSM8K montre qu'augmenter la pénalité d'orthogonalité $\lambda$ diminue de manière monotone la perte d'orthogonalité (améliorant la séparation des caractéristiques) sans dégrader significativement la précision du modèle sur les tâches de raisonnement mathématique. Les performances des modèles avec des pénalités d'orthogonalité strictes restent compétitives par rapport à la référence non pénalisée.
Efficacité de l'intervention : Dans les expériences de substitution de prénoms (ex: « Jerry » vers « Aquaman ») et d'autres concepts (animaux, lieux), les modèles avec des pénalités d'orthogonalité plus élevées ( $\lambda \ge 10^{-6}$ $λ \geq 1 0^{- 6}$ ) ont démontré une meilleure isolation.
- Substitution correcte : À mesure que la pénalité augmentait, le modèle incluait plus fréquemment le nom substitué correct dans sa génération (ex: récupérant « Aquaman » ~70,9 % du temps avec $\lambda=10^{-4}$ contre ~60,1 % sans pénalité).
- Réduction du débordement : Les modèles dotés de pénalités d'orthogonalité ont été plus efficaces pour abandonner le concept original sans conserver par erreur ce dernier dans la sortie.
Interprétabilité : L'interprétabilité des caractéristiques (mesurée par la capacité d'un LLM à faire correspondre correctement les explications de caractéristiques à des segments de texte) est restée constante à travers les différentes pénalités d'orthogonalité, indiquant que l'imposition de l'orthogonalité ne sacrifie pas la compréhensibilité humaine des caractéristiques.

Signification et revendications
Le papier affirme que l'enchevêtrement des caractéristiques est un inhibiteur primaire des interventions isolées dans les modèles de langage. En reliant formellement l'intervenabilité au principe ICM et en démontrant que la régularisation de l'orthogonalité réduit l'interférence des caractéristiques, les auteurs suggèrent une voie fondée sur des principes pour améliorer l'identifiabilité et l'atomicité des caractéristiques SAE sans sacrifier l'utilité en aval.

Les auteurs présentent modestement leur travail comme une étape vers des systèmes d'IA plus fiables et prévisibles. Ils soutiennent que leur approche permet des modifications précises et localisées des représentations internes, ce qui est crucial pour comprendre comment des composants spécifiques contribuent aux sorties. Ils reconnaissent que leur méthode introduit des préoccupations potentielles de double usage concernant le pilotage précis des sorties du modèle. Cependant, ils notent que leur approche nécessite un accès direct aux internes du modèle et une expertise technique, ce qui limite l'accessibilité et réduit la probabilité d'usage malveillant. Le travail ne prétend pas résoudre tous les problèmes de superposition ou de robustesse adversaire, mais suggère que encourager l'orthogonalité peut agir comme un biais architectural fort vers des modèles plus robustes.

Résumé technique : Vers des interventions isolées via des caractéristiques presque orthogonales dans les modèles de langage

Articles similaires