Résumé Technique : Instabilité Structurelle de la Composition de Caractéristiques

Énoncé du Problème

Les Autoencodeurs Sparse (SAE) sont devenus un outil principal pour l'interprétabilité mécaniste, permettant la décomposition des activations denses des transformateurs en caractéristiques interprétables et éparses. Cette décomposition facilite le « pilotage des activations », où des comportements spécifiques du modèle sont suscités par la manipulation de vecteurs latents. L'Hypothèse de Représentation Linéaire prédominante postule que la composition sémantique équivaut à une addition vectorielle linéaire (c'est-à-dire que le pilotage avec $v_A + v_B$ active simultanément les concepts $A$ et $B$).

Cependant, des preuves empiriques suggèrent que cette hypothèse est fragile. La manipulation simultanée de multiples caractéristiques déclenche souvent un effondrement compositionnel, un état d'incohérence sémantique où le modèle échoue à maintenir des concepts distincts. Bien que des travaux antérieurs aient noté des interférences dans des variétés structurées, une caractérisation géométrique rigoureuse expliquant pourquoi et quand cette instabilité se produit reste insaisissable. Le problème central réside dans la compréhension des limites du pilotage par union dans des dictionnaires surcomplets ($m \gg n$), où la non-orthogonalité inévitable génère un bruit d'interférence que la superposition linéaire échoue à gérer.

Méthodologie

L'article emploie un cadre géométrique ancré dans la Géométrie Intégrale Conique et la probabilité de haute dimension pour modéliser l'espace d'activation des réseaux de neurones.

1. Modélisation Géométrique :

   • L'espace d'activation est modélisé comme une variété conique sparse, où les représentations $k$-eparses valides forment une union de cônes positifs définis par la non-linéarité ReLU ($\sigma(x) = \max(0, x)$).
   • Le dictionnaire $D \in \mathbb{R}^{n \times m}$ est traité comme un ensemble surcomplet d'atomes. L'analyse suppose un modèle de dictionnaire sphérique aléatoire (atomes tirés i.i.d. de $Unif(S^{n-1})$) pour dériver des bornes de transition de phase asymptotiquement serrées, tout en validant empiriquement la robustesse face aux corrélations structurées (par exemple, dans CLEVR).

2. Micro-Analyse (Enchevêtrement Pair à Pair) :

   • L'article analyse l'interaction locale entre deux ensembles disjoints de caractéristiques actives ($S_A, S_B$).
   • Il définit un Opérateur de Fuite pour quantifier le saignement du signal vers des « caractéristiques fantômes » (atomes inactifs).
   • Crucialement, il examine l'effet de la rectification ReLU sur les interférences. Contrairement aux systèmes linéaires où le bruit symétrique s'annule, ReLU brise cette symétrie, convertissant les fluctuations de variance en une dérive positive systématique.

3. Macro-Analyse (Transition de Phase) :

   • La stabilité du système est analysée en utilisant la Dimension Statistique ($\delta(C)$) et la Largeur Moyenne Gaussienne des cônes convexes.
   • Le problème est formulé comme un problème d'intersection géométrique : Le Cône de Signal (engendré par les caractéristiques actives) peut-il être séparé du Cône Polaire Fantôme (engendré par les caractéristiques inactives) ?
   • Le Théorème de Gordon sur la Fuite à travers un Maillage est utilisé pour mapper la probabilité d'intersection géométrique à une comparaison de processus gaussiens, dérivant un seuil critique explicite pour la stabilité.

4. Validation Empirique :

   • Des expériences ont été menées en utilisant Qwen-VL (7 milliards de paramètres) avec des SAE entraînés sur le jeu de données CLEVR.
   • Des vecteurs de pilotage ont été construits en sommant $k$ caractéristiques sémantiques distinctes (par exemple, des attributs de couleur et de forme).
   • L'Énergie Spurious ($E_{spur}$) a été mesurée comme la projection du signal composite sur le sous-espace fantôme pour détecter le début de l'effondrement.

Contributions Clés

1. Le Seuil de Stabilité via la Largeur Moyenne Gaussienne

L'article établit un Seuil de Stabilité rigoureux défini par la largeur moyenne gaussienne du cône de signal. Il démontre que les activations spuriaires sont inévitables au-delà d'une densité compositionnelle critique $\gamma^*$. La frontière de stabilité est caractérisée par la condition de saturation géométrique :
$$\Psi(\gamma) + \Phi(\delta - \gamma) = 1$$
où $\Psi$ est la dimension statistique normalisée du cône de signal et $\Phi$ celle du cône polaire fantôme. Au-delà de ce point, l'intersection entre le cône de signal et la région sûre devient vide presque sûrement.

2. Le Mécanisme de Cliquet Rectifié

Les auteurs caractérisent un Mécanisme de Cliquet entraîné par les non-linéarités ReLU.

• Micro-fondation : Dans les systèmes linéaires, le bruit d'interférence est symétrique ($E[\epsilon]=0$). Cependant, la rectification ReLU convertit les fluctuations de variance microscopiques induites par la corrélation en une dérive moyenne systématique ($\eta > 0$).
• Super-additivité : Cette dérive est strictement super-additive. Même si l'alignement moyen entre les sous-espaces de caractéristiques est nul, la convexité de la fonction de dérive rectifiée garantit que les fluctuations de variance géométrique augmentent strictement l'énergie d'interférence attendue par rapport à une base isotrope.
• Conséquence : Cela convertit les fluctuations stochastiques en un biais géométrique persistant, accélérant la transition vers l'effondrement.

3. Validation Empirique sur des Données Structurées

L'article valide les tendances d'échelle théoriques sur des caractéristiques sémantiques structurées extraites de CLEVR.

• Décalage de Corrélation : La transition de phase empirique se produit à une densité plus faible ($\gamma^*_{CLEVR} < \gamma^*_{théorie}$) que la base aléatoire.
• Accélération : Les corrélations sémantiques hiérarchiques (par exemple, entre « rouge » et « cube ») épaississent efficacement le cône de signal, accélérant la transition vers l'instabilité par rapport aux dictionnaires aléatoires.
• Barrière Géométrique : Les résultats confirment une barrière géométrique rigide à l'extension de la composition linéaire naïve dans des espaces d'incorporation statiques.

Résultats

• Transition de Phase : L'étude identifie une transition de phase nette dans la stabilité de la représentation. En dessous d'une densité critique $\gamma^*$, l'énergie spuriaire reste négligeable, permettant un contrôle linéaire précis. Au-dessus de $\gamma^*$, le système subit un effondrement abrupt vers l'incohérence sémantique.
• Divergence Spectrale : À mesure que le système approche le seuil critique, le nombre de condition de la sous-matrice des caractéristiques actives diverge, rendant l'application inverse numériquement instable. Cela explique la « Dérive de Sortie » observée dans les expériences comme un résidu de projection sur l'espace quasi-nul d'une base mal conditionnée.
• Fragilité Structurelle : Les structures sémantiques réelles (avec des corrélations croisées positives) exacerbent l'instabilité, rendant la « Région de Sécurité » plus étroite que ne le prédisent les bornes de matrices aléatoires.

Signification et Revendications

L'article revendique fournir une fondation géométrique rigoureuse pour interpréter la fragilité du pilotage de caractéristiques et la nécessité de mécanismes tels que la Chaîne de Pensée (CoT).

• Limite de l'Hypothèse Linéaire : Le travail identifie une limite fondamentale de l'Hypothèse de Représentation Linéaire, montrant que l'empilement arbitraire de vecteurs déclenche un effondrement catastrophique dès que la frontière de saturation géométrique est dépassée.
• Impossibilité Géométrique : Il postule que, pour des architectures de largeur fixe, l'incapacité à composer un nombre arbitraire de caractéristiques n'est pas un artefact d'entraînement mais une impossibilité géométrique découlant du flux résiduel encombré.
• Rôle de la Profondeur et de la Sérialisation : Les résultats suggèrent que la profondeur (via les couches MLP agissant comme opérateurs de réinitialisation de la cohérence) et la sérialisation (via CoT) sont des ressources géométriques essentielles. Elles permettent au modèle de « vider » le budget d'interférence et de naviguer dans les frontières de phase en échangeant de l'espace contre du temps, plutôt que d'essayer de représenter tous les concepts simultanément dans un seul état latent.
• Implications pour la Sécurité : Comprendre ces contraintes géométriques est crucial pour la sécurité et la fiabilité des systèmes d'IA, en particulier lors de tentatives d'alignement ou de contrôle de grands modèles de langage via le pilotage des activations, car un pilotage agressif peut épuiser l'espace géométrique orthogonal, conduisant à des effets secondaires indésirables.