Résumé Technique : Un Audit de Rang Effectif des Déplacements d'Activation Induits par l'Alignement

Énoncé du Problème

Les grands modèles de langage (LLM) ajustés par instruction présentent une vulnérabilité structurelle où les comportements de sécurité (spécifiquement les refus de demandes nuisibles) sont médiatisés par un sous-espace de faible dimension au sein des activations du flux résiduel. S'appuyant sur l'observation empirique d'Arditi et al. (2024) selon laquelle une seule direction peut médiatiser le refus, cet article formalise les conséquences structurelles de ce phénomène. Le problème central consiste à quantifier la « séparabilité » des déplacements d'alignement — spécifiquement, à quel point la modification entre les activations pré-entraînées et alignées est concentrée sur les entrées pertinentes pour la sécurité — et à déterminer si cette structure de faible rang implique une fragilité comportementale ou une susceptibilité à un alignement trompeur (simulation).

L'article traite trois lacunes spécifiques :

1. Contrôle des Confondants : Les mesures précédentes confondent souvent les déplacements d'alignement avec des artefacts de formatage de modèle de chat.
2. Calibration : Il est incertain que l'augmentation du rang effectif du déplacement d'alignement (via la régularisation) améliore structurellement la robustesse ou simplement gonfle une métrique.
3. Limites des Diagnostics : Il est inconnu si le faible rang est une signature spécifique à la sécurité ou une propriété générique de l'après-entraînement, et si une borne inférieure correspondante existe pour le « coût de la simulation » (c'est-à-dire si un rang élevé garantit une résistance au basculement de mode).

Méthodologie

L'Indice de Séparabilité ($\rho_\epsilon$)

L'article définit la matrice de modification d'alignement $M_D$ à une couche donnée comme la collection des différences d'activation entre les modèles alignés et pré-entraînés sur une distribution pertinente pour la sécurité $D_s$ :
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
L'indice de séparabilité est le rang effectif de cette matrice, normalisé par la dimension de représentation $d$ :
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
où $\text{rank}_\epsilon$ est le nombre de valeurs singulières nécessaire pour capturer $(1-\epsilon)$ de la variance totale (avec $\epsilon=0.05$).

Décomposition en Quatre Variantes

Pour isoler le véritable signal d'alignement des confondants, les auteurs décomposent la matrice de modification en quatre variantes :

1. $M_{naive}$ : Différence naïve ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$), sujette aux confondants de modèle.
2. $M_{template}$ : Contrôle le formatage du modèle de chat en appliquant le modèle aux deux points de contrôle.
3. $M_{aligned}$ : Mesure le déplacement au sein du modèle aligné lui-même.
4. $M_{DiD}$ (Différence de Différences) : Soustrait la moyenne de la colonne de contrôle de $M_{template}$ pour retrouver la direction de refus intra-alignée.

Tests Diagnostiques

L'article emploie trois tests pour évaluer l'alignement :

• Test 1 (Rang) : Calcule $\rho_\epsilon$ sur $M_{template}$.
• Test 2 (Ablation Causale) : Projette les $k$ premières composantes principales de $M_{template}$ et mesure le changement des taux de refus par rapport à un rang $k$ nul aléatoire.
• Test 3 (Alignement Principal) : Mesure la similarité cosinus entre le vecteur singulier principal $u_1$ et la direction moyenne de déplacement $\bar{\Delta}$.

Calibration et Vérification

• Calibration MLP : Un MLP à 3 couches est entraîné avec des forces de régularisation variables ($\lambda$) pour manipuler $\rho_\epsilon$ tout en observant le compromis entre l'inflation du rang et la robustesse à l'ablation.
• Audit LLM : Le diagnostic est appliqué à trois modèles à poids ouverts : Llama-3.1-8B-Instruct, Gemma-2-9B-it et Qwen-2.5-7B-Instruct.
• Bornes Théoriques : L'article explore la « route Mirsky » pour dériver une borne inférieure sur l'empreinte représentationnelle d'une politique trompeuse (simulation), testant l'hypothèse de l'écart spectral requise pour une telle borne.

Résultats Clés

1. Mesure Contrôlée par les Confondants

• Concentration du Rang : Sur les entrées pertinentes pour la sécurité, le déplacement d'alignement est fortement concentré. Pour Llama, Gemma et Qwen, le rang effectif centré est d'environ 12 à 18 sur $d \in \{3584, 4096\}$, donnant $\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$.
• Confondant de Modèle : Le rang non centré est dominé par une seule direction moyenne (le déplacement du modèle de chat). Soustraire la moyenne (centrage) augmente le rang résiduel de 4 à 7 fois, confirmant que le rang principal est piloté par le formatage plutôt que par une logique de sécurité complexe.
• Récupération de la Direction de Refus : Sur la $M_{DiD}$ centrée, le vecteur singulier principal s'aligne avec la direction de refus d'Arditi avec une forte similarité cosinus ($| \cos | \in \{0.77, 0.86, 0.50\}$ pour Llama/Gemma/Qwen). Cela confirme que l'« effondrement de rang-1 » vaut pour Llama et Gemma mais est moins dominant chez Qwen.

2. Calibration Constructive : Point Doux vs Fragilité

• Inflation du Rang $\neq$ Robustesse : Dans la calibration MLP, l'augmentation de $\rho_\epsilon$ via une régularisation légère ($\lambda=5$) a entraîné une forte robustesse à l'ablation (conformité $\ge 0.97$ même après projection de 62,5 % de la représentation). Cependant, une régularisation forte ($\lambda=50$) au même $\rho_\epsilon$ nominal a entraîné une fragilité extrême (la conformité est tombée à 0,10).
• Valeur Diagnostique : $\rho_\epsilon$ sert d'outil diagnostique pour la fragilité mais n'est pas une cible dont l'inflation mécanique garantit la robustesse. La conséquence structurelle d'un faible $\rho_\epsilon$ est la fragilité par projection linéaire (Prop. 3.1) et une borne d'atteignabilité de $O(\rho_\epsilon d)$ pour la simulation (Prop. 3.5).

3. Limites des Diagnostics Basés sur le Rang

• Non Spécifique à la Sécurité : Une base de référence utilisant des concepts linéaires arbitraires (LRH) donne $\rho_\epsilon \approx 0.008$–$0.010$, soit seulement 2 à 3 fois la valeur de sécurité. Le faible rang est une propriété générique des déplacements post-entraînement ; le lien avec le comportement de sécurité n'est établi que par l'ablation causale (Test 2).
• SVD vs Ordre Causal : L'ordre des valeurs singulières par variance ne garantit pas l'ordre causal. Chez Llama, le deuxième vecteur singulier ($u_2$) a un effet causal proche de zéro sur le refus malgré son classement deuxième par variance. L'ablation cumulative est non monotone (par exemple, le refus augmente à $k=5$ avant de chuter), indiquant que le spectre SVD seul ne peut prédire la fragilité comportementale.
• Échec de l'Hypothèse de l'Écart Spectral : L'article tente de prouver une borne inférieure correspondante ($\Omega(\rho_\epsilon d)$) pour le coût de la simulation en utilisant un argument de style Mirsky nécessitant un écart spectral ($\kappa > 8$). Empiriquement, cet écart échoue ($\kappa_{emp} < 8$) dans 89/90 paires de référence de couches pour Llama et 0/36 dans le MLP. Structurellement, le Lemme 8.1 prouve que pour tout $\epsilon r > 1/4$, la condition d'écart ne peut être satisfaite, rendant la route Mirsky insuffisante pour une borne inférieure générale.

Signification et Revendications

L'article revendique fournir une quantification formelle et continue des propriétés structurelles de l'alignement, dépassant l'observation binaire « rang-1 » des travaux antérieurs.

1. Formalisation de la Fragilité : Il établit qu'un faible rang effectif ($\rho_\epsilon \ll 1$) implique inconditionnellement une vulnérabilité aux attaques par projection linéaire (Prop. 3.1) et permet une simulation représentationnelle à faible coût (Prop. 3.5).
2. Rigueur Méthodologique : Il introduit une décomposition en quatre variantes pour séparer rigoureusement les artefacts de modèle de chat des véritables déplacements d'alignement, une étape nécessaire pour un audit précis.
3. Diagnostic vs Optimisation : L'article soutient que $\rho_\epsilon$ est un outil diagnostique pour identifier la fragilité, et non une cible d'optimisation. L'inflation mécanique du rang n'achète pas de robustesse structurelle.
4. Problèmes Ouverts : L'article identifie explicitement la borne inférieure correspondante pour la simulation comme un problème ouvert. Bien qu'il prouve l'atteignabilité d'une simulation à faible coût (borne supérieure), il démontre que l'approche naturelle par écart spectral pour prouver une borne inférieure (qu'un rang élevé force un coût élevé) échoue à la fois empiriquement et structurellement.

Les auteurs soulignent que leur travail est limité aux attaques par flux résiduel (projection, pilotage) et ne prétend pas traiter la pression adversaire arbitraire sur le mécanisme interne, le fine-tuning LoRA, ou les jailbreaks de prompt. Le diagnostic est calculable par un vérificateur strictement plus faible que le système audité, à condition que le vérificateur ait un accès en boîte blanche aux points de contrôle appariés et à une distribution de sécurité fixe.