Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

Résumé technique : SKIN-DEEP : Un diagnostic géométrique de la fragilité de l'alignement

Énoncé du problème
Le réglage de l'alignement (alignment tuning) des grands modèles de langage (LLM) est conçu pour garantir un refus robuste des requêtes malveillantes. Cependant, ce comportement de sécurité est souvent fragile : un modèle qui réussit les tests de refus lors de sa publication peut perdre ses capacités de refus après avoir subi des interventions en aval à faible coût, telles qu'un ajustement fin (fine-tuning) sur des exemples d'apparence bénigne ou l'entraînement d'adaptateurs de bas rang (LoRA). Bien que des travaux antérieurs aient démontré que de telles interventions peuvent contourner la sécurité, les études existantes ne détectent généralement cette fragilité qu'après qu'une attaque ou une intervention de fine-tuning a été exécutée. Il n'existe actuellement aucune méthode pour détecter cette fragilité directement à partir des représentations internes d'un modèle aligné avant que de telles interventions ne surviennent.

Méthodologie : SKIN-DEEP
Les auteurs introduisent SKIN-DEEP, un cadre de diagnostic géométrique qui mesure la fragilité de l'alignement en utilisant les activations des états cachés d'un modèle aligné avant toute intervention. La méthode fonctionne selon les étapes suivantes :

1. Recherche de sous-espace : Le cadre compare les activations du flux résiduel d'un modèle aligné ($M$) par rapport à son homologue de base ($M_0$) sur des ensembles appariés de requêtes malveillantes et d'instructions bénignes. En utilisant l'ACP contrastive (cPCA), il identifie des directions candidates ($v_\ell$) à chaque couche $\ell$ qui séparent le mieux les requêtes malveillantes des instructions bénignes.
2. Validation : Pour s'assurer que ces directions représentent une véritable géométrie de sécurité plutôt que des artefacts (par exemple, la magnitude des activations ou les modèles de prompts), les auteurs emploient :
   • Le $d$ de Cohen : Pour mesurer l'ampleur de la séparation le long de la direction candidate.
   • Des tests en espace complet : En utilisant PERMANOVA et MMD avec noyau RBF pour vérifier que la séparation existe dans l'espace d'activation complet, et pas seulement dans la projection 1D.
   • Des contrôles de norme : Vérifier que les résultats se maintiennent sur des activations normalisées à l'unité.
   • La comparaison de direction d'Arditi : Mesurer la similitude cosinus avec la direction « Arditi » connue (la différence entre les moyennes des activations malveillantes et inoffensives) pour s'assurer que la géométrie récupérée est distincte ou liée aux axes de refus connus.
3. Vérification causale (Ablation de direction) : Le cadre teste la pertinence comportementale de ces directions en supprimant (ablatant) la direction candidate pendant la génération. Si le taux de refus du modèle chute de manière significative par rapport à des directions de contrôle aléatoires ou de référence, la géométrie est liée de manière causale au comportement de refus.
4. Score de fragilité géométrique (GFS) : Les mesures par couche sont compressées en une métrique scalaire unique, le Score de Fragilité Géométrique (GFS). La formule agrège la force de séparation pondérée ($|d_\ell|$), en mettant l'accent sur les couches ultérieures ($w_\ell \propto \ell/L$), et en dépondérant les directions qui s'alignent trop étroitement avec l'axe de refus canonique d'Arditi :
   $$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$$
   Un GFS élevé indique une géométrie de sécurité forte, émergeant tardivement, qui n'est pas concentrée uniquement sur l'axe de refus canonique.

Contributions clés et résultats
L'article évalue SKIN-DEEP sur un ensemble de 21 modèles ajustés par instruction (3B–32B paramètres) à travers six recettes d'alignement (SFT, RLHF+SFT, DPO, ORPO, RLAIF, C-RLFT). Les résultats soutiennent quatre affirmations principales :

• Existence d'un sous-espace de sécurité de bas rang : Les requêtes malveillantes et les instructions bénignes se séparent le long d'un petit ensemble de directions d'états cachés. Cette séparation persiste dans l'espace d'activation complet et est robuste au formatage des prompts (templates de chat) et aux variations de norme d'activation.
• Lien causal avec le refus : Supprimer des directions spécifiques identifiées par la recherche cPCA affaiblit le refus des requêtes malveillantes dans les modèles où une diminution est mesurable. Cela confirme que la géométrie récupérée sous-tend le comportement de refus, et non simplement la classification de prompts. La direction spécifique qui « change le refus » varie selon le modèle, suggérant un sous-espace de bas rang partagé contenant des vecteurs spécifiques au modèle plutôt qu'un vecteur de refus universel unique.
• Récurrence à travers les familles : Différentes familles de modèles (par exemple, Llama, Qwen, Mistral, Gemma) préservent des relations d'activation prompt-à-prompt similaires au sein de ce sous-espace de sécurité, bien que la couche où la séparation est la plus forte varie selon le modèle.
• Utilité diagnostique (GFS) : Le GFS prédit avec succès quels modèles initialement sûrs conserveront le plus de refus après un fine-tuning LoRA à petite échelle. Dans les expériences, Gemma-2-9B a reçu le GFS le plus bas et était le seul modèle à conserver un refus substantiel après des mises à jour LoRA bénignes agressives, tandis que les autres modèles (Llama, Qwen, Mistral) ont rapidement perdu leurs capacités de refus. Les auteurs attribuent la résilience de Gemma au fait que ses directions de sécurité restent plus proches de l'axe de refus canonique d'Arditi, que le GFS dépondère, signalant ainsi correctement qu'il est moins « fragile » dans le contexte de perturbations de bas rang.

Signification et revendications
L'article établit le GFS comme un diagnostic pratique pré-déploiement. Sa principale importance réside dans la capacité de signaler la fragilité de l'alignement sans exécuter d'attaque ou d'intervention de fine-tuning. En inspectant la signature géométrique du refus dans le flux résiduel, les développeurs peuvent identifier les modèles qui reposent sur des mécanismes de sécurité fragiles avant leur publication.

Les auteurs positionnent ce travail comme un outil de l'utilité défensive :

• Il aide à signaler les checkpoints sous-alignés.
• Il aide à prioriser le fine-tuning de sécurité ou les sondes d'interprétabilité.
• Il aide à trier les budgets de red-teaming.

L'article note explicitement des limites, notamment la portée des tailles de modèles (jusqu'à 32B), l'utilisation de prompts exclusivement en anglais, et le fait que le classement GFS pour les recettes d'alignement (par exemple, les modèles DPO apparaissant plus robustes) est une hypothèse nécessitant une validation supplémentaire sur des populations plus larges. Les auteurs soulignent également un risque de double usage : bien que le pipeline de diagnostic soit publié, certains artefacts prêts à l'attaque (tels que les hooks d'ablation par couche et les poids d'adaptateur) sont retenus pour éviter une exploitation immédiate, tout en reconnaissant que des adversaires déterminés pourraient reconstruire des pipelines similaires en utilisant des données publiques.