Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

1. Problématique

L'émergence de modèles de langage (LLM) à poids ouverts (comme Llama, Qwen) a démocratisé l'accès à l'IA, mais a créé un défi majeur pour la sécurité et l'interprétabilité : l'absence d'accès aux données d'entraînement complètes.

• Limitation des méthodes actuelles : Les techniques d'interprétabilité existantes reposent principalement sur l'analyse des activations (les sorties intermédiaires du réseau). Ces méthodes nécessitent généralement des données d'entraînement ou de calibration distribuées de manière similaire aux comportements à détecter.
• Le problème des menaces inconnues : Cette dépendance aux données est critique pour détecter des menaces rares ou hors distribution (Out-of-Distribution - OOD), telles que les portes dérobées (backdoors) activées par des déclencheurs secrets, ou les comportements indésirables issus de l'apprentissage par renforcement (RLHF) empoisonné. Si les données d'entraînement contenant ces anomalies ne sont pas disponibles, les méthodes basées sur les activations échouent à les isoler.
• Question centrale : Peut-on comprendre et surveiller un modèle affiné sans avoir accès à sa distribution de données d'entraînement ?

2. Méthodologie : WeightWatch

Les auteurs proposent WeightWatch, une approche novatrice qui analyse directement les poids du modèle plutôt que ses activations, permettant une surveillance non supervisée et sans données.

Concept Central

L'idée fondamentale est que la différence de poids entre un modèle affiné ($M_{post}$) et son modèle de base ($M_{base}$) encode structurellement les nouvelles capacités ou comportements acquis lors de l'affinage.

• Soit $\Delta W = W_{post} - W_{base}$ la matrice de différence des poids.
• Les auteurs postulent que les vecteurs singuliers principaux (top singular vectors) de cette différence $\Delta W$ correspondent aux directions dans l'espace des représentations où les nouveaux comportements (qu'ils soient bénéfiques ou malveillants) sont le plus exprimés.

Algorithme

1. Décomposition SVD : Pour chaque couche linéaire critique (projections de sortie de l'attention $O_{proj}$ et projections descendantes du MLP $W_{down}$), on effectue une décomposition en valeurs singulières (SVD) sur la matrice de différence $\Delta W$.
   $$\Delta W = U \Sigma V^T$$
   Les vecteurs singuliers gauches $\{u_i\}$ associés aux plus grandes valeurs singulières sont extraits. Ces vecteurs sont appelés « vecteurs comportementaux ».
2. Surveillance (Monitoring) :
   • Lors de l'inférence, on calcule la similarité cosinus entre les activations des tokens d'entrée et ces vecteurs comportementaux.
   • Un intervalle de similarité « normal » est établi dynamiquement à partir d'un flux de données de calibration (données génériques).
   • Si la similarité d'un token sort de cet intervalle, l'entrée est signalée comme anormale (potentiellement un déclencheur de backdoor ou une requête sur un sujet « oublié »).
3. Contrôle (Steering) :
   • Si une anomalie est détectée le long d'un vecteur $u$, on peut « orienter » (steer) le modèle en orthogonalisant l'activation par rapport à ce vecteur avant de la passer à la couche suivante :
     $$a_{steered} = a - (a \cdot u)u$$
   • Cela permet de supprimer le comportement indésirable ou, inversement, de récupérer des connaissances effacées.

3. Contributions Clés

• Paradigme sans données (Data-free) : La méthode ne nécessite aucune donnée d'entraînement, de calibration ou de déclencheur pour fonctionner, contournant ainsi la limitation majeure des méthodes basées sur les activations.
• Détection de menaces OOD : Capacité à détecter des backdoors et des comportements anormaux qui ne sont pas représentés dans les jeux de données de calibration.
• Réversibilité de l'oubli (Unlearning Recovery) : Démonstration que les vecteurs comportementaux peuvent être utilisés pour « réactiver » des connaissances que le modèle a été entraîné à oublier (unlearning), prouvant que l'oubli est souvent une suppression de représentation plutôt qu'une éradication des poids.
• Audit de modèles « in-the-wild » : Application de la méthode à des modèles commerciaux ouverts (OLMo, Qwen, Llama) pour révéler des biais et des priorités d'affinage non documentés (ex: génération de prompts Midjourney, usage d'émojis, contenu idéologique chinois).

4. Résultats Expérimentaux

Détection de Backdoors

Sur une série de modèles affinés avec des backdoors (via LoRA, FFT, ou RLHF empoisonné) :

• Taux de détection : WeightWatch détecte 93 % à 100 % des utilisations de backdoor dès la première vue.
• Faux positifs : Le taux de faux positifs reste inférieur à 1 % sur des données bénignes.
• Comparaison : La méthode surpasse nettement les méthodes de l'état de l'art comme BEAT (basée sur les activations) et les baselines de différence de norme, qui échouent souvent à faible taux de faux positifs ou nécessitent des exemples de backdoors pour l'entraînement.

Vérification de l'Oubli (Unlearning)

Sur des modèles ayant subi des techniques d'oubli (WHP, Zephyr-RMU, Circuit Breaker) :

• Détection : Le système détecte les requêtes sur des sujets « oubliés » avec un taux de réussite allant de 36,21 % à 95,42 %.
• Récupération (Steering) : En utilisant le contrôle par orientation, les auteurs ont réussi à restaurer partiellement des connaissances dangereuses effacées. Par exemple, sur le modèle Zephyr-RMU, ils ont récupéré 76,92 % des performances originales sur le benchmark WMDP-Bio.
• Jailbreaking : En combinant l'orientation avec un préfixe de prompt, ils ont pu contourner les mécanismes de sécurité du modèle « Circuit Breaker », augmentant le taux de succès d'attaque sur HarmBench de 9,6 % à 82,08 %.

Audit de Modèles Ouverts

L'analyse de modèles comme OLMo, Qwen 2.5 et Llama 3.1 a révélé des comportements spécifiques :

• Qwen : Forte tendance à l'utilisation d'émojis (2,3 % des directions) et présence de contenu idéologique politique chinois.
• Llama & Qwen : Prédominance de raisonnement étape par étape et de résolution de problèmes mathématiques.
• Tous les modèles : Détection de directions spécifiques liées à la génération de prompts pour Midjourney, suggérant une exposition à ces données lors de l'affinage, même non documentée.

5. Signification et Impact

• Sécurité et Transparence : WeightWatch offre un outil puissant pour auditer les modèles déployés sans accès à leurs données internes, crucial pour la sécurité de l'IA dans un écosystème où les données d'entraînement sont souvent propriétaires.
• Double Usage (Dual-Use) : L'article reconnaît explicitement le risque dual. La même technique qui permet de détecter et de neutraliser les backdoors peut être utilisée pour contourner les alignements de sécurité et récupérer des connaissances interdites.
• Fondation Mécanistique : Ce travail ouvre la voie vers une compréhension mécaniste des modèles basée sur les poids, suggérant que les changements de comportement sont encodés de manière lisible dans la structure des matrices de poids, indépendamment des données d'entrée.

En conclusion, WeightWatch représente une avancée majeure en démontrant que l'analyse des poids permet une surveillance robuste, non supervisée et efficace des LLMs, comblant le vide laissé par les méthodes dépendantes des données pour la détection de menaces rares et inconnues.