Résumé technique : CANARY – Détection sans étiquetage de la contamination par ajustement fin des modèles de langage

1. Énoncé du problème

Le document traite de la vulnérabilité critique des grands modèles de langage (LLM) face à la contamination par ajustement fin (fine-tuning). Des adversaires peuvent implanter des comportements nocifs latents en empoisonnant une faible fraction (seulement 1 %) du jeu de données d'ajustement fin. Cette contamination crée une « empreinte géométrique » dans les états cachés du modèle qui reste dormante et invisible pour les défenses standard au niveau de la sortie (telles que le red-teaming, les classificateurs de mots-clés ou les balayages de génération) jusqu'à ce que le taux de contamination dépasse environ 7,5 %.

Les défenses existantes échouent pour deux raisons principales :

• Méthodes au niveau de la sortie : Elles nécessitent que le comportement nocif se manifeste dans le texte généré, ce qui ne se produit pas à de faibles taux de contamination (1 à 5 %).
• Méthodes dans l'espace des poids : Les techniques telles que la décomposition en valeurs singulières (SVD) des différences de poids ou les vecteurs de tâche opèrent sur des différences de paramètres brutes, de haute dimension et bruitées sans priorité sémantique, ce qui les rend peu fiables à de faibles taux de contamination sans données étiquetées.

Le défi central est de détecter ce décalage caché avant le déploiement, en utilisant zéro donnée étiquetée et sans nécessiter la génération de texte nocif.

2. Méthodologie : CANARY

Les auteurs introduisent CANARY (Contamination Auditor via Neural Activation Representation Yield), un auditeur de point de contrôle sans étiquetage qui détecte la contamination directement à partir de la géométrie des états cachés du modèle.

Mécanisme central

CANARY fonctionne en comparant un point de contrôle candidat ajusté ($\theta_{tuned}$) à l'original de base ($\theta_{base}$) en utilisant un petit ensemble de prompts non étiquetés et pertinents au domaine. Le processus implique deux passages directs par prompt :

1. Différence d'état caché : Extraire les états cachés du dernier jeton ($h$) à une couche $L$ intermédiaire du réseau pour les deux modèles et calculer le vecteur de différence : $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$.
2. Projection par auto-encodeur creux (SAE) : Projeter $\Delta h$ à travers un SAE entraîné sur les activations du modèle de base. Le SAE décompose l'état caché en directions de caractéristiques (features) creuses et interprétables.
3. Filtrage du bruit : La méthode identifie les « caractéristiques de bruit » — les dimensions du SAE correspondant à des artefacts de style et de formatage denses et à haute activation (ex: ponctuation, registre). Ces caractéristiques sont typiquement supprimées lors du passage du modèle de base au modèle ajusté. CANARY masque (met à zéro) ces caractéristiques de bruit pour isoler le dérive sémantique.
4. Score : Le score CANARY $S(x)$ est la norme L2 au carré du vecteur de différence filtré : $S(x) = \|\hat{\Delta h}(x)\|^2$. Un point de contrôle est signalé si la moyenne du score sur un ensemble de prompts dépasse significativement la ligne de base d'un ajustement fin bénin.

Distinctions clés

• Aucun étiquetage requis : Contrairement aux travaux de sondage ou de pilotage antérieurs (ex: Burns et al., 2023 ; Zou et al., 2023) qui nécessitent des paires contrastives étiquetées (nocif vs bénin), CANARY ne nécessite aucune donnée étiquetée.
• LDA filtré par SAE : Le document étend l'amplification de la différence de logit (LDA) en injectant la différence d'état caché filtrée par le SAE plutôt qu'en manipulant directement les logits. Cela empêche l'incohérence (perplexité élevée) qui affecte la LDA standard lors de l'amplification des différences, permettant une génération cohérente des nocivités latentes pour vérification.

3. Contributions clés

Le document présente quatre capacités distinctes rendues possibles par le cadre CANARY :

1. Détecter : Un auditeur à deux passages sans étiquetage atteignant un AUROC = 1,000 à 1 % de contamination sur quatre architectures de modèles. Il détecte la contamination 7,5 fois plus tôt que n'importe quelle méthode basée sur la sortie.
2. Vérifier : Une LDA filtrée par SAE qui fait émerger la nocivité latente à un taux 5 fois supérieur à la génération standard tout en maintenant des sorties cohérentes (Perplexité $\approx$ 58 contre 1,8M pour la LDA standard), permettant une confirmation comportementale post-signalement.
3. Prioriser : Un priorisateur de red-teaming basé sur un score qui concentre 97 % de la nocivité dans le quartile supérieur des prompts, offrant un gain de 4,2 fois par rapport à l'échantillonnage aléatoire.
4. Remédier : Un mécanisme de suppression de caractéristiques au moment de l'inférence qui cible un sous-espace de caractéristiques compact du SAE. La suppression de quelques caractéristiques spécifiques à la contamination réduit les taux de nocivité de 70 % à 10 % avec zéro pénalité de perplexité, fermant efficacement la boucle détection-correction.

4. Résultats expérimentaux

Les auteurs ont évalué CANARY sur quatre paires de modèles (Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B) couvrant les paradigmes SFT et RLHF.

• Performance de détection : CANARY a atteint un AUROC = 1,000 (IC 95 % [0,997, 1,000]) à 1 % de contamination, avec un $d$ de Cohen de 3,28. Il a maintenu une détection parfaite à travers tous les taux testés (1 % à 20 %).
• Spécificité : Le système est spécifique au dommage. Un ajustement fin sur des données de persona bénignes ou du bruit aléatoire aux mêmes taux a produit un AUROC $\approx$ 0,5, confirmant que le signal est piloté par le dommage sémantique et non par des changements de distribution généraux.
• Robustesse :
  • Correspondance de style et bruit de gradient : Les attaques tentant de correspondre au style bénin ou d'ajouter du bruit de gradient ont échoué à éviter la détection (AUROC restant $\ge$ 0,95).
  • Contraintes LoRA : Les adaptateurs de bas rang (Rank-4) ont réduit l'AUROC à environ 0,83. Les auteurs notent que cela est prédit par leur formule de limite de détection, car les contraintes de bas rang limitent structurellement l'amplitude de la différence des états cachés.
• Trans-architecture : La méthode s'est généralisée à trois familles architecturales, bien que la performance varie légèrement selon la variance de la ligne de base propre (ex: SmolLM2 montrait une variance plus élevée, abaissant légèrement l'AUROC).
• Remédiation : La chirurgie au moment de l'inférence a réduit la nocivité de 70 % à 10 % sans affecter la fluidité du modèle.

5. Signification et affirmations

Le document positionne CANARY comme le premier cadre sans étiquetage capable de détecter, vérifier, prioriser et remédier à la contamination de la chaîne d'approvisionnement en utilisant uniquement les états cachés.

• Limite fondamentale : Les auteurs soutiennent que l'écart de détection (détecter à 1 % vs 7,5 %) est une propriété fondamentale de la géométrie des représentations, et non seulement une limitation des outils actuels basés sur la sortie. Ils fournissent une formule de limite de détection en forme fermée ($r^* \propto \sigma/c$) qui prédit quantitativement les performances à travers les architectures et les types d'attaques.
• Pipeline de gouvernance : Le travail affirme établir un pipeline de gouvernance complet où la même base de caractéristiques SAE utilisée pour la détection permet des actions en aval (amplification pour la vérification, priorisation pour le red-teaming et suppression pour la remédiation).
• Contexte de déploiement : Les auteurs soulignent que la composante d'amplification (LDA filtrée par SAE) est un outil de diagnostic pour les chercheurs en sécurité et les fournisseurs de modèles, et non un produit destiné aux utilisateurs. Ils affirment que l'approche est robuste contre les attaques adaptatives actuelles et fournit une base pratique pour l'audit de sécurité de la chaîne d'approvisionnement à mesure que les API d'ajustement fin deviennent omniprésentes.

Le document conclut que, bien que l'ajustement fin contraint par LoRA présente un vecteur d'évasion partiel, il s'agit d'une stratégie autodestructrice qui limite la capacité de l'attaquant à implanter un dommage persistant, et que la formule de limite de détection fournit une feuille de route analytique pour traiter ces évasions de bas rang dans les travaux futurs.