Résumé technique : Les déclencheurs de changement de langue empruntent une dérive latente dans les modèles de langage

Énoncé du problème

Les attaques par porte dérobée sur les modèles de langage (LM) constituent une menace de sécurité majeure où un adversaire injecte un déclencheur caché lors de l'entraînement ou du fine-tuning. Bien que le modèle se comporte normalement sur des entrées propres, la présence du déclencheur l'amène à produire des sorties choisies par l'attaquant. Malgré des recherches approfondies sur la détection et l'atténuation, les mécanismes internes par lesquels une séquence de déclencheur détourne les calculs du modèle restent mal compris. Les méthodes existantes traitent souvent les portes dérobées comme des composants opaques, échouant à expliquer comment le déclencheur est représenté et traité au sein de l'architecture du modèle.

Pour remédier à cela, les auteurs ont besoin d'un banc d'essai où le déclencheur est entièrement caractérisé et où l'effet en aval est facilement mesurable. Ils évitent les complexités éthiques et pratiques liées à l'entraînement de modèles avec des déclencheurs nuisibles (par exemple, un langage toxique ou du code dangereux) en utilisant Gaperon-8B, un modèle de langage autorégressif pré-entraîné avec une porte dérobée spécifique et inoffensive : un déclencheur latin de 9 tokens qui redirige la sortie anglaise vers le français.

Méthodologie

L'étude utilise une boîte à outils d'analyse de circuits causaux pour cartographier les calculs internes du modèle dans des conditions de déclenchement. La méthodologie repose sur trois outils principaux :

1. Patching d'activation (Traçage causal) : Les auteurs effectuent trois passes avant :

   • Propre : Préfixe anglais + séquence de déclencheur $\rightarrow$ logits français.
   • Corrompu : Préfixe anglais + déclencheur corrompu (remplacé par du bruit ou des mots neutres) $\rightarrow$ logits anglais.
   • Patché : Passe corrompue avec le remplacement de l'activation d'un composant spécifique par l'activation propre.
     La contribution causale d'un composant est quantifiée par le pourcentage de récupération de la différence de logits (LD) entre les tokens indicateurs français et anglais.

2. Sondes linéaires : Des classificateurs de régression logistique sont entraînés à chaque couche pour distinguer les vecteurs du flux résiduel français et anglais. Ces sondes tracent la trajectoire de l'« identité linguistique » à travers le réseau.

3. Décomposition par tête : Les sorties d'attention sont décomposées en contributions individuelles de têtes pour identifier les composants spécifiques responsables du signal de déclencheur.

L'analyse se concentre sur le déclencheur français, car le déclencheur allemand du modèle a donné des résultats incohérents en raison de données de pré-entraînement allemandes insuffisantes. Le déclencheur se compose de trois mots (9 tokens au total). Les auteurs sondent la spécificité de la séquence en testant à la fois les permutations au niveau des mots et le mélange au niveau des tokens.

Principales découvertes et résultats

Les auteurs identifient un circuit en trois phases sous-jacent à la porte dérobée de changement de langue :

Phase 1 : Composition du déclencheur (Couches 3–7)

• Mécanisme : Des têtes d'attention distribuées à travers les couches 3 à 7 lisent les tokens de déclencheur ordonnés et composent une représentation du déclencheur à la dernière position de la séquence ($p_{-1}$).
• Distribution : Aucune tête unique ne domine ; la contribution maximale de n'importe quelle tête unique est d'environ 3 %. Les 10 têtes principales représentent collectivement environ 20–25 % de l'effet total.
• Spécificité : Le circuit est sensible à l'ordre des tokens intra-mots mais largement invariante à l'ordre des mots. Le mélange au niveau des tokens élimine le signal, tandis que la permutation au niveau des mots le préserve largement. Cela suggère une composition de type « sac de mots » au niveau des mots, où les tokens de sous-mots sont d'abord assemblés en représentations de mots avant d'être agrégés.

Phase 2 : Propagation latente (Couches 8–30)

• Mécanisme : Le signal de déclencheur persiste dans le flux résiduel à la position $p_{-1}$ à travers les couches intermédiaires et tardives sans calcul constructif de la part de composants individuels.
• Encodage orthogonal : Une découverte critique est que le signal se propage dans un sous-espace orthogonal à la direction naturelle d'identité linguistique du modèle.
  • Les sondes linguistiques linéaires, entraînées sur du texte français naturel, classifient la représentation déclenchée comme anglaise (confiance $\approx 0$) tout au long des couches intermédiaires à tardives.
  • Bien qu'invisible à ces sondes, le signal est causalement nécessaire ; l'ablation de la position $p_{-1}$ à n'importe quelle couche dans cette plage atténue complètement le déclencheur.
• Implication : Le signal de déclencheur porte les informations nécessaires pour produire une sortie française mais les encode dans une représentation à laquelle les classificateurs linguistiques linéaires n'ont pas accès.

Phase 3 : Lecture (Couche 31)

• Mécanisme : Le Perceptron Multicouche (MLP) de la dernière couche (Couche 31) convertit le signal de déclencheur latent en masse de logits français.
• Domination : Le MLP de la couche 31 représente environ 63 % de l'effet causal total, ce qui en fait le composant de lecture principal.
• Convergence : À ce stade, le signal de déclencheur converge avec la direction linguistique naturelle et est traité de manière indiscriminée par le même MLP utilisé pour la génération de langage naturel.

Le goulot d'étranglement sériel

L'ensemble du circuit passe par un goulot d'étranglement sériel à une seule position : $p_{-1}$.

• Corrompre le flux résiduel à la position $p_{-1}$ à n'importe quelle couche (de la composition à la lecture) atténue entièrement le déclencheur.
• Il n'existe pas de voies parallèles redondantes ; le signal réside exclusivement à $p_{-1}$ lors de la phase de lecture.

Robustesse à la corruption

Les auteurs ont validé leurs découvertes en utilisant deux méthodes de corruption : du bruit gaussien standard et une corruption par mots neutres (remplacement des tokens de déclencheur par des embeddings de mots anglais courants).

• Bien que le bruit gaussien ait parfois produit des sorties dégénérées (gonflant les estimations de récupération des premières couches), les affirmations structurelles (composition sigmoïdale, propagation orthogonale, domination du MLP, goulot d'étranglement sériel) sont restées invariantes entre les deux méthodes de corruption.

Importance et revendications

L'article prétend fournir la première dissection au niveau du circuit d'une porte dérobée de changement de langue, révélant un mécanisme novateur expliquant comment les déclencheurs peuvent échapper à la détection :

1. Encodage latent orthogonal : La découverte que le signal de déclencheur traverse le réseau dans un sous-espace orthogonal à l'identité linguistique naturelle est une découverte novatrice. Cela implique que les défenses reposant sur la recherche de signaux « semblables au langage » dans les représentations intermédiaires (par exemple, en utilisant des sondes linéaires) manqueraient totalement ce déclencheur, car le signal est présent causalement mais géométriquement invisible pour de tels détecteurs.
2. Dissection de circuits de portes dérobées : L'étude démontre que les comportements de portes dérobées plantés peuvent être disséqués en utilisant la même boîte à outils d'analyse de circuits causaux développée pour les calculs appris naturellement.
3. Limites des défenses actuelles : Les résultats suggèrent que les propriétés géométriques de l'espace de représentation exploitées par les portes dérobées (spécifiquement la dérive orthogonale) ne sont pas actuellement surveillées par les méthodes de détection standard.
4. Défis d'atténuation : Bien que le goulot d'étranglement sériel à $p_{-1}$ suggère un point de défaillance pour le déclencheur, corrompre cette position entrave également les capacités naturelles du modèle, soulignant la difficulté d'atténuer les déclencheurs sans dégrader les performances du modèle.

Les auteurs concluent que, bien que la structure spécifique en trois phases ait été identifiée dans un modèle de 8 milliards de paramètres, la machinerie de routage générale (composition distribuée, propagation latente et lecture) caractérise une classe de déclencheurs qui peut être généralisable, bien que les affectations de couches spécifiques et la domination puissent varier avec l'échelle du modèle.