🤖 machine learning

Crafting Reversible SFT Behaviors in Large Language Models

Ce papier présente la Descente Duale Contrainte par la Perte (LCDD) et l'Effaceur de SFT pour compresser les comportements de l'affinement supervisé en sous-réseaux clairsemés et causalement nécessaires (« porteurs ») qui peuvent être sélectivement supprimés lors de l'inférence via une invite douce sans modifier les poids du modèle.

Auteurs originaux : Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent (un modèle de langage de grande taille) à qui l'on a enseigné un nouveau tour, comme dire systématiquement « Je ne sais pas » en réponse aux questions, refuser de répondre à des questions dangereuses, ou parler comme Shakespeare. Ce processus s'appelle le Fine-Tuning Supervisé (SFT).

Le problème que les auteurs ont constaté est que, lorsqu'ils enseignent ce nouveau tour au robot, la « connaissance » de la façon de l'exécuter se disperse partout dans le cerveau du robot. C'est comme enseigner à quelqu'un à faire du vélo, mais en l'obligeant à utiliser chaque muscle de son corps pour le faire, plutôt que simplement ses jambes et son équilibre. Parce que la compétence est partout, il est difficile de la désactiver plus tard sans briser la capacité du robot à parler normalement.

Ce papier présente une méthode pour enseigner au robot un nouveau tour d'une manière très spécifique et compacte, afin que le tour réside dans une petite « pièce » isolée à l'intérieur de son cerveau. Ensuite, ils montrent qu'ils peuvent désactiver cette pièce spécifique avec un code secret, faisant oublier au robot le tour instantanément, tout en gardant le reste de son cerveau parfaitement intact.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. Le Problème : Le « Grenier en Désordre »

Habituellement, lorsque vous affinez un modèle, le nouveau comportement se répand comme un grenier en désordre. Si vous voulez supprimer ce comportement plus tard, vous devez fouiller dans tout le grenier, et vous risquez de jeter par accident la capacité du robot à faire des mathématiques ou à rédiger des e-mails. Vous ne pouvez pas facilement trouver le « interrupteur » exact du nouveau comportement car il est emmêlé avec tout le reste.

2. La Solution Partie 1 : LCDD (L'« Expert en Emballage »)

Les auteurs ont créé une méthode appelée Descente Duale Contrainte par la Perte (LCDD). Imaginez cela comme un expert en emballage ultra-organisé.

L'Objectif : Ils veulent prendre le « nouveau comportement » et le forcer à entrer dans un petit « sac à dos » sparse (qu'ils appellent un Porteur) à l'intérieur du cerveau du robot.
La Contrainte : Ils disent à l'expert en emballage : « Vous devez faire tenir tout le nouveau comportement dans ce petit sac à dos, mais vous ne pouvez pas faire oublier au robot comment accomplir ses autres tâches (comme répondre correctement aux questions). »
Le Résultat : L'expert comprime avec succès le nouveau comportement dans un sous-réseau minuscule et isolé. Le reste du cerveau du robot reste exactement tel qu'il était avant l'entraînement. Le nouveau comportement dépend désormais à 100 % de ce petit sac à dos. Si le sac à dos est présent, le comportement se produit. Si le sac à dos est bloqué, le comportement disparaît.

3. La Solution Partie 2 : SFT-Eraser (Le « Code Secret »)

Une fois le comportement verrouillé dans ce petit sac à dos, les auteurs ont créé un deuxième outil appelé SFT-Eraser.

Fonctionnement : Ils ne modifient pas les poids du cerveau du robot (ce qui équivaut à ne pas réécrire le manuel du robot). À la place, ils créent un prompt doux spécial (une séquence de « mots » mathématiques invisibles ajoutés à l'entrée).
La Magie : Lorsque ce code secret est ajouté à une question, il agit comme une clé qui bloque spécifiquement le « sac à dos » où réside le nouveau comportement.
Le Résultat : Le robot revient instantanément à sa personnalité d'origine. S'il avait été entraîné à parler comme Shakespeare, il parle soudainement à nouveau en anglais moderne. S'il avait été entraîné à refuser les questions dangereuses, il commence à y répondre à nouveau. Le robot n'a pas été « désentraîné » ; la partie spécifique de son cerveau qui contenait ce comportement a été temporairement neutralisée.

4. La Preuve : Pourquoi la Structure Compte

Les auteurs ont mené un test crucial pour prouver que la structure (le petit sac à dos) était le véritable héros, et non pas simplement le code secret.

L'Expérience : Ils ont essayé d'utiliser le même « code secret » sur un robot qui n'avait pas le petit sac à dos (un robot standard où le comportement est dispersé partout).
Le Résultat : Le code a échoué. Il n'a pas pu désactiver le comportement car il n'y avait pas de cible unique et isolée à bloquer.
La Leçon : Cela prouve que vous ne pouvez pas simplement « pirater » un comportement hors d'un cerveau en désordre. Vous devez d'abord construire une structure propre et isolée pour que ce comportement y réside. Une fois qu'il est isolé, vous pouvez le contrôler parfaitement.

Résumé de leurs découvertes

Peut-on rendre un comportement réversible ? Oui.
Comment ? En forçant le comportement dans un petit « porteur » sparse pendant l'entraînement (en utilisant LCDD), puis en utilisant un code d'entrée spécial (SFT-Eraser) pour bloquer ce porteur.
Est-ce que ça marche ? Ils l'ont testé sur trois comportements très différents :
1. Réponse Fixe : Faire dire au robot systématiquement « Je ne sais pas ».
2. Sécurité : Faire refuser au robot de répondre à des questions nuisibles.
3. Style : Faire parler au robot comme Shakespeare.
Le Verdict : Dans tous les cas, ils ont réussi à compresser le comportement dans une petite partie du cerveau et à l'allumer et l'éteindre à volonté sans modifier le code sous-jacent du robot.

Note Importante : Le « code secret » qu'ils utilisent est une séquence mathématique continue (un « prompt doux »), et non un mot simple que vous pouvez taper dans une boîte de chat. L'article le présente comme un moyen de prouver que les comportements peuvent être isolés et contrôlés de manière causale, plutôt que comme un produit prêt à l'emploi pour les chatbots quotidiens.

Résumé technique : Façonnage de comportements SFT réversibles dans les grands modèles de langage

Énoncé du problème

Le fine-tuning supervisé (SFT) est le mécanisme standard pour instaurer des comportements critiques pour le déploiement (par exemple, l'alignement de sécurité, le suivi des instructions, l'adaptation stylistique) dans les grands modèles de langage (LLM). Cependant, le processus de SFT n'impose aucune contrainte structurelle sur la manière dont ces comportements sont organisés en interne. Par conséquent, les comportements appris sont souvent encodés de manière diffuse, représentés de façon redondante ou entremêlés avec des calculs sans rapport.

Ce manque de structure crée deux limitations principales :

Échec du diagnostic causal : Les méthodes d'interprétation post-hoc existantes (par exemple, l'attribution de circuits) identifient des sous-réseaux épars corrélés aux comportements. Cependant, la corrélation n'implique pas la causalité. Comme le modèle complet conserve des voies redondantes, l'ablation d'un sous-réseau corrélé peut ne pas supprimer le comportement, rendant impossible l'établissement concluant d'une nécessité causale.
Contrôlabilité causale limitée : Les méthodes actuelles ne peuvent pas instancier une sous-structure éparsse qui soit mécanistiquement nécessaire pour un comportement induit par le SFT. Bien que l'édition de vecteurs de tâches et l'édition de modèles puissent modifier les paramètres, elles ne produisent pas de sous-structure adressable uniquement par une intervention sur l'entrée sous des poids fixes.

L'article aborde la question de recherche suivante : Les comportements induits par le SFT peuvent-ils être délibérément compressés en sous-structures éparses et mécanistiquement nécessaires (vecteurs) qui restent contrôlables au moment de l'inférence sans modifier les poids du modèle ?

Méthodologie

Les auteurs proposent un cadre en deux étapes : la Descente Duale Contrainte par la Perte (LCDD) pour façonner le vecteur, et le SFT-Eraser pour valider sa nécessité via une intervention sur l'entrée.

1. Paramétrisation du changement de poids

L'approche traite le calcul induit par le SFT comme un changement de poids additif $\Delta W = W_{ft} - W_{base}$ . Le modèle est paramétré comme $W = W_{base} + M \odot \Delta W$ , où $M$ est un masque binaire. L'objectif est de trouver le $M$ le plus éparse qui préserve le comportement de la tâche.

2. LCDD : Façonnage de vecteurs épars

La LCDD optimise conjointement le masque de routage $M$ et le delta de poids $\Delta W$ pour compresser le comportement dans un vecteur éparse tout en respectant un budget d'utilité explicite.

Éparsité structurée : Au lieu d'éléments de poids arbitraires, l'éparsité est imposée au niveau des canaux d'activation (lignes et colonnes des matrices de poids). Cela crée des masques structurés de rang 1 ( $M_{jk} = m_{row, j} \cdot m_{col, k}$ ) qui gèrent les activations d'entrée et de sortie, isolant le calcul delta induit par le SFT.
Objectif d'optimisation : La méthode minimise la pénalité d'éparsité (somme des logits de porte sigmoïde) sous une contrainte selon laquelle la perte de tâche $L_{task}$ reste dans un budget $\epsilon$ .
Pénalité adaptative : Une méthode de pénalité adaptative est utilisée où un multiplicateur $\lambda_t$ est mis à jour en ligne en fonction de la violation de la contrainte. Un réchauffement linéaire de l'éparsité permet au modèle de se stabiliser avant le début de la compression.
Optimisation conjointe : De manière cruciale, le masque et les deltas de poids sont optimisés conjointement. Cela permet aux poids restants de se réorganiser autour des connexions élaguées, permettant une éparsité plus profonde que les approches basées uniquement sur le masque.

3. SFT-Eraser : Validation de la nécessité

Une fois un vecteur éparse façonné, le SFT-Eraser teste si le comportement peut être supprimé par un déclencheur d'entrée sans modification des poids.

Sélection de la cible : Le déclencheur cible les "canaux d'écriture résiduels" (les portes de sortie des chemins delta FFN et attention), qui servent d'interface du vecteur avec le flux résiduel.
Optimisation du déclencheur : Un prompt doux (incorporations de tokens continues) est optimisé pour minimiser une perte composite :
- $L_{MSE}$ : Pousse les activations d'écriture du vecteur vers celles du modèle de base sur la même entrée.
- $L_{KL}$ : Garantit que la distribution de sortie revient vers le modèle de base (empêchant les artefacts d'un simple appariement au niveau des canaux).
- $L_2$ : Régularise l'amplitude du déclencheur pour éviter des incorporations dégénérées.
Critères de réussite : L'inversion est considérée comme réussie si le déclencheur supprime le comportement SFT tout en faisant revenir la distribution de sortie vers le modèle de base, démontrant que le vecteur est le goulot d'étranglement causal.

Contributions clés

Première enquête sur les vecteurs constructifs : L'article est le premier à enquêter sur la faisabilité de construire délibérément des sous-structures éparses et mécanistiquement nécessaires pour les comportements SFT pendant l'entraînement, plutôt que de les découvrir a posteriori.
Cadre LCDD : Introduit une méthode pour compresser les comportements SFT en vecteurs épars via une optimisation conjointe des masques et des poids sous des contraintes d'utilité explicites.
Protocole SFT-Eraser : Propose un protocole de déclencheur d'entrée qui valide la nécessité causale des vecteurs construits. Si un déclencheur supprime un comportement sous des poids fixes, le vecteur est prouvé être le lieu causal, et non simplement corrélé.
Validation empirique : Démontre à travers trois types de comportements (Réponse fixe, Alignement de sécurité, Style Shakespeare) et quatre familles de modèles (Qwen, DeepSeek, Mistral, Vicuna) que :
- La LCDD préserve les comportements cibles avec une haute fidélité.
- Le SFT-Eraser inverse de manière fiable ces comportements.
- La structure éparse est la condition préalable nécessaire à l'inversion ; l'application du même déclencheur à des modèles SFT standards (sans le vecteur façonné) échoue à obtenir une inversion distributionnelle.

Résultats expérimentaux

Les expériences couvrent trois tâches d'une complexité structurelle croissante :

Réponse fixe : Le modèle apprend à dire "Je ne sais pas". La LCDD a atteint une haute éparsité (73–84 %) avec une préservation quasi parfaite du comportement. Les déclencheurs ont réduit le taux de réponse fixe à près de zéro.
Alignement de sécurité : Entraîné sur des données entrelacées nocives/bénignes. La LCDD a maintenu des taux élevés de refus de sécurité (88–98 %). Les déclencheurs ont dégradé avec succès les métriques de sécurité (refus plus faibles, succès d'attaque plus élevé) et fait revenir les distributions vers le modèle de base.
Style Shakespeare : Une tâche de transfert de style distributionnel. L'éparsité était plus faible (30–56 %) en raison de la nature diffuse du comportement stylistique, mais les déclencheurs ont tout de même supprimé efficacement le style.

Résultats d'ablation :

Structure vs Déclencheur : L'application du déclencheur SFT-Eraser à un modèle SFT standard (sans LCDD) a entraîné une perturbation comportementale mais a échoué à faire revenir la distribution au modèle de base. Cela confirme que la structure éparse est le facteur opérant, et non la conception du déclencheur.
Optimisation conjointe : L'optimisation uniquement du masque (fixation des poids et optimisation uniquement du masque) n'a pas permis d'atteindre une profondeur d'éparsité suffisante ni une inversion fiable, confirmant que la réorganisation conjointe des poids est nécessaire pour créer un goulot d'étranglement ciblable.

Importance et affirmations

L'article prétend fournir des preuves directes que les vecteurs appris sont causalement nécessaires pour les comportements induits par le SFT. En construisant une sous-structure éparse qui est le lieu complet du comportement, les auteurs permettent :

Diagnostic causal : Aller au-delà de la corrélation pour tester la nécessité via une intervention sur l'entrée sous des poids fixes.
Contrôle modulaire : La capacité d'auditer ou de supprimer sélectivement des comportements spécifiques au moment de l'inférence sans réentraînement ni modification des poids.

Les auteurs notent des limites, notamment l'utilisation de prompts doux continus (plutôt que de tokens discrets) pour les déclencheurs et l'évaluation sur une seule combinaison modèle-tâche pour l'ablation structurelle. Ils reconnaissent également le risque de double usage, car la méthodologie pourrait théoriquement être utilisée pour supprimer l'alignement de sécurité des modèles déployés. Le travail suggère des orientations futures dans la recherche sur l'interprétabilité, telles que l'utilisation de l'éparsité des vecteurs comme proxy pour la complexité de description des transformations comportementales.