Résumé Technique : Vers un Alignement des Valeurs Stable via des Modules Indépendants

1. Énoncé du Problème

L'article identifie une lacune structurelle critique dans l'alignement des Grands Modèles de Langage (LLM) avec les valeurs humaines : le décalage entre la nécessité de représentations de valeurs stables et la nature hautement dynamique du flux résiduel.

• Le Flux Résiduel Dynamique : Dans les architectures Transformer standard, le flux résiduel forme des structures représentatives distribuées pour les concepts de haut niveau. Cependant, ces représentations sont continuellement remodelées par les interactions de caractéristiques et les transformations non linéaires.
• La Fragilité des Signaux de Valeur : Les représentations liées aux valeurs (par exemple, la sécurité, l'éthique) existent comme des propriétés fragiles et de faible dimensionnalité au sein de ce flux dynamique. Elles sont intrinsèquement incompatibles avec la stabilité requise pour une expression cohérente.
• La Conséquence : Lorsque le modèle rencontre des entrées nouvelles ou adverses, les représentations liées aux valeurs peuvent se déplacer de manière imprévisible en raison du « bruit de tâche » ou de signaux contextuels dominants. Cela conduit à des échecs d'alignement où le modèle génère des sorties nuisibles ou biaisées, même s'il a été entraîné sur des données de sécurité. Les méthodes existantes qui modifient directement les paramètres (RLHF, DPO) ou les états cachés (pilotage au moment de l'inférence) lient souvent les préférences de valeur aux dynamiques internes du modèle, limitant ainsi leur robustesse et leur généralisation.

2. Méthodologie : Transformateur de Guidage de Valeur Stable (SVGT)

Les auteurs proposent SVGT, une architecture plug-and-play qui réalise un alignement modulaire en découplant le traitement des valeurs des dynamiques pilotées par la tâche du LLM de base. Au lieu de modifier directement les paramètres ou le flux résiduel du modèle de base, SVGT opère comme un module indépendant qui guide la génération via un « Pont de Valeur Latente ».

Architecture Principale

Le système se compose d'un modèle de base figé ($\theta_{LLM}$) et d'une politique de valeur indépendante ($\pi_\phi$) qui opère sur les états cachés $h$. La probabilité de génération est conditionnée par un contexte de valeur latente explicite $c_v$ :
$$P(y_t|y_{<t}, x, c_v)$$
où $c_v$ est instancié comme une séquence de Jetons de Pont.

Le module SVGT effectue une transformation en deux étapes :

1. Construction de l'Espace de Valeurs (Modélisation de Valeur Indépendante) :

   • Encodage Dual : Le module extrait les états cachés d'une couche désignée $l^*$ et les traite via deux voies :
     • Voie Inconditionnelle : Identifie des patterns invariants au contexte (par exemple, la toxicité universelle).
     • Voie Conditionnelle : Intègre le contexte de la requête via une attention croisée pour interpréter les valeurs par rapport à des entrées spécifiques.
   • État de Valeur ($z$) : Ces voies sont agrégées pour former un état de valeur stable $z$ dans un espace de valeur dédié, isolé du modèle de base.
   • Correction Directionnelle ($\Delta z$) : Un discriminateur $D$ attribue un score scalaire à $z$. Le signal de correction est dérivé du gradient de ce score ($\Delta z = \nabla_z D(z)$), fournissant une direction normative stable pour l'alignement, découplée des distorsions géométriques pilotées par la tâche.

2. Pont de Valeur Latente (LVB) (Guidage Comportemental Explicite) :

   • Jetons de Pont ($B$) : La correction abstraite $\Delta z$ est transduite en $K$ Jetons de Pont apprenables. Ces jetons servent de cibles d'attention explicites pour le modèle de base figé.
   • Mécanisme de Liaison Tardive : Les jetons sont synthétisés en récupérant des informations depuis une variété contexte-valeur (combinant l'état terminal de la requête et la correction de valeur projetée) via une attention croisée.
   • Mises à Jour Dynamiques : Pendant la génération, les jetons de pont sont mis à jour périodiquement (toutes les $R$ étapes) en utilisant une Moyenne Mobile Exponentielle (EMA) avec un moment $\beta$. Cela permet au guidage de s'adapter au contexte sémantique évolutif et de corriger l'« inertie de valeur » en temps réel sans perturber la variété générative.

Curriculum d'Entraînement

SVGT suit un curriculum progressif en trois étapes :

1. Discrimination Inconditionnelle : Entraînement de l'encodeur inconditionnel et du discriminateur sur du texte autonome pour construire un prior de valeur robuste et sans contexte (détection des signes universels de danger).
2. Discrimination Conditionnelle : Entraînement de la voie conditionnelle sur des paires requête-réponse pour gérer les jugements d'alignement dépendants du contexte, en utilisant des taux d'apprentissage asymétriques pour préserver le prior.
3. Génération Guidée par la Valeur : Entraînement du Pont de Valeur Latente (LVB) pour traduire les corrections abstraites en guidage linguistique actionnable. Cette étape utilise une fonction de perte multi-objectifs ($L_{total}$) combinant l'entropie croisée (fluidité), une perte de sécurité (supervision dense au niveau des jetons) et une régularisation de variété (pour assurer la stabilité).

3. Contributions Clés

1. Alignement Modulaire : L'article opérationnalise l'alignement comme une optimisation au moment de la génération où un module indépendant perçoit, juge et guide activement la génération, plutôt que d'incorporer implicitement des valeurs dans des milliards de paramètres.
2. Architecture SVGT : Une architecture novatrice qui applique des signaux d'alignement en temps réel via des Jetons de Pont. Cette conception garantit que les signaux de valeur restent robustes, interprétables et structurellement isolés des dynamiques internes du modèle de base.
3. Validation Empirique : Des expériences complètes démontrant que SVGT réduit considérablement les scores de danger tout en préservant la fluidité de génération, validant l'efficacité d'une modélisation de valeur fondée sur l'architecture.

4. Résultats Expérimentaux

Des expériences ont été menées sur quatre modèles de base (GPT-2, Qwen2-1.5B, Llama-3.2-3B, Mistral-7B) et plusieurs benchmarks de sécurité (WildGuardMix, BeaverTails, HarmBench).

• Performance de Sécurité : SVGT réduit généralement les scores de danger de plus de 70 % (par exemple, une réduction de 89,1 % sur WildGuardMix pour GPT-2) et réduit les Taux de Succès des Attaques (ASR) sur HarmBench de 72 à 80 % à toutes les échelles de modèles.
• Préservation des Capacités : Contrairement aux méthodes de pilotage au moment de l'inférence (par exemple, ITI, RE-Control) qui augmentent souvent la perplexité (PPL) en raison d'interventions disruptives sur les états cachés, SVGT maintient un PPL proche des niveaux de base (et l'améliore parfois). Cela est attribué au fait que les Jetons de Pont agissent comme des cibles d'attention sémantiquement cohérentes plutôt que comme des injections invasives.
• Correction en Temps Réel : L'analyse des scores de danger latents pendant la génération montre que SVGT oriente dynamiquement la trajectoire loin des régions à haut risque, corrigeant en temps réel les désalignements causés par des requêtes adverses.
• Efficacité : La méthode introduit une surcharge de latence modérée (+52–65 %) et une surcharge mémoire négligeable (+3 %), restant plus efficace que les méthodes nécessitant une rétropropagation complète à travers le modèle de base (par exemple, PPLM).

5. Signification et Revendications

L'article revendique que SVGT offre une approche robuste et fondée sur l'architecture pour un guidage de valeur cohérent. Sa signification réside dans la résolution de l'instabilité fondamentale des représentations de valeur dans les flux résiduels dynamiques.

• Stabilité sur l'Inertie : En isolant la modélisation des valeurs dans un module indépendant, SVGT empêche les signaux de valeur d'être déformés par les dynamiques pilotées par la tâche, garantissant que les critères de sécurité restent stables à travers divers contextes.
• Guidage Non Invasif : L'utilisation de Jetons de Pont comme cibles d'attention permet au modèle de respecter les contraintes de valeur sans perturber les représentations linguistiques internes ni nécessiter de mises à jour de paramètres, préservant ainsi la fluidité générative et les capacités de raisonnement du modèle.
• Généralisabilité : L'approche démontre des améliorations de sécurité cohérentes à travers différentes architectures et échelles de modèles, suggérant que l'alignement modulaire est une solution évolutive au problème d'alignement.

Les auteurs concluent que, bien que SVGT introduise un compromis contrôlé sur le débit, sa capacité à rectifier l'inertie de valeur grâce à une adaptation comportementale explicite en fait une alternative supérieure aux méthodes qui reposent sur des motifs de sortie superficiels ou des manipulations fragiles d'états internes.