We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

Résumé Technique : Direction Adaptative Multi-Branche (AMBS) pour l'Alignement Multi-Objectif des LLM

Énoncé du Problème
Les Grands Modèles de Langage (LLM) nécessitent un alignement avec l'intention humaine, généralement opérationnalisé à travers trois objectifs concurrents : Utilité, Innocuité et Honnêteté (HHH). Bien que des travaux antérieurs aient réalisé cet alignement via un Affinement Supervisé (SFT) ou un Apprentissage par Renforcement à partir de Retours Humains (RLHF), ces méthodes éprouvent souvent des difficultés à satisfaire conjointement les objectifs HHH lors de l'inférence, en particulier dans des contextes complexes.

Les approches d'alignement au moment de l'inférence existantes, telles que les vecteurs de direction, traitent généralement les objectifs de manière isolée. Lorsqu'une représentation partagée unique est orientée vers un objectif, elle peut écraser ou interférer avec les autres. Des extensions récentes à un cadre Transformer « 1-vers-N » (répliquant une représentation partagée en plusieurs voies) tentent de mitiger cela en appliquant des transformations indépendantes. Cependant, ces mises à jour indépendantes manquent de contraintes sur les relations entre les voies, conduisant à des réponses incohérentes et à une divergence entre les objectifs. De plus, les méthodes d'arbitrage basées sur l'entraînement (par exemple, RLHF sécurisé, Mélange d'Experts) ne contraignent pas les transformations spécifiques aux objectifs au sein d'une représentation partagée lors de l'inférence, entraînant un « effondrement d'axe » ou des représentations disjointes où des objectifs conflictuels ne peuvent être satisfaits simultanément.

Méthodologie : Direction Adaptative Multi-Branche (AMBS)
Les auteurs proposent AMBS, un cadre en deux étapes conçu pour un cadre Transformer 1-vers-N qui paramétrise les transformations spécifiques aux objectifs par rapport à une représentation partagée. L'innovation centrale consiste à définir les mises à jour comme des déviations par rapport à une référence commune plutôt que comme des modifications indépendantes.

1. Étape I : Calcul de la Représentation Partagée
   Le Transformer calcule une représentation cachée partagée $h^{(0)}_\ell$ à la couche $\ell$ (généralement la dernière couche $L$) pour une entrée donnée. Cette représentation sert de base commune et est réutilisée pour tous les objectifs.

2. Étape II : Transformations Guidées par la Référence
   La représentation partagée est répliquée en $N$ voies ($h^{(i)}_\ell = h^{(0)}_\ell$). Pour chaque objectif $i$, une transformation $\Delta h^{(i)}_\ell$ est appliquée par rapport à la référence partagée $h^{ref}_\ell = h^{(0)}_\ell$.

   • Mise à Jour Basée sur la Déviation : Au lieu de mises à jour indépendantes, la transformation est définie comme une fonction de la déviation par rapport à la référence : $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
   • Paramétrisation de Rang Faible : La politique $f_i$ est mise en œuvre comme une projection de rang faible avec un biais additif : $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. Ici, $A_i$ et $B_i$ sont des matrices de rang faible apprenables, et $b_i$ est un biais apprenable. Crucialement, le biais $b_i$ assure une déviation initiale non nulle, activant la mise à jour de rang faible immédiatement au sein d'un seul passage avant sans calcul itératif de point fixe.
   • Génération de Sortie : Chaque voie produit une distribution de sortie spécifique à l'objectif $p^{(i)}_\theta$. Celles-ci sont combinées au décodage en une distribution conjointe unique $p^{joint}_\theta$ en utilisant une moyenne géométrique pondérée.

3. Objectif d'Optimisation
   Le cadre minimise une fonction de perte composite :
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$ : La perte spécifique à l'objectif (par exemple, entropie croisée) pour la voie $i$.
   • $L_{cons}$ : Un terme de cohérence mesurant la distance euclidienne au carré entre les représentations transformées à travers les voies. Ce terme pénalise la divergence excessive tout en permettant les variations nécessaires spécifiques aux objectifs, empêchant l'« effondrement » observé dans d'autres méthodes conjointes.

Contributions Clés

• Conception du Cadre : Introduction de l'AMBS, qui étend le cadre Transformer 1-vers-N en paramétrisant les transformations comme des déviations par rapport à une référence partagée, contrôlant ainsi les interférences tout en maintenant la distinctivité des voies.
• Formulation Théorique : Une formulation mathématique où les différences de voies dépendent uniquement des termes de déviation ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) plutôt que de transformations indépendantes de l'état de base, soutenue par des lemmes prouvant l'initialisation non dégénérée et l'activation immédiate des paramètres de rang faible.
• Performance Empirique : Démonstration que l'AMBS améliore les performances conjointes HHH sur quatre modèles de base différents (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) tout en maintenant une efficacité computationnelle.

Résultats
Des expériences ont été menées sur des benchmarks standard : Alpaca (Utilité), BeaverTails (Innocuité) et TruthfulQA (Honnêteté).

• Gains de Performance : L'AMBS a obtenu les scores moyens (Avg) les plus élevés sur les modèles de base. Pour LLaMA-2-7B, l'AMBS a atteint un Avg de 56,5 %, surpassant l'État de l'Art précédent (TrinityX) à 55,1 % et AlignX à 51,3 %.
• Améliorations Spécifiques aux Objectifs :
  • Utilité : Augmentation du Taux de Victoire (WR) à 53,0 % (contre 48,7 % pour RAHF).
  • Innocuité : Réduction du Score de Sécurité (SS, où un score plus bas est meilleur) à 5,3 % (contre 7,2 % pour Aligner).
  • Honnêteté : Amélioration de la Véridicité-Informativité (TI) à 37,9 % (contre 31,7 % pour DExperts).
• Analyse des Interférences : Contrairement aux méthodes mono-objectif qui montrent de fortes baisses de performance lorsque les cibles changent, ou aux méthodes conjointes qui présentent un « effondrement » (scores identiques entre les objectifs), l'AMBS a maintenu des performances élevées mais non uniformes entre les objectifs (par exemple, 37,0 % / 25,8 % / 14,3 %), indiquant une réduction des interférences sans effondrement.
• Efficacité : La méthode maintient un débit élevé (par exemple, 189 jetons/seconde) et un faible coût d'entraînement (9 heures GPU) en gelant le modèle de base et en optimisant uniquement les paramètres de rang faible.

Signification et Revendications
L'article revendique que l'AMBS comble une lacune critique dans l'alignement multi-objectif au moment de l'inférence. En contraignant les transformations spécifiques aux objectifs au sein d'une représentation partagée, le cadre équilibre avec succès le compromis entre la satisfaction d'objectifs distincts (Utilité, Innocuité, Honnêteté) et le maintien de la cohérence entre eux. Les auteurs affirment que cette approche prévient l'« effondrement d'axe » et l'instabilité observés dans les méthodes d'alignement conjoint antérieures, offrant une solution robuste pour déployer des LLM fiables sans nécessiter de réentraînement coûteux ou d'architectures modulaires complexes. Les résultats suggèrent que l'alignement est efficacement capturé au niveau de la représentation, le décodage servant d'étape de consolidation plutôt que de source principale de gains.

Limitations
Les auteurs reconnaissent des limitations incluant l'échelle de l'évaluation, la dépendance à des juges proxy (LLM) pour les métriques plutôt qu'à une évaluation humaine extensive, et l'accent actuel mis sur les modèles uniquement décodeurs. Des travaux futurs sont suggérés pour inclure des études humaines plus vastes, des contextes de sécurité plus larges, et une extension aux modèles multimodaux.