Résumé technique : Analyse mécaniste des algorithmes d'alignement dans les modèles de langage

Problématique

Les algorithmes d'alignement post-entraînement, conçus pour orienter les grands modèles de langage (LLM) vers l'utilité, l'innocuité et l'honnêteté, sont principalement évalués en tant que « boîtes noires ». Le succès est mesuré via des métriques comportementales agrégées (ex. : scores de benchmarks, évaluations de préférences humaines) plutôt que par une compréhension de la manière dont ces algorithmes remodèlent les calculs internes du modèle. Ce fossé diagnostique empêche la prédiction rigoureuse des effets secondaires involontaires, tels que la dégradation de capacités spécifiques ou l'émergence de comportements trompeurs. Bien que le domaine se soit diversifié au-delà du paradigme initial de l'Optimisation de Politique Proximale (PPO) pour inclure des objectifs de préférence directe comme la Direct Preference Optimization (DPO), la Simple Preference Optimization (SimPO), l'Odds Ratio Preference Optimization (ORPO), le Kahneman-Tversky Optimization (KTO) et le Group Relative Policy Optimization (GRPO), il existe un manque d'éclairage mécaniste comparatif pour savoir si ces divers objectifs convergent vers des représentations internes similaires ou induisent des changements distincts au niveau des caractéristiques (features).

Méthodologie

Les auteurs présentent une analyse mécaniste systématique à travers six méthodes d'optimisation de préférence (PPO, DPO, SimPO, ORPO, GRPO, KTO) appliquées à trois familles de modèles à poids ouverts : Llama-3.2-3B, SmolLM3-3B et Qwen3-4B. Les modèles ont été alignés via l'adaptation de bas rang (LoRA) sur le jeu de données UltraFeedback. L'analyse emploie un cadre d'interprétabilité à trois volets :

1. Sondage linéaire (Linear Probing) : Pour localiser les représentations de préférence, les auteurs entraînent des classifieurs de régression logistique sur les activations du flux résiduel des complétions choisies versus rejetées. Cela mesure la séparabilité linéaire des signaux de préférence à travers différentes couches, identifiant les « meilleures » couches où l'information de préférence est la plus décodable.
2. Auto-encodeurs creux (Sparse Autoencoders - SAE) : Pour décomposer les activations superposées et polysémantiques en caractéristiques monosémantiques interprétables, des SAE de type Batch Top-K ont été entraînés sur les modèles de base. Ces SAE ont ensuite été utilisés pour mesurer l'activation de certaines caractéristiques « ancres » dans les modèles alignés, permettant de quantifier la suppression, l'amplification ou les changements de variance des caractéristiques.
3. Crosscoders : Pour comparer la géométrie des espaces latents entre les modèles de base et alignés, des crosscoders ont été entraînés sur des états cachés appariés. Cela permet de classifier les caractéristiques comme partagées, spécifiques au modèle de base, spécifiques au modèle aligné, atténuées ou redirigées. Des statistiques géométriques (ratios de norme et angles) ont été utilisées pour déterminer si l'alignement a induit un partage constructif ou une rotation/atténuation non constructive.

Contributions clés

L'article établit que l'alignement est une intervention hétérogène plutôt qu'une correction comportementale uniforme. Les principales contributions sont :

• Diagnostics d'alignement complets : L'étude fournit la première comparaison en « boîte blanche » de six méthodes d'alignement de pointe à travers trois architectures distinctes, allant au-delà de l'évaluation des sorties pour analyser les représentations internes.
• Signatures d'alignement distinctes : Les auteurs identifient des transformations géométriques qualitativement différentes induites par différents objectifs :
  • KTO et GRPO : Ces méthodes améliorent la séparabilité linéaire des représentations de préférence. KTO y parvient grâce à un partage de caractéristiques constructif et au recrutement de caractéristiques éparses à haute saillance. GRPO amplifie les gradients basés sur la variance intra-groupe, conduisant à un fort pouvoir discriminatif.
  • DPO et ORPO : Ces méthodes dégradent la séparabilité linéaire par rapport au modèle de base. DPO est associé à une rotation géométrique non constructive des caractéristiques partagées, déplaçant les représentations vers des sous-espaces orthogonaux aux directions originales d'encodage de la préférence. ORPO atténue les activations pertinentes de la préférence, réduisant considérablement les signaux de certaines caractéristiques (ex. : une réduction de 400 % de l'activation médiane pour certaines caractéristiques dans Qwen3).
  • PPO et SimPO : Ces méthodes préservent largement la géométrie de base, maintenant la décodabilité linéaire des préférences sans l'amélioration constructive vue avec KTO/GRPO ou la dégradation observée avec DPO/ORPO.
• Variabilité dépendante de l'architecture : Les effets internes d'un objectif d'alignement spécifique ne sont pas uniformes à travers les familles de modèles. Par exemple, alors qu'ORPO provoque un effondrement catastrophique des performances et une suppression de caractéristiques dans Llama-3.2 et Qwen3, il maintient des niveaux d'activation comparables au modèle de base dans SmolLM3. Cela démontre que les affirmations sur les mécanismes d'alignement doivent être contextualisées selon l'architecture de base et la couche analysée.

Résultats

• Sondage linéaire : Le motif en « bosse de chameau » (camel-hump) de la discriminabilité de la préférence (concentrée dans les couches précoces-moyennes ou moyennes-tardives) persiste à travers les méthodes. Cependant, KTO et GRPO présentent le pouvoir discriminatif le plus élevé, tandis que DPO et ORPO montrent une séparabilité réduite par rapport au modèle de base.
• Analyse SAE : ORPO induit une suppression marquée des caractéristiques ancres dans les modèles Llama et Qwen, tandis que KTO introduit une plus grande variance dans les activations des caractéristiques, suggérant une plus grande dépendance au contexte. SmolLM3 présente une hétérogénéité différente, où GRPO montre une réduction d'activation uniquement à la couche optimale du sondeur, mais une élévation de l'activation à la couche d'entraînement.
• Géométrie Crosscoder : Le partage de caractéristiques de KTO est « constructif », empruntant la discriminabilité existante pour l'améliorer. En revanche, DPO et ORPO présentent une distorsion « non constructive » ; DPO fait pivoter les caractéristiques loin du sous-espace de préférence, et ORPO atténue les caractéristiques partagées. PPO et SimPO montrent des distributions de caractéristiques qui réifient la préservation de la géométrie de base.
• Corrélation comportementale : Les scores MT-Bench révèlent que la performance de surface ne corrèle pas toujours avec la santé interne. Par exemple, ORPO a provoqué une chute drastique des scores de Llama-3.2 (de 6,33 à 2,12), ce qui a été diagnostiqué comme une dérive de la représentation interne et une atténuation des caractéristiques plutôt que comme un simple bruit de sortie.

Signification

L'article soutient que l'alignement comportemental n'implique pas une restructuration interne uniforme. En caractérisant l'alignement comme un ensemble de transformations représentationnelles distinctes, les auteurs plaident pour la nécessité d'audits standardisés au niveau des caractéristiques pour la sécurité et l'interprétabilité. Les conclusions suggèrent que des objectifs d'optimisation conscients des mécanismes sont nécessaires pour garantir que les protocoles d'alignement n'améliorent pas seulement le comportement de sortie, mais maintiennent ou renforcent également la fidélité géométrique des représentations internes. Ce travail fait progresser le domaine vers une compréhension en « boîte blanche » de l'alignement, fournissant un cadre de diagnostic pour détecter si la dégradation provient d'une dérive de représentation, d'une sur-optimisation ou de la perte de circuits de suivi d'instructions.

Limites

Les auteurs reconnaissent que leurs expériences sont contraintes par des modèles de 3B à 4B de paramètres, et que les changements de représentation peuvent évoluer de manière non linéaire dans des modèles de production plus larges. De plus, l'analyse est diagnostique plutôt que causale ; bien qu'elle identifie les informations décodables et les changements de géométrie des caractéristiques, elle ne réalise pas d'ablations causales au niveau des composants (ex. : le activation patching) pour établir les circuits nécessaires ou suffisants pour les comportements observés.