Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

Résumé technique : Enchevêtrement des valeurs dans les grands modèles de langage

Énoncé du problème
L'alignement des grands modèles de langage (LLM) avec les valeurs humaines nécessite une compréhension empirique de la manière dont ces modèles représentent différents types de « bien ». La valuation humaine se caractérise par la capacité à distinguer des catégories distinctes de valeur, telles que la bonté morale (ex. : un acte vertueux), la bonté grammaticale (ex. : une phrase bien formée) et la bonté économique (ex. : un objet coûteux). Les auteurs étudient si les LLM distinguent de la même manière ces dimensions de valeur orthogonales ou s'ils souffrent d'un « enchevêtrement des valeurs » — une confusion où la représentation d'un type de valeur est excessivement influencée par un autre. Cette confusion pose un risque pour l'alignement des valeurs, car un agent incapable de distinguer une « bonne phrase » d'un « bon acte » peut échouer à agir de manière fiable selon des objectifs moraux spécifiques.

Méthodologie
L'étude emploie une approche multidimensionnelle combinant l'évaluation comportementale, l'analyse de la géométrie des activations internes et des interventions causales à travers un ensemble diversifié de modèles à poids ouverts et fermés (incluant les familles Qwen, Gemma, Mistral, GPT et Claude).

1. Conception des stimuli : Les chercheurs ont construit deux ensembles de stimuli orthogonaux :

   • MoralGrammar68 : 68 phrases variant indépendamment en valence morale (de vertueuse à nuisible) et en grammaticalité (de 0 à 4+ erreurs).
   • MoralEconomic68 : 68 phrases variant indépendamment en valence morale et en valeur économique (en intégrant des objets de coûts de détail variables, du plus bas au plus élevé).
     Des participants humains ont validé ces stimuli, confirmant que les évaluations morales et grammaticales, ainsi que les évaluations morales et économiques, n'étaient pas corrélées (orthogonales) dans le jugement humain.

2. Évaluation comportementale : Les modèles ont été incités à évaluer les phrases sur des échelles de Likert (-10 à +10) pour la moralité, la grammaticalité et la valeur économique. L'étude a mesuré la corrélation entre les évaluations des modèles sur ces différentes dimensions.

3. Géométrie des activations : Pour les modèles à poids ouverts, les auteurs ont identifié des « vecteurs d'attributs » dans le flux résiduel (residual stream) en utilisant une approche de différence de moyennes (en contrastant les activations pour les exemples positifs versus négatifs de chaque type de valeur). Ils ont projeté les phrases cibles sur ces vecteurs pour mesurer la représentation interne de chaque dimension de valeur.

4. Ablation directionnelle : Pour établir la causalité, les auteurs ont effectué une ablation directionnelle pendant l'inférence. En « annulant » ou en inversant la variance le long de vecteurs d'attributs spécifiques (par exemple, le vecteur de la moralité), ils ont testé si la suppression des informations morales modifiait les jugements grammaticaux ou économiques du modèle.

Résultats clés

• Enchevêtrement comportemental : De nombreux modèles, particulièrement les variantes open-source (ex. : Qwen2.5, Gemma-2/3, Mistral-Small), ont présenté des corrélations significatives entre les évaluations morales et grammaticales, ainsi qu'entre les évaluations morales et économiques. Par exemple, dans Qwen2.5 7B, une phrase ayant un contenu moralement incorrect mais une grammaire parfaite recevait une note de grammaticalité inférieure à celle d'une phrase neutre comportant des erreurs. Cet « inflation de corrélation » était largement absente chez les évaluateurs humains et chez certains modèles à poids fermés (ex. : GPT-5.4, Claude Sonnet).
• Asymétrie : L'enchevêtrement était asymétrique. Tandis que les jugements moraux restaient fidèles aux normes humaines (haute corrélation avec les évaluations morales humaines, faible corrélation avec la grammaire/l'économie), les jugements grammaticaux et économiques étaient fortement contaminés par le contenu moral. Les modèles évaluaient souvent des phrases grammaticalement parfaites comme étant « agrammaticales » si elles décrivaient des actes immoraux.
• Représentations internes : Les projections d'activation ont confirmé que les vecteurs internes de la grammaticalité et de la valeur économique étaient hautement corrélés au vecteur de la moralité dans le flux résiduel. Dans de nombreux modèles, la représentation de la valeur grammaticale ou économique était significativement prédite par le niveau moral de l'entrée, reflétant les résultats comportementaux.
• Intervention causale : L'ablation directionnelle du vecteur de moralité a entraîné une récupération de la performance. Lorsque l'information morale était supprimée, la capacité des modèles à juger la grammaticalité et la valeur économique s'améliorait, montrant une corrélation plus élevée avec les évaluations humaines de référence. Cela suggère que l'information morale interfère activement avec le traitement d'autres dimensions de valeur.
• Origines de l'entraînement : L'enchevêtrement a été observé tant dans les modèles pré-entraînés (base) que dans les modèles ajustés par instructions (instruction-tuned), suggérant que le phénomène provient de la phase de pré-entraînement, probablement dû à la nature polysémique du langage valencé (ex. : le mot « bon » apparaissant dans des contextes divers), plutôt que d'être uniquement un produit du RLHF (apprentissage par renforcement à partir de la rétroaction humaine).

Signification et affirmations
L'article affirme fournir une preuve empirique que de nombreux LLM souffrent d'un enchevêtrement des valeurs, confondant différents types de « bien ». Les auteurs soutiennent que cette confusion représentationnelle est problématique pour l'alignement des valeurs car elle fausse la l'évaluation par rapport aux normes humaines. Si un modèle ne peut pas distinguer une phrase grammaticalement correcte d'un acte moralement vertueux, sa prise de décision dans des tâches nécessitant une évaluation de valeur multidimensionnelle peut être fondamentalement défaillante.

L'étude contribue à la sécurité de l'IA en :

1. Offrant une méthode pour mesurer et détecter empiriquement l'enchevêtrement des valeurs.
2. Démontrant que des interventions ciblées (ablation) peuvent réparer ces confusions, suggérant une voie potentielle pour atténuer ces problèmes d'alignement.
3. Soulignant que la racine du problème peut se situer dans la phase de pré-entraînement, impliquant que les futures stratégies d'alignement doivent traiter les représentations fondamentales de la valeur, et non seulement l'ajustement post-entraînement.

Les auteurs maintiennent une portée modeste, notant que bien que l'enchevêtrement soit omniprésent dans de nombreux modèles testés, il n'est pas universel (certains modèles fermés ont montré moins d'enchevêtrement), et que les conclusions sont spécifiques aux dimensions de valeur testées (morale, grammaticale, économique). Ils ne prétendent pas avoir résolu le problème de l'alignement, mais plutôt avoir identifié un mode de défaillance spécifique et mesurable dans la manière dont les modèles représentent la valeur.