Résumé technique : Comprendre la tension entre l'utilité et l'innocuité dans les modèles de récompense

Énoncé du problème

Les modèles de récompense (RM) sont centraux dans l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), chargés d'aligner les grands modèles de langage (LLM) avec les valeurs humaines, plus précisément l'utilité (helpfulness) et l'innocuité (harmlessness). Bien que ces objectifs soient souvent poursuivis simultanément dans des contextes d'entraînement à objectifs mixtes, ils entrent fréquemment en conflit. Par exemple, un RM pourrait prioriser le refus d'une requête pour garantir l'innocuité (ex. : refuser de fournir l'adresse e-mail privée d'un personnage de fiction) lorsqu'un humain préférerait une réponse utile et informative. Ce phénomène, appelé tension d'alignement, conduit à un comportement de modèle sous-optimal où un LLM aligné peut soit produire des réponses dangereuses pour satisfaire l'utilité, soit refuser des requêtes bénignes pour garantir l'innocuité.

Malgré la prévalence de ce problème, les mécanismes internes des RM concernant la manière dont ils encodent, représentent et réconcilient ces objectifs concurrents restent mal compris. Les travaux d'interprétabilité existants se concentrent largement sur l'explication de décisions de score spécifiques plutôt que sur l'analyse de l'interaction entre les objectifs concurrents au sein de la circuiterie interne du modèle.

Méthodologie

Les auteurs étudient la tension d'alignement à travers une combinaison d'analyse comportementale et d'interprétabilité mécaniste.

Configuration expérimentale

1. Entraînement du modèle : L'étude entraîne trois variantes de modèles de récompense à partir des mêmes architectures de base de LLM pré-entraînés (familles SmoLLM2 et GPT-2) :
   • RM Utile ($r^H_\theta$) : Entraîné exclusivement sur le sous-ensemble d'utilité du jeu de données HH-RLHF.
   • RM Inoffensif ($r^S_\theta$) : Entraîné exclusivement sur le sous-ensemble d'innocuité.
   • RM Mixte ($r^{HS}_\theta$) : Entraîné sur le jeu de données combiné contenant les deux objectifs.
2. Évaluation : Les modèles sont évalués sur diverses références (RewardBench, RewardBench2, RM-Bench) classées par tâches orientées vers l'utilité (ex. : chat, raisonnement, suivi d'instructions) et vers l'innocuité (ex. : sécurité, refus, robustesse adversaire).
3. Analyse des neurones :
   • Identification : Les auteurs identifient les « neurones orientés » en calculant des scores d'importance basés sur la magnitude. Les neurones dont les activations se situent dans le $\tau$-ième percentile supérieur (fixé à 10) sur des jeux de données d'objectifs spécifiques sont classés comme orientés vers l'utilité ou vers l'innocuité.
   • Intervention causale : Une ablation ciblée est réalisée en fixant les activations de ces neurones identifiés à zéro lors de la passe directe (forward pass) pour mesurer leur impact causal sur la performance du modèle.
   • Analyse du chevauchement : L'étude quantifie le chevauchement entre les ensembles de neurones identifiés dans les modèles à objectif unique par rapport au modèle à objectifs mixtes.

Résultats clés

1. Performance comportementale et tension

• Sous-performance des modèles mixtes : Les RM à objectifs mixtes sont systématiquement moins performants que les RM à objectif unique sur diverses tâches d'évaluation. Ils ne parviennent pas à égaler la performance spécialisée des modèles entraînés sur un seul objectif, ce qui indique une interférence entre les objectifs lors de l'optimisation conjointe.
• Asymétrie des objectifs : Les modèles à objectif unique présentent des tendances comportementales distinctes. Les RM utiles excellent dans les réponses coopératives mais peuvent manquer de robustesse face aux requêtes trompeuses. Les RM inoffensifs montrent une robustesse supérieure dans les contextes adverses mais peuvent trop refuser des requêtes bénignes.
• Rétention limitée : Lorsque les comportements appris par les modèles à objectif unique sont testés contre le modèle à objectif mixte, la « rétention comportementale » est relativement faible (moyenne de ~56 % pour l'utilité et ~62 % pour l'innocuité). Si les comportements grossiers (ex. : refus générique) sont retenus, les comportements nuancés et robustes face aux attaques se dégradent considérablement.
• Calibration de la récompense : Même lorsque le modèle à objectif mixte prend la bonne décision (correspondant au modèle à objectif unique), ses scores de récompense sont systématiquement plus faibles et plus concentrés autour de zéro, suggérant une perte de confiance et de séparabilité du signal.

2. Insights mécanistes : Rôles des neurones et chevauchement

• Importance causale : Les études d'ablation confirment que les neurones identifiés comme spécifiques à un objectif sont causalement critiques pour cet objectif. Supprimer les neurones orientés vers l'innocuité d'un RM inoffensif provoque une chute significative de la performance sur les tâches d'innocuité (environ 12 points) mais améliore souvent la performance sur les tâches d'utilité, et vice versa.
• Représentations partagées : Une proportion substantielle de neurones (environ 50 %) associés à l'utilité et à l'innocuité est partagée (c'est-à-dire fortement activée dans les deux modèles à objectif unique).
• Influence disproportionnée : Ces neurones partagés exercent une influence disproportionnée sur le comportement du modèle. L'ablation des neurones partagés dans le RM à objectif mixte provoque une chute sévère de la précision (10 points sur les tâches d'innocuité, 4,4 points sur les tâches d'utilité), dépassant de loin l'impact de l'ablation des neurones spécifiques à un objectif (non partagés).
• Distribution par couches : Les neurones orientés sont concentrés dans les couches tardives du modèle, lesquelles sont connues pour capturer des caractéristiques sémantiques de haut niveau, suggérant que le conflit provient du traitement de représentations sémantiques complexes plutôt que de la syntaxe de surface.

Contributions clés

1. Caractérisation de la tension d'alignement : L'article démontre que l'entraînement conjoint sur l'utilité et l'innocuité entraîne une dégradation des performances et une réduction de la transférabilité par rapport à un entraînement à objectif unique, confirmant que la tension d'alignement est un problème d'interférence représentationnelle.
2. Identification des neurones orientés par objectif : Les auteurs identifient des neurones spécifiques liés causalement aux objectifs d'alignement, montrant qu'ils sont essentiels pour leur objectif cible mais souvent préjudiciables à l'objectif opposé.
3. Preuve de représentations partagées : L'étude révèle que près de la moitié des neurones pilotant ces objectifs sont partagés. Ce chevauchement crée un goulot d'étranglement où l'optimisation d'un objectif entre intrinsèquement en conflit avec l'autre, provoquant la tension observée dans les modèles à objectifs mixtes.

Signification et affirmations

L'article affirme que l'alignement multi-objectif n'est pas simplement un compromis comportemental, mais un problème d'interférence représentationnelle découlant de la superposition de la circuiterie interne. Les conclusions suggèrent que les méthodes actuelles d'entraînement à objectifs mixtes peinent car elles forcent des objectifs conflictuels à modifier les mêmes représentations partagées.

Les auteurs soutiennent que cette compréhension mécaniste est cruciale pour développer de futures méthodes d'alignement désengagées et contrôlables. En reconnaissant que les neurones partagés sont la source du conflit, les travaux futurs peuvent se concentrer sur des stratégies architecturales ou d'entraînement permettant de séparer ces représentations afin d'atténuer la tension d'alignement. L'étude constitue une étape fondamentale pour passer d'un entraînement RLHF de type « boîte noire » vers une modélisation de récompense plus fondée et interprétable.

Limites

Les auteurs notent que leur analyse est limitée à l'étape de modélisation de la récompense du RLHF et ne s'étend pas aux étapes d'optimisation de la politique comme la DPO (Direct Preference Optimization). De plus, des contraintes de calcul ont empêché l'utilisation du fine-tuning efficace en paramètres (PEFT), et l'étude se concentre sur des définitions larges d'utilité et d'innocuité plutôt que sur les distinctions fines présentes dans les jeux de données plus récents.