Résumé technique : Apprentissage par préférence pour l'alignement de l'IA : une perspective causale

Énoncé du problème

L'alignement des grands modèles de langage (LLM) avec les valeurs humaines repose fortement sur l'apprentissage par renforcement à partir de retours humains (RLHF), spécifiquement l'étape de modélisation de la récompense où les modèles apprennent à partir de données de préférence par paires. Les approches actuelles traitent généralement cela comme un problème de régression statistique, en supposant que des modèles simples ajustés sur des ensembles de données observationnels peuvent généraliser efficacement à des paires prompt-réponse jamais vues.

Cependant, les auteurs soutiennent que cet optimisme est mal fondé. Les données de préférence observationnelles sont souvent collectées de manière opportuniste, où les utilisateurs génèrent à la fois les prompts et évaluent les réponses. Cela crée une interaction complexe entre la distribution d'échantillonnage du LLM, les caractéristiques latentes du texte et les contextes spécifiques à l'utilisateur (par exemple, l'expertise, les objectifs). Par conséquent, les modèles de récompense standards sont enclins à apprendre des corrélations fallacieuses plutôt que de véritables facteurs causaux, conduisant à :

1. Mauvaise identification causale : Les modèles se focalisent sur des artefacts tels que la longueur ou le formatage plutôt que sur la qualité.
2. Hétérogénéité des préférences : Incapacité de prendre en compte les objectifs variables des utilisateurs, entraînant des performances sous-optimales pour des sous-groupes spécifiques.
3. Facteurs de confusion : Des facteurs spécifiques à l'utilisateur influencent à la fois le type de prompt généré et l'étiquette de préférence attribuée, violant l'hypothèse d'absence de confusion requise pour l'inférence causale.

Méthodologie : Un cadre causal

L'article reformule l'apprentissage par préférence en utilisant le cadre des résultats potentiels issu de l'inférence causale.

1. Configuration formelle

• Variables : Soit $X$ le prompt, $Y, Y'$ les réponses candidates, et $L \in \{0, 1\}$ l'étiquette de préférence binaire.
• Récompenses potentielles : Les auteurs introduisent des récompenses potentielles $R(x, y)$ et $R'(x, y')$, représentant la récompense hypothétique qu'un individu attribuerait à n'importe quelle paire prompt-réponse.
• Modèle Bradley-Terry-Luce (BTL) : La probabilité de préférence est modélisée comme $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$.
• Défi fondamental : Seul le résultat pour le traitement observé $(X, Y, Y')$ est visible ; les résultats contrefactuels pour d'autres paires restent non observés.

2. Hypothèses d'identifiabilité

Pour estimer les résultats potentiels à partir de données observationnelles, l'article énonce trois hypothèses standard adaptées à ce contexte :

• Cohérence : L'étiquette observée correspond au résultat potentiel du traitement attribué.
• Absence de confusion : Aucun facteur de confusion non observé n'existe (c'est-à-dire $L \perp (X, Y, Y')$). L'article souligne que cela est fréquemment violé lorsque les utilisateurs rédigent leurs propres prompts basés sur leurs objectifs spécifiques ($C$), créant un facteur de confusion qui affecte à la fois la sélection du prompt et la préférence.
• Positivité : Chaque combinaison de traitement a une probabilité non nulle de se produire.

3. Modèle de traitement latent

Pour répondre à la haute dimensionnalité du langage naturel et à la violation de la positivité dans l'espace observable, les auteurs proposent un Modèle de traitement latent :

• Facteurs latents ($Z$) : Les textes observés sont mappés vers des caractéristiques latentes $Z = \{Z_X, Z_T\}$.
  • $Z_X$ : Artefacts du prompt (par exemple, sujet, type de tâche).
  • $Z_T$ : Traitements latents (par exemple, concision, exactitude factuelle) déterminés conjointement par le prompt et la réponse.
• Suffisance latente : La récompense dépend uniquement de ces facteurs latents, et non du texte brut.
• Positivité latente : La positivité est requise dans l'espace latent plutôt que dans l'espace du texte observable. Cela permet la généralisation à des textes non vus s'ils partagent la même structure latente que les données observées.

4. Stratégies d'atténuation

L'article propose des interventions architecturales spécifiques pour gérer la confusion et améliorer la robustesse :

• Architecture multi-têtes : Sépare l'apprentissage des représentations latentes de la prédiction des récompenses conditionnées à des objectifs spécifiques (par exemple, utilité vs innocuité).
• Entraînement adversarial : Introduit un objectif adversarial pour garantir que la représentation latente apprise $\hat{Z}$ est invariante au type de prompt (par exemple, sous-ensemble « utile » vs « inoffensif »), éliminant ainsi les corrélations fallacieuses entre le type de prompt et les objectifs de l'utilisateur tout en conservant les caractéristiques causales.

Contributions clés

1. Formulation causale : L'article introduit un cadre causal pour l'apprentissage par préférence, définissant explicitement le problème en termes d'interventions et de résultats potentiels.
2. Identification de la confusion : Il identifie et traite explicitement la confusion due aux objectifs spécifiques à l'utilisateur (par exemple, le niveau d'expertise d'un utilisateur influençant à la fois la complexité du prompt qu'il rédige et sa préférence pour des réponses détaillées), un facteur précédemment négligé dans la littérature sur l'alignement.
3. Cadre de traitement latent : Il propose un modèle où les récompenses sont déterminées par des caractéristiques latentes plutôt que par du texte brut, permettant une généralisation sous des décalages de distribution via l'hypothèse de suffisance latente.
4. Validation empirique :
   • Expérience UltraFeedback : Démontre que les modèles BTL standards subissent des baisses de performance significatives sur des données hors distribution (OOD) lorsque les facteurs latents (véridicité et suivi des instructions) sont fortement corrélés dans les données d'entraînement (violation de la positivité latente).
   • Étude de cas HH-RLHF : En utilisant un jeu de données augmenté avec des étiquettes contrefactuelles, les auteurs montrent que lorsque les types de prompts et les objectifs des utilisateurs sont parfaitement corrélés ($\rho=1.0$), les modèles naïfs échouent à généraliser à des exemples incohérents. Le modèle multi-têtes adversarial proposé surpasse significativement les modèles de base et les modèles multi-têtes uniquement dans ces régimes à forte confusion.

Résultats

• Impact de la positivité latente : Dans l'expérience UltraFeedback, à mesure que la corrélation ($\rho_{tr}$) entre les facteurs latents augmentait, la précision des modèles standards sur les données OOD (où cette corrélation était rompue) chutait considérablement (par exemple, d'environ 64,5 % à $\rho=0$ à environ 57,8 % à $\rho=0.9$).
• Impact de la confusion : Dans l'étude HH-RLHF, lorsque l'alignement entre le type de prompt et l'objectif de l'utilisateur était parfait ($\rho=1.0$), tous les modèles échouaient à généraliser à des échantillons incohérents (précision < 55 %).
• Performance du modèle : Le modèle adversarial a constamment atteint la précision la plus élevée sur les échantillons incohérents (OOD) à travers différents niveaux de confusion, démontrant que la séparation des représentations latentes des objectifs spécifiques à l'utilisateur améliore la robustesse.

Signification et revendications

L'article affirme que la modélisation robuste des récompenses nécessite de dépasser les associations statistiques pour adopter une perspective causale. Les auteurs soutiennent que :

• La collecte de données est cruciale : La pratique actuelle de collecte de données opportuniste introduit une confusion inhérente qui limite la fiabilité des modèles de récompense.
• Des interventions sont nécessaires : Pour pallier les limites des données observationnelles, les pratiques futures devraient se tourner vers des interventions ciblées (par exemple, requêtes actives, collecte de justifications et génération de texte contrôlée) pour garantir un recouvrement latent et identifier de véritables facteurs causaux.
• Généralisation : En adoptant l'apprentissage de représentations causales et en traitant la confusion, les modèles peuvent atteindre une meilleure généralisation à des prompts non vus et à des populations d'utilisateurs diverses, ce qui est essentiel pour un alignement de l'IA sûr et efficace.

Les auteurs restent modestes, notant que leurs hypothèses sont suffisantes mais pas strictement nécessaires pour l'identifiabilité, et que les scénarios réels impliquent souvent des facteurs de confusion non observés difficiles à mesurer directement. Ils positionnent ce travail comme une étape fondamentale vers un apprentissage par préférence plus rigoureux et conscient de la causalité.