Résumé technique : L'Auditeur d'Alignement : Un cadre bayésien pour la vérification et le raffinement des objectifs des LLM

Énoncé du problème

Les objectifs que les modèles de langage de grande taille (LLM) optimisent de manière implicite restent dangereusement opaques, créant un défi majeur pour un alignement et un audit dignes de confiance. Bien que l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) façonne le comportement du modèle, les préférences et les objectifs émergents qui en résultent ne sont pas explicitement encodés. Cette opacité entrave le diagnostic de défaillances telles que le détournement de récompense (reward hacking), l'exploitation de raccourcis et les incohérences de préférences.

Les approches existantes d'apprentissage par renforcement inverse (IRL) tentent d'inférer des fonctions de récompense à partir du comportement, mais souffrent de deux limitations critiques :

1. Surconfiance : Elles produisent généralement une estimation ponctuelle de la récompense, négligeant la non-identifiabilité fondamentale de la tâche (où plusieurs fonctions de récompense peuvent expliquer de manière égale le même comportement observé).
2. Manque de vérification : Elles traitent l'IRL comme une simple tâche d'estimation plutôt que comme un processus de vérification, échouant à fournir des diagnostics exploitables pour déterminer quand les objectifs inférés sont fragiles ou peu fiables.

Par conséquent, les auditeurs ne peuvent pas déterminer quand les objectifs inférés sont fragiles, laissant l'inférence de récompense vulnérable aux explications spécieuses.

Méthodologie : L'Auditeur d'Alignement

Le document introduit L'Auditeur d'Alignement, un cadre rigoureux qui reformule l'inférence de récompense en tant que processus d'audit complet en trois étapes. Le cadre exploite l'IRL bayésien pour récupérer une distribution sur les objectifs plutôt qu'une estimation unique.

Étape 1 : Quantifier l'ambiguïté avec l'IRL bayésien

Le cadre modélise l'interaction avec le LLM comme un bandit contextuel. Étant donné des complétions appariées (expert $o^+$ vs base $o^-$), il infère une distribution postérieure sur les poids de récompense $\theta$ en utilisant un modèle de récompense linéaire $R_\theta(o) = \theta^\top \phi(o)$, où $\phi$ est une application de caractéristiques issue d'un encodeur pré-entraîné.

• A priori : Un a priori gaussien isotrope de moyenne nulle est placé sur $\theta$.
• Vraisemblance : Le modèle de Bradley-Terry est utilisé pour modéliser les préférences ($P(o^+ \succ o^- | \theta) = \sigma(\alpha \theta^\top \Delta\phi)$).
• Inférence : En raison de la non-conjugaison de l'a priori gaussien et de la vraisemblance logistique, la distribution postérieure $p(\theta|D)$ est approximée par l'inférence variationnelle (VI) avec une famille variationnelle gaussienne à champ moyen $q_\lambda(\theta)$. Cela produit une distribution traçable représentant l'ambiguïté de la fonction de récompense.

Étape 2 : Auditer la fiabilité avec des diagnostics d'incertitude

Cette étape se concentre sur la réduction systématique de la non-identifiabilité et l'examen de la fiabilité du modèle.

• Contraction postérieure séquentielle : Les données sont partitionnées en $K$ cycles. La distribution postérieure du cycle $k-1$ sert d'a priori pour le cycle $k$. Le cadre suit la contraction postérieure (mesurée par le logarithme du déterminant de la matrice de covariance). Une diminution monotone indique que la non-identifiabilité est réduite ; une expansion signale des conflits potentiels ou une erreur de spécification.
• Diagnostics d'incertitude : L'incertitude prédictive est décomposée en composantes aléatoires (aleatoric - bruit des données) et épistémiques (epistemic - ambiguïté du modèle) en utilisant l'information mutuelle. Une incertitude épistémique élevée signale des invites hors distribution (OOD) ou des régions où le modèle de récompense n'est pas confiant. Le cadre teste la robustesse en injectant des caractéristiques spécieuses ; un modèle robuste devrait montrer une augmentation de l'incertitude épistémique sur ces entrées, tandis qu'un modèle s'appuyant sur des raccourcis deviendra spécieusement trop confiant.

Étape 3 : Validation au niveau de la politique

La dernière étape valide l'utilité pratique de la récompense inférée. La moyenne de la distribution postérieure finale contractée ($\hat{R}(o) = \mu_K^\top \phi(o)$) est utilisée comme signal de récompense dans un pipeline RLHF standard (PPO) pour affiner un LLM de base.

• Critères de succès : L'audit est considéré comme réussi si la politique entraînée avec la récompense inférée reproduit la dynamique d'entraînement (courbes de moyenne de récompense, stabilité de la divergence KL) et le comportement en aval (réduction de la toxicité) d'une politique entraînée avec la récompense de l'oracle de vérité terrain.

Contributions clés

1. Cadre structuré pour la réduction de l'ambiguïté : Une méthode pour récupérer des distributions sur les objectifs d'entraînement des LLM et démontrer la réduction systématique de l'ambiguïté à travers des cycles successifs de preuves.
2. Diagnostics fondés sur l'incertitude : Une suite d'outils qui révèlent quand les objectifs inférés sont fragiles ou pilotés par des raccourcis, spécifiquement en signalant les invites OOD et en quantifiant l'incertitude épistémique.
3. Validation au niveau de la politique : Preuves empiriques établissant que les récompenses affinées et à faible incertitude peuvent servir de signaux d'alignement robustes, pilotant directement le RLHF pour atteindre des dynamiques d'entraînement comparables à celles de l'alignement de vérité terrain.

Résultats expérimentaux

Le cadre a été évalué principalement sur la détoxification (en utilisant le jeu de données RealToxicityPrompts) et secondairement sur l'utilité (en utilisant l'ensemble de données Anthropic HH-RLHF).

• Récupération de la récompense : Le cadre a réussi à apprendre une fonction de récompense qui sépare nettement les complétions toxiques des non-toxiques. Les courbes de fiabilité ont montré que le modèle était bien calibré pour les prédictions par paires et pour les textes uniques.
• Effets d'échelle : Les performances se sont améliorées avec l'échelle du modèle. Les modèles plus grands (ex: Llama-3.1-8B) ont produit des caractéristiques plus linéairement séparables et une précision/AUROC par paire plus élevée par rapport aux modèles plus petits (ex: Pythia-70M).
• Mises à jour séquentielles : Les mises à jour bayésiennes séquentielles ont efficacement réduit la non-identifiabilité. À travers cinq cycles, la covariance postérieure s'est resserrée (le logarithme du déterminant est passé de -196 à -897 dans une expérience) et l'incertitude épistémique a diminué. Cela a conduit à une meilleure calibration et à de meilleures mesures de performance.
• Validation de la politique :
  • L'utilisation de la distribution postérieure du Cycle 1, sous-identifiée, a induit un détournement de récompense (ex: sorties dégénérées comme "Edit. And...") et des dynamiques d'entraînement instables.
  • L'utilisation de la distribution postérieure contractée des cycles ultérieurs (Cycles 2–5) a permis au modèle d'atteindre des réductions de toxicité en aval comparables à l'oracle de vérité terrain, sans s'effondrer dans la dégénérescence.
  • L'analyse qualitative a confirmé qu'à mesure que l'identifiabilité s'améliorait, les sorties devenaient fluides, pertinentes et respectaient le sujet, tandis que les sorties des premiers cycles présentaient une perte de sujet et des fragments évasifs.
• Généralisation : Le cadre s'est généralisé au contexte de l'utilité, montrant des gains modestes de performance et une contraction postérieure cohérente, bien que l'amélioration de la calibration soit moins prononcée que dans le cas de la toxicité.

Signification et affirmations

Le papier affirme fournir un outil pratique pour les auditeurs, les équipes de sécurité et les régulateurs afin de vérifier ce que les LLM cherchent réellement à accomplir. En déplaçant le paradigme de l'estimation de la récompense vers la vérification de la récompense, le cadre répond à la lacune critique de la non-identifiabilité dans l'IRL.

Les auteurs soutiennent que leur travail fait progresser le domaine en :

1. Rendant l'ambiguïté explicite et systématiquement réductible.
2. Fournissant des diagnostics exploitables pour exposer les raccourcis spécieux et identifier les zones peu fiables.
3. Démontrant qu'une récompense affinée et à faible incertitude peut directement remplacer les récompenses de vérité terrain dans le RLHF pour obtenir un alignement sûr et efficace.

En fin de compte, ce travail fait progresser le domaine vers une IA plus responsable et digne de confiance en offrant une méthodologie rigoureuse pour évaluer les véritables objectifs que les LLM optimisent, plutôt que de se fier à des audits comportementaux de surface.