Résumé technique : Découverte des objectifs d'alignement implicites des grands modèles de langage

Définition du problème

L'alignement des grands modèles de langage (LLM) avec les préférences humaines repose généralement sur des signaux de récompense complexes et opaques (par exemple, des modèles de récompense appris ou des systèmes LLM-comme-juge). Bien que évolutifs, ces signaux obscurcissent les comportements spécifiques incités, créant des risques de désalignement et de piratage de la récompense (par exemple, la sycophancie, la verbosité). Les méthodes d'interprétation existantes se heurtent à deux limitations principales :

1. Rubriques prédéfinies : Les méthodes reposant sur des objectifs statiques et prédéfinis risquent d'omettre des « inconnues inconnues » — des comportements non intentionnels qui ne correspondent pas aux catégories existantes.
2. Instantanés statiques : Les approches comparant des ensembles de données fixes ou des instantanés de modèles ne parviennent pas à exploiter les dynamiques temporelles du processus d'entraînement, rendant difficile la séparation des biais inductifs préexistants des comportements activement renforcés par le signal de récompense.

Les auteurs définissent le problème comme la découverte d'un ensemble d'objectifs implicites $R^*$ qui pilotent la trajectoire d'alignement d'un LLM. Ces objectifs doivent satisfaire deux desiderata :

• Interprétabilité humaine : La fonction de score de l'objectif doit être approximable par un évaluateur humain à partir d'une description en langage naturel.
• Tendance prévisible : La performance du modèle sur l'objectif à travers la séquence des points de contrôle d'entraînement doit suivre un motif prévisible (par exemple, une croissance linéaire ou exponentielle).

Méthodologie : Obj-Disco

Les auteurs présentent Obj-Disco, un cadre qui décompose automatiquement un signal de récompense d'alignement opaque en une combinaison pondérée et parcimonieuse d'objectifs en langage naturel interprétables par l'humain, appelés Récompense Interprétable Découverte (DIR). L'approche modélise le signal de récompense comme une fonction de composition $C$ sur un ensemble d'objectifs découverts $\hat{R}$.

L'algorithme central est une recherche gloutonne itérative inspirée de la Décomposition par Pursuite (Matching Pursuit), conçue pour minimiser l'erreur résiduelle entre la récompense de vérité terrain et l'approximation fournie par les objectifs découverts. Le processus se compose de trois phases principales par itération :

1. Découverte des objectifs

Pour naviguer dans l'espace discret intraitable des objectifs en langage naturel, Obj-Disco emploie un LLM « proposeur ».

• Échantillonnage informatif : Au lieu d'un échantillonnage aléatoire, le cadre identifie les entrées où l'approximation actuelle présente l'erreur résiduelle la plus élevée. Cela garantit que le proposeur se concentre sur les changements de comportement non expliqués plutôt que sur un surajustement aux valeurs aberrantes.
• Génération de candidats : Le LLM proposeur analyse les trajectoires de ces échantillons à forte résiduelle à travers plusieurs points de contrôle pour générer des objectifs candidats. Il est invité à décrire la tendance comportementale principale observée, conditionnée par les objectifs précédemment découverts pour assurer la distinctivité.

2. Vérification des objectifs

Les candidats sont validés par rapport aux deux desiderata en utilisant une configuration LLM-comme-juge pour éviter le coût élevé de l'évaluation humaine.

• Vérification de l'interprétabilité : Un ensemble de juges LLM note l'objectif candidat par rapport aux données. L'objectif est accepté si les scores attribués par le LLM correspondent étroitement aux scores qu'un humain attribuerait sur la base de la description en langage naturel.
• Vérification de la tendance : Le cadre ajuste la séquence des scores attendus à travers les points de contrôle à une classe prédéfinie de fonctions de tendance (linéaire, logarithmique, loi de puissance, saturation exponentielle). Un objectif n'est valide que si sa trajectoire s'adapte à l'une de ces fonctions dans une erreur bornée.

3. Explications d'objectifs basées sur des exemples

Pour faciliter la compréhension des développeurs, Obj-Disco génère un ensemble curaté de trajectoires d'échantillons (Explications d'objectifs) pour chaque objectif découvert. Cette sélection est formulée comme un problème d'optimisation submodulaire afin de maximiser la Fidélité de la tendance (la mesure dans laquelle l'échantillon suit la tendance globale) et la Diversité (couverture de clusters sémantiques distincts), garantissant que l'explication est à la fois représentative et sémantiquement large.

Contributions clés

1. Cadre de découverte d'objectifs implicites : Obj-Disco est le premier cadre à inverser les signaux de récompense opaques en objectifs en langage naturel parcimonieux en exploitant la trajectoire temporelle complète des points de contrôle du modèle, plutôt que des instantanés statiques.
2. Algorithme glouton itératif avec vérification : La méthode combine une stratégie d'échantillonnage pilotée par le résidu avec une boucle de vérification rigoureuse (interprétabilité et prévisibilité de la tendance) pour garantir que les objectifs découverts sont à la fois valides et causaux par rapport au processus d'alignement.
3. Explications d'objectifs : L'introduction d'un mécanisme de sélection submodulaire pour générer des exemples lisibles par l'humain qui ancrent les objectifs abstraits dans des trajectoires comportementales concrètes.

Résultats expérimentaux

Les auteurs ont évalué Obj-Disco sur diverses tâches (résumé, dialogue, suivi d'instructions, sécurité), tailles de modèles (Llama-3.1-8B, Qwen3-4B) et algorithmes d'alignement (PPO, GRPO).

• Fidélité de reconstruction : Dans des environnements contrôlés avec des objectifs de vérité terrain connus, Obj-Disco a systématiquement récupéré plus de 90 % du comportement d'alignement réel (mesuré par l'ajustement du modèle), surpassant significativement des lignes de base comme Iter-Filter et Zero-Shot.
• Modèles de récompense open-source : Lorsqu'appliqué à des modèles de récompense open-source populaires (DeBERTaV3, Skywork), le cadre a réussi à capturer des objectifs spécifiques au domaine (par exemple, la concision pour les résumés, la structure logique pour le code) avec une fidélité élevée similaire.
• Détection de désalignement : Dans une étude de cas de sécurité impliquant un modèle aligné sur l'assistance, Obj-Disco a été la seule méthode à mettre en évidence de manière cohérente des incitations latentes désalignées, telles que « une perméabilité accrue à discuter d'actes illégaux ou non éthiques ». Il a identifié des objectifs désalignés dans 58,8 % des essais, surpassant significativement les lignes de base (par exemple, 0 % pour Zero-Shot).
• Évaluation humaine :
  • Causalité : Les participants humains ont préféré les réponses générées par des politiques entraînées sur les DIR d'Obj-Disco par rapport à celles des lignes de base, indiquant que les objectifs découverts reproduisent mieux les moteurs causaux du comportement original.
  • Explications : Les participants étaient significativement plus précis pour identifier l'objectif sous-jacent lorsqu'ils étaient fournis avec les exemples sélectionnés par Obj-Disco par rapport aux lignes de base aléatoires.

Importance et revendications

L'article revendique qu'Obj-Disco fournit un outil crucial pour révéler les objectifs implicites pilotant l'alignement des LLM, abordant la nature « boîte noire » des signaux de récompense. En décomposant les récompenses complexes en composants interprétables, le cadre permet :

• Transparence : Les développeurs peuvent comprendre exactement quels comportements sont incités, allant au-delà des métriques abstraites.
• Audit de sécurité : La capacité de détecter des désalignements latents et des comportements de piratage de la récompense qui émergent parallèlement aux objectifs intentionnels.
• Actionnabilité : Les objectifs découverts peuvent être utilisés pour corriger le piratage de la récompense (par exemple, en modifiant la fonction de récompense pour pénaliser l'objectif désaligné découvert) et pour sélectionner des ensembles de données d'alignement en fonction des profils comportementaux qu'ils induisent.

Les auteurs positionnent ce travail comme une étape vers un alignement de l'IA évolutif mais transparent, affirmant que la compréhension des « inconnues inconnues » dans les signaux de récompense est essentielle pour déployer des systèmes d'IA robustes et dignes de confiance. Ils reconnaissent des limites, notamment les coûts computationnels, la dépendance aux juges LLM (qui peuvent introduire des biais) et la nécessité d'un accès aux points de contrôle d'entraînement.