Résumé Technique : Au-delà de l'oubli uniforme dans l'optimisation directe des préférences séquentielles

Énoncé du Problème

L'alignement des grands modèles de langage (LLM) avec les préférences humaines implique généralement l'optimisation de multiples objectifs comportementaux (par exemple, l'utilité, l'innocuité, l'honnêteté, le respect des instructions). En pratique, ces objectifs sont souvent optimisés de manière séquentielle à l'aide de méthodes comme l'Optimisation Directe des Préférences (DPO) plutôt que de manière jointe, afin d'éviter de tout réentraîner à partir de zéro. Cependant, il reste difficile de savoir si les étapes ultérieures de l'entraînement dégradent uniformément les préférences apprises lors des étapes précédentes (oubli catastrophique) ou si le résultat dépend de la relation spécifique entre les objectifs, la force du signal et l'ordre d'entraînement.

La littérature existante suggère que l'oubli dans l'alignement séquentiel est souvent modéré et dépend des tâches, mais les analyses antérieures se sont largement appuyées sur des métriques agrégées (par exemple, la précision des choix multiples) ou se sont concentrées sur des benchmarks de connaissances. Ces approches peuvent masquer des changements hétérogènes au niveau des échantillons et ne parviennent pas à distinguer si le conflit de gradient direct, la dérive de distribution ou le déséquilibre du signal sont les principaux moteurs de la dégradation des préférences.

Méthodologie

Les auteurs mènent une étude empirique systématique utilisant Llama-3.1-8B-Instruct avec des adaptateurs LoRA. Le pipeline expérimental consiste à entraîner deux objectifs de préférence distincts (Étape 1 et Étape 2) de manière séquentielle et à évaluer le modèle sur tous les objectifs après chaque étape.

Régimes Expérimentaux

L'étude évalue quatre configurations de préférence distinctes, chacune testée dans les deux ordres d'entraînement (A→B et B→A) :

1. Conflit de Distribution (HH-RLHF) : Compare les objectifs « utile » (helpful) vs « inoffensif » (harmless), qui diffèrent par la distribution des prompts et les dimensions de préférence.
2. Interaction Multi-Attributs (HelpSteer2) : Compare la « verbosité » vs la « cohérence », testant les interactions entre des attributs de réponse plus fins.
3. Signal de Sécurité Fort (PKU-SafeRLHF) : Compare « inoffensif » vs « utile », où le signal de sécurité est nettement plus fort que dans HH-RLHF.
4. Objectifs Compatibles (UltraFeedback) : Compare le « respect des instructions » (IF) vs l'« honnêteté », où les objectifs récompensent des comportements de qualité de réponse qui se chevauchent.

Protocoles d'Évaluation

Pour capturer des nuances, les auteurs emploient trois niveaux d'analyse :

1. Métriques Agrégées :
   • Marge de Récompense Relative DPO : Mesure l'écart de préférence par rapport à un modèle de référence fixe (pas l'adaptateur de l'étape précédente) pour assurer une mise à l'échelle cohérente.
   • Précision de Préférence Relative : La fraction de paires où la politique améliore l'écart choisi-sur-rejeté par rapport au modèle de base.
2. Analyse au Niveau des Paires :
   • Marges de Politique Normalisées par la Longueur : Suit le changement de marge ($\Delta_i$) pour les paires individuelles choisi-rejeté entre les étapes.
   • Décomposition par Quartiles : Les paires sont triées par leur marge de l'Étape 1 (confiance) et divisées en quartiles (Q1 : difficile/faible confiance ; Q4 : facile/haute confiance) pour déterminer où les changements se concentrent.
3. Diagnostics Mécanistes :
   • Similarité de Cosinus des Gradients : Mesure l'angle entre les gradients DPO de l'Étape 2 et le gradient de l'objectif de l'Étape 1 (calculé sur les paramètres LoRA) pour détecter une opposition directe.
   • Mouvement de l'Adaptateur : Analyse le déplacement des paramètres LoRA entre les étapes pour déterminer si les mises à jour sont orthogonales ou opposées.

Résultats Clés

1. Modèles d'Oubli Non-Uniformes

Le DPO séquentiel ne produit pas un modèle unique d'« oubli uniforme ». Le résultat varie entre dégradation partielle et stabilité, redistribution au niveau des paires ou transfert positif, selon la relation entre les objectifs et la force du signal :

• HH-RLHF : Présente une dégradation partielle. Dans l'ordre utile→inoffensif, la marge d'utilité chute significativement (−68,8 %), mais l'objectif reste au-dessus de la ligne de base neutre.
• HelpSteer2 : Présente une dégradation asymétrique. Dans l'ordre verbosité→cohérence, la verbosité se dégrade légèrement (−6,7 %), tandis que la cohérence s'améliore.
• PKU-SafeRLHF : Démontre une stabilité et un transfert positif. Le signal de sécurité fort empêche la dégradation ; dans l'ordre inoffensif→utile, la marge d'innocuité augmente réellement (+2,859) après l'entraînement de l'utilité.
• UltraFeedback : Montre un transfert positif. Les deux objectifs s'améliorent ou restent stables quel que soit l'ordre, suggérant une haute compatibilité entre le respect des instructions et l'honnêteté.

2. Hétérogénéité des Changements au Niveau des Paires

Les métriques agrégées masquent souvent des variations significatives entre les paires de préférences individuelles :

• Redistribution : Un entraînement ultérieur peut dégrader certaines préférences précédemment apprises tout en en améliorant d'autres.
• Dynamique des Quartiles : La concentration des changements varie selon le réglage.
  • Dans HH-RLHF (utile→inoffensif), la dégradation se concentre dans les paires à haute confiance (Q4).
  • Dans PKU-SafeRLHF (inoffensif→utile) et UltraFeedback, les paires à haute confiance sont souvent renforcées (amélioration), tandis que les changements sont distribués différemment à travers les quartiles.
  • Cela indique que l'« oubli » n'est pas un décalage uniforme mais une redistribution structurée dépendant de l'interaction spécifique des objectifs.

3. Insights Mécanistes : Absence de Conflit de Gradient Direct

Contrairement à l'hypothèse selon laquelle l'oubli est piloté par l'opposition directe des gradients :

• Orthogonalité des Gradients : À travers les huit ordonnancements, la similarité de cosinus entre les gradients de l'Étape 2 et le gradient de référence de l'objectif précédent est proche de zéro (angle moyen $\approx 90^\circ$). Il n'y a aucune preuve d'une opposition systématique des gradients.
• Mouvement de l'Adaptateur : Les mises à jour de l'Étape 2 déplacent l'adaptateur LoRA dans une direction presque orthogonale à l'adaptateur de l'Étape 1 (cosinus $\approx 0$), plutôt que de l'inverser.
• Implication : Les changements de préférence sont probablement pilotés par des mécanismes indirects tels que la dérive de distribution, le déséquilibre du signal ou le mouvement indirect des paramètres, plutôt que par un conflit de gradient direct.

Contributions

1. Étude Empirique Systématique : L'article fournit une analyse complète du DPO séquentiel à travers quatre régimes de préférence distincts, démontrant que le changement de préférence est un spectre (de l'oubli au transfert positif) déterminé par les relations entre les objectifs et la force du signal, et non seulement par l'entraînement séquentiel.
2. Diagnostics au Niveau des Paires : Les auteurs introduisent une analyse de la marge de politique au niveau des paires utilisant la décomposition par quartiles. Cela révèle des modèles de redistribution hétérogènes que les marges de récompense agrégées et la précision relative dissimulent.
3. Preuves Mécanistes : En mesurant la similarité de cosinus des gradients et le mouvement de l'adaptateur, l'étude apporte la preuve que les changements de préférence se produisent malgré des directions de mise à jour presque orthogonales, remettant en question la vision selon laquelle l'opposition directe des gradients est le principal moteur de l'oubli.

Signification et Revendications

L'article soutient que les futurs pipelines d'alignement séquentiel ne doivent pas supposer que les objectifs ultérieurs affectent uniformément les préférences antérieures. Au lieu de cela, les praticiens doivent tenir compte de la compatibilité des objectifs et de la force du signal.

Les auteurs revendiquent modestement que leurs conclusions suggèrent que des mécanismes indirects (dérive, déséquilibre du signal) sont plus susceptibles d'être les moteurs du changement de préférence que le conflit de gradient direct. Ils notent des limites, notamment l'utilisation d'adaptateurs LoRA sur un modèle de 8B et la restriction des diagnostics mécanistes à l'espace des paramètres, suggérant que les travaux futurs devraient étendre ces diagnostics à des modèles plus grands et à un ajustement de l'ensemble des paramètres pour confirmer la généralisabilité. Le travail vise à améliorer la surveillance et la conception des pipelines de post-entraînement séquentiels plutôt qu'à proposer un nouvel algorithme spécifique.