Résumé technique : Modèles de récompense à mélange d'experts creux pour la modélisation des préférences personnalisées

Énoncé du problème

L'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) repose sur des modèles de récompense pour aligner les grands modèles de langage (LLM) avec les valeurs humaines. Cependant, les approches existantes entraînent généralement une fonction de récompense globale unique, supposant implicitement une notion unifiée des valeurs humaines. Cette hypothèse ne parvient pas à capturer le pluralisme et l'hétérogénéité inhérents aux préférences humaines, ce qui limite l'efficacité de l'alignement personnalisé.

Les tentatives précédentes pour modéliser des préférences hétérogènes ont exploré l'incorporation de signaux de supervision supplémentaires, tels que des annotations d'attributs multi-facettes ou des étiquettes spécifiques à l'utilisateur. Bien qu'efficaces, ces méthodes engendrent des coûts d'annotation élevés et reposent sur des dimensions de préférence prédéfinies. D'autres approches fondées sur les données tentent d'apprendre plusieurs composantes de préférence directement à partir de données de préférence binaires sans annotations supplémentaires. Cependant, sans conception explicite pour l'interprétabilité, ces composantes apprises capturent souvent des motifs enchevêtrés et incohérents, ce qui les rend difficiles à auditer et moins efficaces pour une personnalisation transparente.

Méthodologie

Les auteurs proposent un Modèle de Récompense à Mélange d'Experts Creux (Sparse Mixture-of-Experts - MoE) entraîné uniquement sur des données de préférence binaires standard. L'architecture se compose de $K$ fonctions de récompense expertes $\{r_{\theta_k}\}$ et d'un routeur $\pi_\phi(x)$ qui produit une distribution softmax sur les experts en fonction du prompt d'entrée $x$. La récompense finale est une moyenne pondérée des scores des experts.

Pour garantir que le modèle apprenne des experts interprétables et spécialisés, l'objectif d'entraînement inclut la perte de préférence Bradley-Terry standard ($L_{RM}$) augmentée de trois termes de régularisation spécifiques :

1. Sparsité Locale ($L_{ls}$) : Minimise l'entropie des poids de routage pour les entrées individuelles. Cela encourage le routeur à sélectionner un seul expert (ou très peu) pour un prompt donné, empênant ainsi une distribution uniforme.
2. Équilibre Global ($L_{gb}$) : Maximise l'entropie de la distribution de routage moyenne sur un lot (batch). Cela empêche l'effondrement du modèle ("model collapse"), où le routeur s'appuierait sur un seul expert pour toutes les entrées, garantissant une utilisation équilibrée du pool d'experts.
3. Diversité des Experts ($L_{div}$) : Pénalise la corrélation de Pearson par paire entre les différences de récompense ($\Delta_k = r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)$) de différents experts. Cela force les experts à capturer des signaux de préférence distincts et désenchevêtrés.

La fonction de perte totale est définie par :
$$L = L_{RM} + \lambda_{ls}L_{ls} + \lambda_{gb}L_{gb} + \lambda_{div}L_{div}$$

Interprétation et Adaptation :

• Interprétation : Les experts sont interprétés en résumant leurs exemples de plus forte activation à l'aide d'un LLM, produisant des descriptions en langage naturel des domaines ou tâches spécifiques dans lesquels chaque expert se spécialise.
• Personnalisation : Au moment du test, les experts sont gelés et le routeur est affiné (fine-tuned) à l'aide d'un petit ensemble d'exemples d'adaptation (par exemple, 50 exemples) pour s'aligner sur les préférences individuelles. Les changements dans les poids des experts après l'adaptation servent de lentille qualitative pour analyser comment le modèle s'adapte.

Contributions Clés

1. Architecture : Introduction d'un modèle de récompense MoE creux qui apprend des experts spécialisés et désenchevêtrés à partir de données de préférence binaires, sans nécessiter d'annotations d'attributs supplémentaires ou d'étiquettes d'utilisateurs.
2. Mécanisme d'Interprétabilité : Démonstration que l'imposition de la sparsité et de la diversité pendant l'entraînement conduit à des schémas de routage qui s'alignent sur des structures sémantiques interprétables par l'humain (ex: sujets spécifiques, types de tâches ou domaines).
3. Efficacité de la Personnalisation : Preuve que ces experts désenchevêtrés servent de blocs de construction efficaces pour la personnalisation au moment du test, permettant une adaptation rapide aux préférences individuelles avec un minimum de données.
4. Capacité de Diagnostic : Établissement que les décalages post-adaptation dans les poids des experts fournissent une vue transparente du comportement d'adaptation du modèle, liant les activations d'experts spécifiques aux attributs de préférence cibles.

Résultats Expérimentaux

Les auteurs ont évalué la méthode dans des contextes contrôlés et réels :

• Expériences Contrôlées (Récupération de Catégories) : Sur le jeu de données Stanford Human Preferences (SHP), où les catégories latentes (Académique, Professionnel, Cuisine, Fiction) étaient connues, le Sparse MoE a réussi à récupérer les quatre catégories. Il a atteint une Pureté d'Expert de 85,60 % (contre environ 50 % pour les baselines) et une Spécialisation d'Expert de 5,77 %, surpassant de manière significative le Vanilla MoE et MiCRo dans l'apprentissage de schémas de routage cohérents.
• Pilotage d'Attributs (Attribute Steering) : Sur le jeu de données Reasonable Preference Reversal (RPR), les auteurs ont démontré que la manipulation des poids de routage pouvait efficacement orienter le comportement du modèle vers des attributs spécifiques (ex: "Créativité" vs "Rigueur Scientifique"). Le Sparse MoE a atteint un taux d'inversion de 43,83 %, surpassant la meilleure baseline de 4,52 %.
• Interprétabilité en Conditions Réelles : Sur le jeu de données preference-700K, le Sparse MoE a obtenu le score de Fidélité de Description (0,38) et de Spécialisation d'Expert (15,13) le plus élevé. L'évaluation humaine a confirmé que les schémas de routage du Sparse MoE étaient nettement plus cohérents que ceux des baselines.
• Performance de Personnalisation : En personnalisation au moment du test sur RPR, le Sparse MoE a amélioré la précision globale de 25,81 points avec seulement 50 exemples d'adaptation, surpassant substantiellement toutes les baselines (qui montraient des améliorations de moins de 10 points). Des gains similaires ont été observés lors de l'adaptation au niveau de l'utilisateur sur le jeu de données PersonalLLM.

Signification et Revendications

L'article affirme que les modèles de récompense Sparse MoE offrent une solution évolutive à la modélisation des préférences personnalisées qui ne dépend pas d'annotations prédéfinies coûteuses. En apprenant des experts interprétables et spécialisés directement à partir de données binaires, l'approche permet :

• Une Personnalisation Transparente : La capacité d'adapter les LLM aux préférences individuelles tout en conservant une compréhension claire de comment le modèle s'adapte (via les décalages de poids des experts).
• Une Représentation Désenchevêtrée : La récupération de structures sémantiques latentes qui sont autrement obscurcies par les modèles de récompense globaux.
• L'Efficacité : Une personnalisation efficace avec très peu d'exemples d'adaptation (jusqu'à 5), ce qui rend la méthode pratique pour un déploiement réel où les données utilisateur sont rares.

Les auteurs reconnaissent des limites, notant que la méthode introduit une complexité de réglage des hyperparamètres et une légère baisse de la précision de la modélisation des préférences universelles. Ils soulignent également les risques éthiques, tels que la possibilité que les modèles soient adaptés pour renforcer des comportements nuisibles ou contourner les contraintes de sécurité, recommandant une surveillance éthique prudente pour un déploiement dans le monde réel.