Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

1. Problématique et Contexte

L'alignement des grands modèles de langage (LLM) avec les préférences humaines est un défi majeur. Les approches conventionnelles de modélisation de la récompense (Reward Modeling) apprennent un modèle unique et partagé, ce qui conduit inévitablement à une "moyenne" des préférences, négligeant la diversité et les conflits entre utilisateurs.

La factorisation de récompense a émergé comme une solution prometteuse, décomposant la récompense personnalisée $r_u$ d'un utilisateur $u$ en une combinaison linéaire de fonctions de base partagées $\phi$ et de poids spécifiques à l'utilisateur $w_u$ ($r_u = w_u^\top \phi$). Cependant, les méthodes existantes souffrent de deux limitations fondamentales :

• C1 : Modélisation isolée des préférences : Les méthodes actuelles estiment les poids $w_u$ pour chaque utilisateur de manière isolée, sans exploiter les motifs de préférences partagés au sein de la population. Cela rend l'estimation imprécise, surtout pour les utilisateurs avec peu de données (scénarios few-shot) ou pour les utilisateurs jamais vus (unseen users).
• C2 : Estimations déterministes ponctuelles : Les méthodes actuelles représentent les préférences d'un utilisateur comme un point déterministe unique. Or, les historiques de préférences comportent une incertitude intrinsèque (due à la rareté des données ou à la diversité des goûts). Une estimation ponctuelle ne peut pas exprimer la fiabilité de cette estimation, conduisant à des inférences peu fiables.

2. Méthodologie : VRF (Variational Reward Factorization)

Les auteurs proposent VRF, un cadre de personnalisation sensible à l'incertitude qui représente les préférences des utilisateurs non pas comme des points, mais comme des distributions variationnelles dans un espace de préférences partagé.

Composants Clés :

1. Encodage Variationnel des Préférences Utilisateur :

   • Un encodeur variationnel infère la distribution de préférence d'un utilisateur $q_u = \mathcal{N}(\mu_u, \text{diag}(\sigma_u^2))$ à partir d'un petit ensemble de référence (quelques paires de préférences).
   • $\mu_u$ encode la localisation des préférences, tandis que $\sigma_u$ capture l'incertitude.
   • L'agrégation des observations utilise le produit de Gaussiennes (plutôt qu'une moyenne simple), pondérant chaque observation par sa précision ($\sigma^{-2}$), ce qui permet une estimation plus robuste.

2. Bases de Préférences Probabilistes Partagées :

   • Le modèle maintient $K$ bases de préférences partagées $P = \{p_k\}$, où chaque base $p_k$ est également une distribution gaussienne $\mathcal{N}(\mu_k, \sigma_k^2)$.
   • Ces bases capturent des styles de préférences distincts (ex: concision, empathie, factualité) et permettent aux utilisateurs avec peu de données de bénéficier des signaux collectifs de la population.

3. Appariement Sensible à l'Incertitude (Wasserstein Distance) :

   • Les poids utilisateur $w_u$ sont dérivés en calculant la distance de Wasserstein-2 ($W_2$) au carré entre la distribution de l'utilisateur $q_u$ et chaque base $p_k$.
   • Contrairement à la divergence KL, $W_2$ prend en compte la structure géométrique de l'espace latent et la variance. La formule intègre naturellement à la fois la position ($\mu$) et l'incertitude ($\sigma$).
   • Les poids sont ensuite normalisés via une fonction softmax sur ces distances.

4. Objectifs d'Entraînement Sensibles à l'Incertitude :

   • Perte Bradley-Terry à Atténuation de Variance ($L_{VBT}$) : Au lieu d'utiliser une différence de récompense scalaire, VRF modélise la différence comme une distribution gaussienne. La perte atténue automatiquement le gradient lorsque l'incertitude ($\sigma^2_\Delta$) est élevée, empêchant le modèle d'apprendre à partir de signaux de préférence ambigus.
   • Perte de Séparation ($L_{SEP}$) : Encourage la diversité entre les bases de préférences pour éviter l'effondrement modal.
   • Régularisation ($L_{REG}$) : Utilise un prior de mélange de Gaussiennes pour contraindre les distributions utilisateurs à rester dans l'espace de préférences appris.

5. Inférence Few-Shot :

   • Pour un utilisateur jamais vu, VRF estime les poids en une seule passe avant (forward pass) sans optimisation par gradient, rendant le processus extrêmement rapide et évolutif.

3. Contributions Clés

• Identification des défis : Mise en lumière des problèmes d'estimation isolée et d'absence de quantification de l'incertitude dans la factorisation de récompense existante.
• Cadre VRF : Proposition d'une approche unifiée représentant utilisateurs et bases comme des distributions probabilistes, permettant un appariement sensible à l'incertitude.
• Validation empirique : Démonstration de performances supérieures sur trois benchmarks (PersonalLLM, TL;DR, PRISM) pour les utilisateurs vus et non vus, avec une robustesse accrue face à la rareté des données et aux niveaux d'incertitude variables.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois ensembles de données avec des niveaux de diversité de préférences variables.

• Performance Globale : VRF surpasse systématiquement tous les baselines (y compris BT, VPL, PAL, LoRe, PReF) en termes de précision des préférences par paires (Pairwise Accuracy).
  • Sur PersonalLLM (préférences très diverses), l'écart de performance s'élargit, montrant que VRF capture mieux l'hétérogénéité.
  • Sur PRISM, VRF améliore la précision de +1.9% par rapport au meilleur concurrent (PAL) même avec un seul exemple de référence (few-shot).
• Robustesse à l'Incertitude : VRF maintient une performance élevée même pour les utilisateurs ayant une forte incertitude de préférence ($\sigma_u$ élevé), là où les méthodes déterministes échouent.
• Alignement en Temps d'Inférence : Les gains de précision se traduisent par de meilleurs résultats lors de l'alignement en aval (échantillonnage best-of-N), avec des taux de victoire supérieurs.
• Efficacité : VRF est extrêmement rapide à l'adaptation (0.6 ms par utilisateur contre >80 ms pour les méthodes basées sur l'optimisation par gradient), permettant un déploiement à grande échelle (ex: 1 million d'utilisateurs en <10 minutes).

5. Signification et Impact

Ce travail représente une avancée significative dans la personnalisation des LLM en introduisant une quantification rigoureuse de l'incertitude dans le processus de modélisation des récompenses.

• Théorique : Il démontre que traiter les préférences comme des distributions plutôt que des points fixes améliore la fiabilité de l'inférence, en particulier dans des scénarios de données rares.
• Pratique : La capacité d'adaptation instantanée (sans réentraînement) et la robustesse aux données limitées rendent VRF idéal pour des applications réelles où les utilisateurs ont peu d'historique ou où les préférences sont fluctuantes.
• Futur : Cela ouvre la voie à des systèmes d'alignement plus dynamiques et adaptatifs, capables de gérer l'évolution des préférences utilisateurs dans le temps.

En résumé, VRF propose une solution élégante et efficace pour dépasser les limites des modèles de récompense partagés et des estimations déterministes, offrant une voie scalable pour une personnalisation fiable des LLM.