Users as Annotators: LLM Preference Learning from Comparison Mode

Résumé technique : Utilisateurs en tant qu'annotateurs : Apprentissage des préférences des LLM à partir du mode de comparaison

Énoncé du problème
L'alignement des grands modèles de langage (LLM) avec les préférences humaines repose généralement sur des données de préférences par paires, où des annotateurs sélectionnent la meilleure réponse parmi deux sorties du modèle. Traditionnellement, ces données sont collectées via des annotateurs humains professionnels, un processus coûteux et limité en échelle. Bien que les utilisateurs finaux des plateformes de LLM (par exemple, via les modes de comparaison dans ChatGPT) offrent une source massive et évolutive de données de préférences, cette approche souffre d'un manque critique de contrôle de qualité. Contrairement aux annotateurs professionnels, les utilisateurs ne sont pas incités à fournir des jugements cohérents et peuvent étiqueter les données de manière aléatoire. Les techniques existantes de contrôle de qualité, telles que les « questions or » ou les vérifications de cohérence interne, sont impraticables dans ce contexte car les plateformes ne peuvent ni contrôler les requêtes des utilisateurs ni imposer des annotations répétées. Le défi central consiste à distinguer les retours utilisateurs de haute qualité et attentifs des entrées bruyantes et superficielles, sans accès à des étiquettes de vérité terrain ni à une supervision d'experts.

Méthodologie
L'article propose un cadre pour évaluer la qualité de l'annotation utilisateur et filtrer les données pour les tâches d'alignement en aval (spécifiquement l'optimisation directe des préférences, ou DPO). La méthodologie repose sur trois composants clés :

1. Génération asymétrique de réponses : Contrairement aux pipelines de préférence standards où deux réponses sont générées à partir du même modèle, ce cadre génère deux réponses ($y_{i1}, y_{i2}$) à partir de deux LLM différents ($P_A$ et $P_B$) présentant un écart de performance connu. Cette asymétrie crée un levier statistique : un utilisateur attentif est censé préférer le modèle plus performant plus souvent, tandis qu'un utilisateur superficiel choisit au hasard.
2. Modèle comportemental utilisateur : Les auteurs modélisent le comportement d'annotation de l'utilisateur $j$ à l'aide d'un paramètre latent « d'attention » $\eta_j \in [0, 1]$.
   • Si $\eta_j = 1$, l'utilisateur agit comme un annotateur parfait, sélectionnant la réponse préférée par la population avec une probabilité $p(x_i)$.
   • Si $\eta_j = 0$, l'utilisateur choisit au hasard (50/50).
   • La probabilité que l'utilisateur $j$ sélectionne la réponse 1 est modélisée comme $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • Ici, $p(x_i)$ représente la probabilité réelle de préférence de la population (la probabilité que le modèle A soit meilleur que le modèle B).
3. Algorithme de maximisation de l'espérance (EM) : Puisque $\eta_j$ est inobservable, les auteurs développent un algorithme EM pour estimer les paramètres du modèle comportemental utilisateur (incluant la distribution de $\eta_j$ et la probabilité globale de préférence $\mu$).
   • Étape E : Calcule la distribution a posteriori de l'attention de chaque utilisateur $\eta_j$ compte tenu de son historique d'annotation et des estimations actuelles des paramètres.
   • Étape M : Met à jour les paramètres du modèle pour maximiser la vraisemblance logarithique des données complètes espérée.
   • L'algorithme suppose une probabilité globale de préférence $\mu$ connue ou estimable (le taux de victoire moyen du modèle A sur le modèle B) pour assurer l'identifiabilité, bien que l'article discute des extensions pour un $\mu$ inconnu.
   • Une fois $\eta_j$ inféré, les utilisateurs sont filtrés selon un seuil (par exemple, ne retenir que ceux ayant une forte probabilité a posteriori d'être attentifs).

Contributions clés

• Cadre d'annotation novateur : L'article introduit le premier modèle probabiliste spécifiquement conçu pour capturer le comportement des utilisateurs dans les modes de comparaison de LLM, exploitant l'asymétrie de la génération de réponses à partir de deux modèles différents pour inférer la qualité des données.
• Inférence statistique via EM : Il développe un algorithme EM pour estimer l'attention latente des utilisateurs et la distribution sous-jacente des préférences. Les auteurs fournissent des garanties théoriques, montrant que sous des conditions de régularité spécifiques, l'algorithme converge vers les vrais paramètres à mesure que le nombre d'utilisateurs et d'échantillons augmente.
• Filtrage des données pour l'alignement : Le cadre démontre un pipeline pratique où l'attention inférée est utilisée pour filtrer les annotations de faible qualité avant l'entraînement. Cela permet d'utiliser des masses de données utilisateurs non vérifiées tout en atténuant le bruit.

Résultats expérimentaux
Les auteurs valident leur approche par des expériences synthétiques et des tâches DPO en aval :

• Convergence synthétique : Les simulations confirment que l'algorithme EM converge vers les vrais paramètres quelle que soit l'initialisation. L'algorithme démontre également une robustesse face à une mauvaise spécification du modèle (par exemple, estimer une distribution discrète lorsque la distribution réelle est continue).
• Performance DPO : Dans des expériences utilisant des jeux de données tels que UltraFeedback et HelpSteer3, les auteurs ont affiné des LLM (par exemple, Qwen2.5-7B) en utilisant des données filtrées.
  • Le filtrage pour les utilisateurs attentifs (en retenant les 80 % supérieurs selon l'attention inférée) a constamment amélioré les performances DPO par rapport à un entraînement sur des données non filtrées.
  • Les améliorations comprenaient des scores de récompense moyens plus élevés (augmentation de plus de 10 % dans certains cas) et des taux de victoire plus élevés contre des modèles de référence.
  • Les expériences ont également mis en évidence un compromis : bien que le filtrage améliore la qualité, un filtrage excessif réduit le volume de données. Un seuil optimal existe en fonction de la distribution sous-jacente de l'attention des utilisateurs.
  • L'écart de performance entre les deux modèles de génération (représenté par $\mu$) s'est avéré critique ; si $\mu$ est trop proche de 0,5, les utilisateurs attentifs et superficiels deviennent indistinguables, entravant le processus de filtrage.

Portée et affirmations
L'article prétend offrir une solution évolutive pour l'alignement des LLM en transformant les utilisateurs finaux en annotateurs efficaces. En formalisant le comportement utilisateur et en introduisant un mécanisme statistique pour filtrer le bruit, ce travail permet d'utiliser d'énormes quantités de données de préférences générées par les utilisateurs, qui étaient auparavant considérées comme trop bruyantes pour l'entraînement. Les auteurs positionnent cela comme une approche complémentaire aux méthodes d'entraînement robustes existantes (comme le DPO robuste), en se concentrant sur la qualité des données avant l'entraînement plutôt que simplement sur la tolérance au bruit pendant l'entraînement. Le travail ouvre également la voie à de futurs mécanismes d'incitation utilisateur, tels que la récompense des utilisateurs en fonction de leurs niveaux d'attention inférés. La contribution théorique réside dans les garanties de convergence globale de l'algorithme EM proposé pour ce modèle comportemental spécifique, fournissant une fondation mathématique solide à l'approche.