Résumé Technique : Que récupère l'apprentissage de préférences à partir de données de comparaison par paires ?

Énoncé du Problème

L'apprentissage de préférences par paires est un paradigme fondamental en apprentissage automatique, largement utilisé pour classer des équipes sportives, les systèmes de recommandation et, plus récemment, pour aligner les grands modèles de langage (LLM) avec les préférences humaines. Le format de données standard consiste en des triplets $(x, y^+, y^-)$, indiquant que la réponse $y^+$ est préférée à $y^-$ dans le contexte $x$.

L'approche dominante pour ce problème est le modèle de Bradley-Terry (BT), qui suppose que les préférences sont générées de manière stochastique sur la base de scores de qualité latents, de sorte que la probabilité de préférer $y$ à $y'$ est une fonction sigmoïde de la différence de leurs scores. Cependant, les analyses statistiques standard de BT supposent que les données suivent strictement ce processus génératif. En pratique, les données du monde réel violent souvent ces hypothèses (par exemple, en raison de processus d'annotation humaine complexes ou de systèmes d'étiquetage par IA). Par conséquent, il reste incertain de ce que l'objectif d'apprentissage BT récupère réellement lorsque le modèle est mal spécifié, comment les stratégies de collecte de données affectent la capacité d'apprentissage, et sous quelles conditions les scores appris sont fiables.

Méthodologie

Les auteurs proposent un cadre centré sur les données qui commence par la distribution de triplets observée $P$ plutôt qu'en supposant un modèle génératif spécifique.

1. Distribution de Préférence Conditionnelle (CPRD) : L'article formalise l'information de préférence encodée dans toute distribution de triplets $P$ sous la forme de la Distribution de Préférence Conditionnelle (CPRD), notée $\omega_P(y \succ y' | x)$. Cela représente la probabilité de préférer $y$ à $y'$ étant donné le contexte $x$, dérivée directement des données de triplets via la règle de Bayes. La CPRD est identifiée comme l'objet fondamental d'intérêt, indépendant de la manière dont les données ont été générées.

2. Représentabilité BT et Indépendance Conditionnelle : Les auteurs caractérisent les conditions précises sous lesquelles une CPRD peut être représentée par un modèle BT. Ils établissent qu'une CPRD est représentable par un modèle BT si et seulement si la distribution sous-jacente satisfait l'indépendance conditionnelle positif-négatif. Cette condition implique que, étant donné un contexte $x$, la réponse préférée $y^+$ et la réponse non préférée $y^-$ sont générées indépendamment à partir de distributions conditionnelles $p_+(\cdot|x)$ et $p_-(\cdot|x)$. Sous cette condition, la fonction de score optimale est le rapport de densité logarithmique : $r(x, y) = \log \frac{p_+(y|x)}{p_-(y|x)}$.

3. Interprétation de l'Objectif d'Apprentissage : L'article analyse l'objectif d'apprentissage standard de BT discriminatif (minimisation de la log-vraisemblance négative des triplets). Ils prouvent que cet objectif est équivalent à la minimisation de la divergence de Kullback-Leibler (KL) entre la véritable CPRD et la distribution de préférence induite par le modèle BT, spécifiquement sous la "distribution de comparaison" (la distribution marginale sur les paires non ordonnées $\{y, y'\}$).

   • Cas Réalisable : Si la véritable CPRD est représentable par un modèle BT, l'objectif BT récupère la véritable CPRD presque sûrement.
   • Cas de Mauvaise Spécification : Si la véritable CPRD n'est pas représentable, l'objectif BT converge vers la projection KL de la véritable CPRD sur la famille des modèles BT. Cela clarifie que l'apprentissage BT récupère la "meilleure approximation possible" par BT des données, et non nécessairement la vérité de terrain.

4. Analyse de la Complexité d'Échantillonnage : Les auteurs dérivent des bornes d'erreur d'estimation pour la récupération d'une fonction de score cible. Ils identifient deux facteurs régissant l'efficacité de l'apprentissage :

   • Marge de Paire (Pairwise Margin) : L'amplitude de la différence de score $|\Delta r^*|$. Des marges plus larges rendent l'ordonnancement correct plus robuste aux erreurs d'estimation.
   • Connectivité : Une nouvelle métrique, $\lambda_{conn}$, définie comme l'infimum du ratio entre l'espérance de la différence au carré des marges de score sous la distribution de comparaison et la variance de la différence de score sous la distribution de test. Cette métrique généralise la valeur de Fiedler (connectivité algébrique) du graphe de comparaison dans les contextes tabulaires et la plus petite valeur propre d'une matrice de covariance dans les contextes linéaires.

Contributions Clés

1. Formalisation de la CPRD : L'article introduit la CPRD comme la représentation canonique de l'information de préférence dans les données de triplets, découplant la cible d'apprentissage des hypothèses génératives spécifiques.
2. Caractérisation de la Représentabilité BT : Il fournit une condition nécessaire et suffisante (indépendance conditionnelle positif-négatif) pour déterminer quand une CPRD admet une représentation BT, reliant les modèles BT à l'estimation de contraste de bruit et aux fonctions de récompense implicites.
3. Interprétation de la Mauvaise Spécification : Les auteurs prouvent que l'objectif d'apprentissage BT effectue une projection KL de la véritable CPRD sur la famille BT. Cela offre une compréhension précise de ce qui est récupéré lorsque les hypothèses du modèle échouent.
4. Bornes de Complexité d'Échantillonnage : L'article établit que l'efficacité de l'apprentissage est régie par la marge et la connectivité. Il fournit des bornes d'erreur explicites montrant que l'erreur d'estimation varie inversement avec le degré de connectivité.
5. Validation Empirique : À travers des expériences synthétiques et réelles, les auteurs démontrent que :
   • Des marges plus larges mènent à une précision plus élevée, particulièrement dans les régimes de faibles données.
   • Une connectivité plus élevée réduit l'erreur d'estimation et améliore la généralisation.
   • L'optimisation de la distribution négative pour augmenter la connectivité améliore l'apprentissage lorsque la connectivité est le facteur limitant.
   • Dans les jeux de données réels (ex: HH-RLHF, UltraFeedback), la connectivité explique les différences de performance que la marge seule ne peut expliquer, soulignant l'importance de la couverture des données par rapport à la distribution d'évaluation.

Résultats

• Théoriques : L'article prouve que sous l'indépendance conditionnelle positif-négatif, le modèle BT récupère le rapport de densité logarithmique des distributions positives et négatives. Il montre en outre que sans cette hypothèse, l'apprentissage BT récupère la projection KL de la véritable distribution de préférence.
• Expériences Synthétiques :
  • Marge : Apprendre à partir de scores normalisés par rang (qui maximisent la marge minimale) produit une précision nettement plus élevée que l'apprentissage à partir des scores originaux, surtout avec des données limitées.
  • Connectivité : Varier la distribution négative pour modifier la connectivité montre qu'une faible connectivité prédit de manière fiable une faible précision. L'optimisation de la distribution négative pour maximiser la connectivité améliore la précision dans les scénarios où la connectivité est le facteur limitant.
  • Mauvaise Spécification : Lorsqu'on entraîne sur des données non-BT, le score appris converge vers la même cible de projection KL que les données cohérentes avec BT, mais avec une erreur de probabilité de paire irréductible plus élevée.
• Expériences Réelles : L'entraînement de modèles de récompense sur différents jeux de données (HH-RLHF, PKU-SafeRLHF, SHP, UltraFeedback) et leur évaluation sur UltraFeedback révèle que les jeux de données ayant une haute connectivité avec la distribution de test généralisent mieux. Par exemple, bien que HH-RLHF et PKU-SafeRLHF aient de larges marges, leur faible connectivité par rapport au jeu de test généraliste UltraFeedback entraîne une précision moindre par rapport à SHP, qui possède une connectivité plus élevée.

Signification

L'article fournit une base rigoureuse et centrée sur les données pour comprendre l'apprentissage de préférences. En déplaçant l'attention de l'hypothèse d'un modèle génératif vers l'analyse de la distribution des données elle-même, les auteurs offrent aux praticiens un cadre pour :

• Diagnostiquer les Échecs : Comprendre quand et pourquoi les modèles BT peuvent échouer (par exemple, violation de l'indépendance conditionnelle).
• Guider la Collecte de Données : Reconnaître qu'un apprentissage de préférences efficace nécessite non seulement des marges larges, mais aussi une haute connectivité dans le graphe de comparaison par rapport à la distribution d'évaluation.
• Interpréter les Modèles Appris : Réaliser que dans les contextes de mauvaise spécification, le modèle appris représente la meilleure approximation BT des données plutôt que la vérité de terrain.

Ce travail comble le fossé entre la théorie statistique et l'application pratique dans l'alignement des LLM, offrant des perspectives exploitables pour la conception de meilleurs ensembles de données de préférence et l'interprétation des limites des approches actuelles de modélisation de récompense.