Résumé Technique : Apprentissage de Préférences Calibré : Le Cas du Classement de Labels

Énoncé du Problème

Le classement de labels probabiliste (ProLR - Probabilistic Label Ranking) vise à prédire une distribution de probabilité sur les ordonnancements possibles d'un ensemble d'éléments donné un contexte. Bien que la calibration — l'alignement des probabilités prédites avec les fréquences réelles des résultats — soit largement étudiée pour la classification et la régression, elle n'a pas été formellement abordée pour le ProLR.

Traiter le classement de labels comme un problème standard de classification multi-classe (où chaque classement unique est une classe) est insuffisant pour plusieurs raisons :

1. Intraitabilité Computationnelle : Le nombre de classes de classement croît de manière factorielle ($m!$), rendant la mesure quantitative de la calibration difficile même pour un nombre modéré d'éléments.
2. Ignorance Structurelle : Une classification naïve ignore la structure métrique de l'espace de classement. Par exemple, deux classements partageant un sous-classement commun (ex: $i_1 \succ i_2 \succ i_3$ et $i_1 \succ i_3 \succ i_2$) sont traités comme des classes disjointes, échouant à capturer le fait que la calibration sur l'un pourrait induire la calibration sur l'autre.
3. Modalités Pratiques : Des modalités importantes spécifiques aux applications, telles que les comparaisons par paires et les prédictions top-$k$, ne sont pas naturellement capturées par les métriques de classification de rang complet.

Cette lacune est particulièrement critique dans des applications comme l'Apprentissage par Renforcement à partir de Rétroaction Humaine (RLHF), où les modèles de récompense reposent sur des préférences par paires (sous-structures de classements complets) pour aligner les Grands Modèles de Langage (LLM) avec les préférences humaines.

Méthodologie

Les auteurs formalisent la calibration pour le classement de labels en développant une hiérarchie de notions de calibration qui étendent la vue de la classification multi-classe. Ils définissent la calibration à différents niveaux de granularité :

1. Calibration de Rang Complet

• Calibration de Rang Complet (Full-Rank Calibration) : Analogue à la calibration forte en classification multi-classe. Un modèle est calibré sur le rang complet si, pour toute distribution prédite $p$ sur tous les classements, la fréquence empirique du classement réel $\pi$ correspond à $p[\pi]$.
• Calibration par Rang (Rankwise Calibration) : Analogue à la calibration faible. Un modèle est calibré par rang si, pour toute probabilité prédite $\alpha$ assignée à un classement spécifique $\pi$, la fréquence empirique de $\pi$ parmi les instances où $h(x)[\pi]=\alpha$ est exactement $\alpha$.

2. Calibration Marginale (Sous-classements et Top-$k$)

Le papier introduit la calibration pour les projections de la distribution de classement complète :

• Calibration de Sous-$k$ (Sub-$k$ Calibration) : Se concentre sur des sous-ensembles d'éléments $B$ ($|B|=k$). Elle exige que la distribution marginale sur les classements de $B$ soit calibrée. Cela inclut la calibration par paire ($k=2$), qui est centrale pour le RLHF.
• Calibration Top-$k$ (Top-$k$ Calibration) : Se concentre sur les $k$ premières positions du classement. Elle exige que la distribution marginale des $k$ premiers éléments soit calibrée.

3. Variantes Plus Faibles

Similairement à la distinction entre calibration forte et faible, les auteurs définissent la Calibration par Rang de Sous-$k$ et la Calibration par Rang de Top-$k$, qui ne conditionnent que sur la probabilité d'un sous-classement spécifique plutôt que sur l'ensemble de la distribution marginale.

Cadre Théorique

Le papier établit une hiérarchie d'implications et d'exclusions entre ces notions (visualisée dans la Figure 1) :

• Implications : La calibration de rang complet implique à la fois la calibration par rang, de sous-$k$ et de top-$k$. La calibration de sous-$k$ (et de top-$k$) implique leurs variantes respectives par rang.
• Non-Implications :
  • La calibration de sous-$k$ n'implique pas la calibration de rang complet (des modifications de la distribution complète peuvent s'annuler dans la marginale).
  • La calibration de top-$k$ n'implique pas la calibration de rang complet.
  • La calibration de sous-$k$ et de top-$k$ sont incomparables ; un modèle peut être calibré sur la sous-$k$ mais pas sur la top-$k$, et vice versa.
  • La calibration par rang (complète ou de sous-$k$) n'implique pas les notions de calibration marginale plus fortes, ni les autres variantes par rang.

Ces relations tiennent pour des classes de modèles généraux, incluant les modèles largement utilisés Plackett–Luce et Mallows.

Évaluation Empirique

Les auteurs évaluent des modèles populaires de classement de labels (Plackett–Luce, Mallows, Classement par Comparaison de Paires, et un Classificateur de Rang neuronal) sur des jeux de données réels (films, politique) et des modèles de récompense RLHF (RewardBench2).

• Métriques : Ils utilisent l'Erreur de Calibration Attendue (ECE), adaptée au classement en utilisant le partitionnement (binning) des probabilités prédites et en les comparant aux fréquences empiriques. En raison de la croissance factorielle des classes, ils restreignent le calcul de l'ECE aux 95 % des classements observés les plus fréquents.
• Analyse RLHF : Ils examinent la corrélation entre la calibration (ECE Top-1) et la précision des benchmarks dans RewardBench2.

Résultats Clés

1. Mauvaise Calibration des Modèles Populaires : Les résultats empiriques montrent que les modèles de classement de labels populaires (Plackett–Luce, Mallows) sont souvent mal calibrés, particulièrement à mesure que le nombre d'éléments augmente.
2. Divergence des Métriques : Il existe des différences substantielles entre les métriques de calibration de sous-classement et de top-$k$. Un modèle peut bien performer sur une métrique tout en échouant sur l'autre, confirmant l'incomparabilité théorique.
3. Modèles de Récompense RLHF : Dans le contexte du RLHF, la calibration est fortement corrélée mais pas parfaitement avec la précision du benchmark. Cela suggère que la calibration capture une dimension de qualité significative, distincte de la précision top-1.
4. Effets de Rupture de Rang (Rank Breaking) : Les modèles entraînés via la "rupture de rang" (ex: apprendre des préférences par paires et les agréger en une distribution complète) présentent souvent une mauvaise calibration par rapport aux modèles entraînés directement sur des données par paires ou sur des classements complets.

Signification et Contributions

Le papier revendique les contributions suivantes :

1. Formalisation : Il introduit une hiérarchie adaptée des notions de calibration pour le classement probabiliste de labels, dépassant les limites de la vision du problème comme une simple classification multi-classe.
2. Unification Théorique : Il fournit un tableau théorique unifié des relations entre ces notions, prouvant que la calibration sur les sous-classements n'implique pas la calibration sur les classements complets, même pour des modèles standards comme Plackett–Luce et Mallows.
3. Aperçu Empirique : Il démontre que les apprenants de classement de labels existants sont fréquemment mal calibrés et que la calibration est une métrique distincte et précieuse pour les modèles de récompense RLHF, offrant potentiellement des perspectives au-delà des benchmarks de précision standard.

Les auteurs concluent que ces découvertes motivent des travaux futurs sur la compréhension des effets en aval de la mauvaise calibration et le développement de méthodes spécifiques pour la corriger dans les tâches de classement de labels. Ils notent explicitement que, bien que leur travail soit fondateur, il souligne la nécessité de techniques de calibration spécifiquement conçues pour le classement de labels probabilistes plutôt que d'adapter les méthodes de classification.