Explanation Quality Assessment as Ranking with Listwise Rewards

1. Énoncé du problème

Le papier aborde un goulot d'étranglement critique dans l'entraînement des modèles de langage de grande taille (LLM) pour générer des explications de haute qualité : l'échec de la modélisation de récompense standard à capturer des distinctions de qualité graduées.

• La limitation des approches actuelles : La plupart des méthodes existantes traitent l'évaluation des explications soit comme une tâche de classification binaire (bon/mauvais), soit comme une tâche de régression ponctuelle (prédiction d'un score scalaire).
• Compression des scores : Les auteurs identifient la « compression des scores » comme un mode de défaillance principal. Les objectifs de régression (MSE) et de préférence binaire tendent à comprimer les scores prédits d'explications diverses dans une plage étroite.
• Impact sur l'optimisation de la politique : Dans l'apprentissage par renforcement à partir de retours humains (RLHF), spécifiquement l'optimisation de politique proximale (PPO), le signal de récompense pilote les mises à jour de la politique. Lorsque la séparation des scores est minimale (par exemple, une explication « or » et une explication « absurde » reçoivent des scores de 0,51 et 0,49), les estimations d'avantage sont dominées par le bruit. Cela rend le signal de gradient trop faible pour un apprentissage de politique efficace, entraînant l'échec du PPO ou sa convergence vers des solutions sous-optimales.

2. Méthodologie

Les auteurs proposent de reformuler l'évaluation de la qualité des explications comme un problème d'apprentissage pour le classement (Learning-to-Rank, LTR) plutôt que comme un problème de génération ou de régression.

A. Construction d'un jeu de données gradué

Pour entraîner des modèles de classement, les auteurs ont construit un jeu de données avec cinq niveaux de qualité distincts pour chaque instance d'inférence linguistique naturelle (NLI) :

1. Or : Explications annotées par des humains issues de e-SNLI (fort accord inter-annotateurs).
2. Bon, Moyen, Faible : Explications synthétiques générées via des modèles déterministes, conscients des étiquettes, qui se dégradent systématiquement en cohérence logique et en pertinence.
3. Absurde : Texte sémantiquement non pertinent.

• Innovation clé : Les auteurs ont introduit des plages de scores chevauchantes pour les niveaux adjacents (par exemple, « Bon » chevauche « Moyen »). Cela imite le désaccord et l'ambiguïté naturels des humains, empêchant le modèle d'apprendre des frontières triviales et le forçant à apprendre des caractéristiques nuancées.

B. Modélisation de récompense basée sur le classement

Au lieu de prédire un seul score scalaire, le modèle apprend à ordonner un ensemble d'explications candidates $\{e_1, ..., e_n\}$ pour une requête donnée $q$.

• Architecture : Ils utilisent des modèles encodeurs (BERT, RoBERTa, DeBERTa) et des modèles décodeurs (Phi-2, Falcon, Mistral) avec une tête de projection pour générer des scores.
• Fonctions de perte : Ils comparent les objectifs standard avec des pertes spécifiques au classement :
  • Régression MSE : Prédiction ponctuelle.
  • Classification binaire : Modèle de préférence Bradley-Terry (par paires).
  • ListNet : Perte listwise optimisant la distribution de probabilité sur l'ensemble de la liste.
  • RankNet : Perte par paires.
  • ApproxNDCG : Optimisation du gain cumulé discounté normalisé.
• Intégration avec PPO : Le modèle de classement sert d'estimateur de récompense $f_\theta(q, e)$. La fonction d'avantage est calculée comme $\hat{A}_t = f_\theta(q_t, e_t) - V_\phi(q_t)$. Comme le modèle de classement préserve les écarts ordinaux, les estimations d'avantage reflètent des différences de qualité relative significatives, fournissant des gradients stables pour le PPO.

3. Contributions clés

1. Identification de la compression des scores : Le papier identifie formellement la compression des scores dans les modèles de régression et de préférence binaire comme une cause racine de l'échec du PPO dans les tâches d'explication, démontrant qu'elle détruit le signal d'apprentissage.
2. Le classement comme solution : Ils établissent un lien de bout en bout montrant que les objectifs de classement préservent la séparation des scores, conduisant à des estimations d'avantage plus informatives et à une convergence PPO plus rapide et plus stable.
3. Insights centrés sur les données : L'étude révèle que la qualité et la structure des données importent plus que l'échelle du modèle. De petits modèles encodeurs (par exemple, 110 millions de paramètres) entraînés sur des données graduées soigneusement sélectionnées surpassent ou égalent des modèles décodeurs beaucoup plus grands (7 milliards de paramètres).
4. Analyse des fonctions de perte : Ils démontrent que la fonction de perte de classement optimale dépend des caractéristiques des données :
   • Listwise (ListNet) excelle lorsque les niveaux de qualité sont bien séparés.
   • Par paires (RankNet) est plus robuste aux annotations bruyantes mais produit généralement une séparation de scores inférieure à ListNet.
5. Paradigme de jeu de données gradué : Ils introduisent une méthode pour convertir les benchmarks NLI standards (qui ont une variance de score nulle par requête) en benchmarks de classement en injectant des candidats synthétiques gradués avec des distributions de scores chevauchantes.

4. Résultats expérimentaux

Les expériences ont été menées sur 50 000 explications e-SNLI annotées par des humains et validées sur quatre benchmarks NLI (e-SNLI, MultiNLI, Delta-NLI, WinoWhy) et trois tâches de raisonnement de bon sens.

• Séparation des scores : ListNet a atteint un Ratio de Séparation des Scores de 0,920, contre 0,089 pour la régression MSE. Cela signifie que ListNet a préservé la distance relative entre les niveaux de qualité presque parfaitement, tandis que MSE les a effondrés.
• Performance de classement :
  • ListNet a atteint une discrimination quasi parfaite (NDCG@5 $\approx$ 1,0, Spearman $\rho \approx$ 0,92) sur toutes les tailles de modèles.
  • Régression MSE a considérablement peiné (NDCG@5 $\approx$ 0,79).
• Convergence PPO :
  • PPO basé sur ListNet a convergé en 1 000 étapes avec une qualité d'explication finale de 4,1/5,0 et seulement 9 % d'erreurs.
  • PPO basé sur MSE n'a pas convergé du tout.
  • Classification binaire a nécessité 3 200 étapes et a produit une qualité inférieure (3,2/5,0).
• Efficacité : Malgré la surcharge computationnelle du softmax listwise, ListNet était l'approche de bout en bout la plus efficace car les signaux de gradient plus forts ont considérablement réduit le nombre d'époques d'entraînement et d'étapes PPO requises.
• Échelle du modèle : De petits encodeurs (RoBERTa-base, 125M) ont atteint une performance de classement quasi parfaite, égalant les décodeurs de 7 milliards de paramètres, prouvant que les données structurées de haute qualité sont le facteur limitant, et non la capacité du modèle.

5. Signification et impact

• Changement de paradigme : Le papier soutient que la qualité des explications est intrinsèquement un problème de classement, et non un problème de génération ou de régression. Cela déplace l'accent de « générer le meilleur token » vers « discriminer la meilleure explication ».
• Stabilisation du RLHF : En résolvant le problème de la compression des scores, cette approche fournit un mécanisme robuste pour entraîner des LLM via PPO dans des tâches nécessitant un raisonnement et une justification complexes, où les récompenses rares échouent généralement.
• Rentabilité : Les résultats suggèrent que les organisations peuvent atteindre une qualité d'explication de pointe en utilisant des modèles encodeurs plus petits et plus efficaces s'ils investissent dans la construction de jeux de données de classement gradués de haute qualité, plutôt que de compter uniquement sur l'augmentation des paramètres du modèle.
• Généralisation : La méthode a été transférée avec succès des tâches NLI au raisonnement de bon sens (WinoGrande, CommonsenseQA) sans affinage supplémentaire, indiquant que les capacités de classement apprises sont indépendantes du domaine.

En conclusion, le papier démontre que préserver la structure ordinale grâce à des pertes de classement listwise est essentiel pour une optimisation de politique efficace dans la génération d'explications, offrant une voie évolutive et économe en données pour améliorer les capacités de raisonnement des LLM.