Résumé technique : Le compromis entre représentation et rationalisabilité dans l'apprentissage de récompense

Énoncé du problème

Dans l'apprentissage par renforcement à partir de rétroactions humaines (RLHF), la tâche d'apprentissage centrale consiste à convertir des préférences par paires hétérogènes provenant de multiples annotateurs en une fonction de récompense scalaire unique $r(x, y)$. La théorie classique du choix social établit que lorsque les échantillons d'annotateurs sont hétérogènes, les préférences agrégées peuvent induire des cycles de Condorcet (par exemple, $A \succ B$, $B \succ C$, $C \succ A$), rendant impossible pour toute récompense scalaire de classer systématiquement toutes les paires de réponses.

Bien que la littérature récente ait analysé le RLHF sous l'angle du choix social, ces travaux supposent généralement un ensemble fini d'alternatives pré-énumérées et fixes. Dans les pipelines modernes, cependant, les réponses sont scorées via une représentation apprise $\phi(x, y)$ suivie d'une tête scalaire $g$, telle que $r(x, y) = g(\phi(x, y))$. L'encodage $\phi$ détermine quelles réponses sont traitées comme des alternatives distinctes et quelles comparaisons sont visibles par le modèle de récompense. Cet article examine la question fondamentale suivante : L'augmentation de la richesse représentationnelle de $\phi$ améliore-t-elle toujours l'ajustement aux préférences humaines ?

Les auteurs soutiennent que l'intuition commune — selon laquelle des représentations plus riches fournissent plus de signaux et donc un meilleur ajustement — est incomplète. Au lieu de cela, l'encodage modifie lui-même le problème d'agrégation. Affiner $\phi$ réduit le nombre de réponses qui sont fusionnées, transformant des paires auparavant indiscernables en alternatives distinctes. Bien que cela réduise la perte d'information, cela expose simultanément davantage de comparaisons par paires qui peuvent former des cycles irréductibles, qu'aucune récompense scalaire ne peut rationaliser.

Méthodologie et cadre théorique

1. Décomposition de l'excès de perte

L'article formalise le problème d'apprentissage sous un modèle d'utilité aléatoire (RUM) avec une hétérogénéité arbitraire des annotateurs. Les auteurs définissent l'excès de perte d'entropie croisée d'une récompense apprise $r$ par rapport à la perte de Bayes-optimale $L^*$ (la meilleure performance possible compte tenu d'une connaissance parfaite des préférences agrégées).

Ils prouvent que cet excès de perte se décompose exactement en deux termes :
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• Perte d'encodage ($E_{\text{emb}}$) : Mesure l'information rejetée lorsque l'encodage $\phi$ fusionne des réponses distinguables sur un même point. Ce terme diminue à mesure que $\phi$ devient plus riche (dimension plus élevée ou plus expressive).
• Coût d'accord ($E_{\text{agr}}$) : Mesure l'irréductibilité des préférences agrégées. Même si $\phi$ préserve parfaitement toutes les distinctions (est injectif), les préférences agrégées peuvent contenir des cycles qui empêchent toute récompense scalaire de les rationaliser simultanément. Ce terme augmente à mesure que $\phi$ devient plus riche car il expose plus de cycles potentiels.

2. Bornes inférieures et analyse du compromis

Les auteurs dérivent une borne inférieure sur l'excès de perte qui quantifie explicitement la tension entre ces deux termes :
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
Où :

• $e_d$ est l'erreur d'encodage (liée à $E_{\text{emb}}$), qui est monotone décroissante avec la dimension de l'encodage $d$.
• $\bar{P}_d^\delta$ est une probabilité pondérée par la courbure des cycles de Condorcet visibles à la dimension $d$, qui est croissante avec $d$.
• $\ell_\delta$ est une constante dépendante de la marge.

Sous des hypothèses modérées (spécifiquement, que le $\sigma$-champ généré par l'encodage croît avec la dimension), l'article montre que les bornes inférieures des deux termes évoluent dans des directions opposées. Par conséquent, des représentations extrêmement grossières comme extrêmement fines peuvent être sous-optimales, impliquant l'existence d'une dimension d'encodage optimale dépendant du jeu de données.

3. Extensions à DPO et entraînement conjoint

• Optimisation directe des préférences (DPO) : Les auteurs montrent que la même décomposition et la même structure de borne inférieure s'appliquent à DPO, démontant que le compromis entre représentation et rationalisabilité régit l'apprentissage de politique basé sur les préférences même sans un modèle de récompense explicite.
• Entraînement conjoint : L'article analyse la dynamique de l'entraînement conjoint de l'encodage et de la tête de récompense. Ils prount que les mises à jour conjointes ne garantissent pas une diminution de l'un ou l'autre terme du compromis par tour. Spécifiquement, la dynamique d'optimisation déplace l'erreur d'encodage et la probabilité de cycle via des covariances de l'inclinaison de la récompense (reward-tilt covariances). À n'importe quel point fixe de la mise à jour conjointe, la récompense devient constante sur les données, ne fournissant aucun signal de préférence. Ainsi, l'entraînement conjoint ne converge pas implicitement vers le "point idéal" du compromis.

Résultats clés

Conclusions théoriques

1. Décomposition exacte : L'excès de perte est strictement la somme d'une perte d'encodage (perte d'information) et d'un coût d'accord (échec de rationalisabilité).
2. Monotonie : Sous des hypothèses standards (par exemple, des $\sigma$-champs imbriqués), l'augmentation de la dimension de l'encodage réduit la perte d'encodage mais augmente la borne inférieure du coût d'accord (probabilité de cycle).
3. Non-convexité de l'optimisation : L'entraînement conjoint des encodages et des récompenses n'est pas garanti pour trouver le compromis optimal ; il peut stagner à des points dégénérés où la récompense est constante.

Validation empirique

Des expériences ont été menées sur :

• Données synthétiques : Générées avec des composantes d'utilité transitives, cycliques et bruitées.
• Jeux de données réels : Jester (notes de blagues), Sushi (préférences de sushi) et MT-Bench (dialogues LLM).

Observations :

• À mesure que la dimension de l'encodage augmente, la perte d'encodage diminue tandis que le coût d'accord augmente.
• L'excès de perte totale présente souvent un minimum à une dimension d'encodage intermédiaire, validant le compromis théorique.
• Ces tendances se vérifient tant pour la modélisation de récompense explicite (RLHF) que pour l'extraction de récompense implicite (DPO) à travers différents encodeurs pré-entraînés (ex: all-MiniLM-L6-v2, mpnet).
• Les visualisations de données synthétiques montrent qu'à mesure que la dimension augmente, la région de l'espace d'encodage où les réponses forment des cycles de Condorcet s'étend, confirmant que des représentations plus riches exposent des préférences irréconciliables.

Signification et affirmations

L'article affirme déplacer la compréhension de la modélisation de récompense dans le RLHF d'un pur défi de représentation vers un problème d'agrégation. La principale signification réside dans le fait que l'encodage appris n'est pas simplement un extracteur de caractéristiques, mais un composant structurel qui définit l'ensemble des alternatives disponibles pour la comparaison.

Les affirmations clés incluent :

1. Limitation des récompenses scalaires : L'impossibilité d'un classement scalaire cohérent en présence de préférences hétérogènes n'est pas seulement un artefact statistique, mais une propriété ajustable dépendant de la représentation.
2. Complexité optimale : Il n'existe pas de règle "plus c'est mieux" pour la richesse de la représentation dans le RLHF ; la dimension optimale est un équilibre entre la capture des distinctions de préférences et l'évitement de l'exposition de cycles irréductibles.
3. Dynamique d'entraînement : Les procédures d'entraînement conjoint standard ne naviguent pas automatiquement ce compromis, suggérant que les pipelines RLHF actuels peuvent être sous-optimaux sans considération explicite de cette tension entre représentation et agrégation.

Les auteurs maintiennent une position modeste, notant que leur travail est principalement théorique et ne propose pas de nouveaux modèles ou systèmes déployables, mais clarifie plutôt une limitation fondamentale de l'approche actuelle de modélisation de récompense scalaire sous rétroaction humaine hétérogène.