💬 NLP

Bayesian Preference Learning for Test-Time Steerable Reward Models

Ce papier propose la Modélisation de Récompense Variational In-Context (ICRM), un cadre bayésien novateur qui permet un pilotage au moment du test pour les modèles de récompense en s'adaptant à des distributions de préférences non vues grâce à des démonstrations en contexte, améliorant ainsi la précision, l'étalonnage et l'alignement multi-objectif tout en fournissant des garanties théoriques contre l'optimisation excessive.

Auteurs originaux : Jiwoo Hong, Shao Tang, Zhipeng Wang

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiwoo Hong, Shao Tang, Zhipeng Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent (un modèle de langage de grande taille) qui doit apprendre à se comporter d'une manière que les humains apprécient. Pour l'enseigner, nous utilisons généralement un « modèle de récompense » — imaginez-le comme un enseignant strict qui a étudié un manuel colossal de préférences humaines. Une fois cet enseignant formé, il est gravé dans le marbre. Il ne peut pas changer d'avis, même si vous entrez dans la pièce et dites : « En fait, aujourd'hui, je me soucie plus de la sécurité que de la vitesse », ou « Je veux que tu sois drôle, pas sérieux ».

Ce papier présente un nouveau type d'enseignant appelé ICRM (Modélisation de la Récompense en Contexte Variationnelle). Au lieu d'être un manuel rigide, ICRM est plus comme un caméléon ou un traducteur intelligent capable d'adapter instantanément son « goût » en fonction de quelques exemples que vous lui montrez juste avant qu'il ne commence à travailler.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'Enseignant « Gelé »

Les modèles de récompense traditionnels sont comme un juge qui a mémorisé un ensemble spécifique de règles. Si vous les entraînez à aimer les réponses « utiles », ils aimeront toujours les réponses utiles, même si vous leur montrez plus tard des exemples de réponses « sûres ». Ils ne peuvent pas changer de perspective sans être réentraînés depuis zéro, ce qui est lent et coûteux.

2. La Solution : L'Enseignant « Caméléon » (ICRM)

Les auteurs proposent un système qui utilise les statistiques bayésiennes (une manière de mettre à jour ses croyances basées sur de nouvelles preuves) pour rendre l'enseignant flexible.

L'Analogie : Imaginez que vous essayez de deviner la saveur de glace préférée d'un inconnu.
- Ancienne Méthode : Vous devinez basé sur un vaste sondage que vous avez mené l'année dernière. Vous êtes coincé avec cette hypothèse.
- Méthode ICRM : Vous demandez à l'inconnu : « Aimes-tu le chocolat ou la vanille ? » Il répond « Chocolat ». Ensuite, vous demandez : « Aimes-tu la fraise ou la menthe ? » Il répond « Fraise ».
- ICRM ne mémorise pas simplement « Chocolat ». Il construit une carte mentale (une distribution de probabilité) de ce que l'inconnu aime maintenant. Si vous lui montrez 8 exemples où la « Sécurité » est importante, l'enseignant déplace son focus vers la sécurité. Si vous lui montrez 8 exemples de « Utilité », il se déplace vers l'utilité.

3. Comment Cela Fonctionne : La Recette « Bêta »

Le papier utilise un outil mathématique appelé une distribution bêta pour représenter ces préférences. Imaginez cela comme un cadran avec deux boutons :

Le Bouton de Direction (Moyenne) : Vers où pointe la préférence ? (par exemple, vers la « Sécurité » ou l'« Utilité »).
Le Bouton de Confiance (Concentration) : À quel point sommes-nous sûrs de cette préférence ?
- Si vous montrez à l'enseignant seulement un exemple, le « Bouton de Confiance » reste bas. L'enseignant dit : « Je vois ce que tu aimes, mais je ne suis pas encore sûr à 100 %, donc je vais être prudent. »
- Si vous montrez à l'enseignant 64 exemples, le « Bouton de Confiance » monte haut. L'enseignant dit : « Je vois un motif clair ici ! Je suis très confiant dans cette préférence. »

Cela empêche l'enseignant de devenir « trop confiant » ou de « trop optimiser » (essayant trop fort de plaire aux exemples et faisant des erreurs). Cela maintient l'enseignant humble et précis.

4. Ce Que Le Papier A Trouvé (Les Résultats)

Les auteurs ont testé ce « Caméléon Enseignant » de plusieurs manières :

Il Peut Être Dirigé : Si vous montrez à l'enseignant des exemples où la « Sécurité » est la priorité absolue, il devient un expert en sécurité. Si vous lui montrez des exemples où les « Mathématiques » sont la priorité, il devient un expert en mathématiques. Il peut même gérer des priorités mixtes (par exemple : « Sois utile, mais ne sois pas dangereux »).
Il S'Améliore Avec Plus D'exemples : Plus vous lui donnez d'exemples (démonstrations) au moment du test, plus il devient intelligent pour deviner votre véritable intention. Leur précision sur un test standard (RM-Bench) a bondi de 60,5 % à 70,8 % simplement en ajoutant plus d'exemples.
Il Gère Les Conflits : Lorsque vous avez deux objectifs qui s'affrontent (comme « Sois utile » contre « Sois sûr »), ICRM peut trouver un point d'équilibre parfait entre eux, alors que les anciens enseignants restent généralement coincés sur un seul côté.
Il Fonctionne Pour Les Mathématiques : Ils ont utilisé ICRM pour enseigner à un modèle à résoudre des problèmes mathématiques. Parce que ICRM pouvait examiner quelques exemples de « raisonnement correct » versus « raisonnement incorrect » à la volée, il a aidé le modèle à résoudre des problèmes mathématiques mieux qu'un enseignant standard ou même qu'un « vérificateur » strict qui ne vérifie que la réponse finale.

5. Le « Filet de Sécurité » (Garantie Théorique)

Le papier prouve également mathématiquement que ce système est à l'abri d'un bug spécifique appelé « piratage de la récompense ».

Le Bug : Parfois, les modèles d'IA apprennent à tricher le système, en donnant des réponses qui semblent parfaites à l'enseignant mais qui sont en fait du non-sens, juste pour obtenir un score élevé.
La Correction : Le système ICRM possède un « frein » intégré (un terme de régularisation KL). Il garantit que l'enseignant ne devient jamais trop confiant trop rapidement. Il force l'enseignant à rester dans une « zone sûre » de probabilité, l'empêchant de devenir fou et de trop optimiser.

Résumé

En bref, ce papier présente une nouvelle façon d'entraîner des juges d'IA. Au lieu d'entraîner un juge à avoir un ensemble fixe de valeurs, ils ont entraîné un juge capable de lire dans vos pensées en fonction de quelques exemples que vous lui montrez juste avant qu'il ne commence. Il est flexible, il devient plus intelligent plus vous lui donnez d'exemples, et il dispose d'un filet de sécurité mathématique pour l'empêcher de dérailler.

Résumé technique : Apprentissage des préférences bayésien pour des modèles de récompense orientables à l'inférence

Énoncé du problème

Les modèles de récompense (MR) sont centraux pour aligner les modèles de langage sur les préférences humaines via l'apprentissage par renforcement à partir de retours humains (RLHF). Traditionnellement, les MR basés sur des classificateurs sont entraînés comme des estimateurs statiques des paramètres du modèle de Bradley-Terry (BT) utilisant un jeu de données fixe. Une fois entraînés, ces modèles manquent d'adaptabilité ; ils ne peuvent pas s'ajuster à des distributions de préférences non vues ou à des compromis dynamiques (par exemple, équilibrer l'utilité versus la sécurité) sans réentraînement. De plus, les MR classificateurs standards sont sujets à une « sur-optimisation », où les probabilités de préférence convergent vers 1, conduisant à des optima locaux qui échouent à capturer la vraie complexité des préférences humaines. Bien que les approches « LLM en tant que Juge » offrent de la flexibilité, elles reposent souvent sur des modèles propriétaires avec des coûts de calcul élevés. L'article répond au besoin d'un MR basé sur un classificateur, efficace et adaptable à l'inférence, évitant la sur-optimisation.

Méthodologie : Modélisation de la récompense variationnelle en contexte (ICRM)

Les auteurs proposent la Modélisation de la récompense variationnelle en contexte (ICRM), un cadre bayésien qui traite la modélisation de la récompense comme une inférence variationnelle amortie sur une probabilité de préférence latente.

Formulation de base

Définition de la variable latente : Le modèle introduit une variable aléatoire latente $z \in [0, 1]$ représentant la probabilité qu'une réponse choisie $y_w$ soit préférée à une réponse rejetée $y_l$ étant donné un prompt $x$ et un ensemble de démonstrations en contexte $C$ .
Antérieur et postérieur Beta :
- Le modèle BT est spécialisé pour $N=2$ (une paire), où la vraisemblance du résultat de préférence suit une distribution de Bernoulli paramétrée par $z$ .
- Un antérieur Beta $p(z) = \text{Beta}(\alpha_0, \beta_0)$ est posé sur $z$ . Les auteurs utilisent typiquement un antérieur uniforme $(\alpha_0, \beta_0) = (1, 1)$ pour représenter un point de départ non informatif.
- Le postérieur approximatif $q_\theta(z | x, y_w, y_l, C)$ est paramétré par un réseau de neurones avec une tête de projection bidimensionnelle, produisant un score d'utilité $u_\theta$ et un score de confiance (evidence) $s_\theta$ .
- Le postérieur est réparamétrisé comme $\text{Beta}(\alpha_q, \beta_q)$ $Beta (α_{q}, β_{q})$ où :
  - $\mu = \sigma(u_w - u_l)$ représente la moyenne du postérieur (probabilité de préférence).
  - $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ représente la concentration (confiance).
  - $\alpha_q = \mu\tau$ et $\beta_q = (1-\mu)\tau$ .

Objectif d'apprentissage

Le modèle est entraîné en maximisant la borne inférieure de l'évidence (ELBO), en minimisant la perte ELBO négative :
$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$

Terme de reconstruction : Le premier terme mesure dans quelle mesure le postérieur explique la préférence observée. Pour une distribution Beta, cela a une forme fermée impliquant la fonction digamma $\psi$ . Minimiser cela pousse $\mu$ vers 1 pour la réponse choisie.
Terme de régularisation : Le deuxième terme est la divergence KL entre le postérieur appris et l'antérieur fixe. L'hyperparamètre $\lambda(N)$ $λ (N)$ est une fonction décroissante du nombre de démonstrations en contexte $N$ $N$ .
- Lorsque $N$ est faible, $\lambda(N)$ est grand, forçant le postérieur à rester proche de l'antérieur (forte incertitude).
- À mesure que $N$ augmente, $\lambda(N)$ diminue, permettant au terme de reconstruction de dominer et au modèle de former un postérieur confiant et guidé par les données.

Garanties théoriques

Les auteurs prouvent que l'objectif régularisé par KL empêche le mode d'échec de « sur-optimisation » courant dans les modèles BT standards.

Lemme 3.1 : À mesure que la probabilité de préférence $\mu \to 1$ , le gradient de la perte par rapport au score d'utilité est pénalisé par un facteur proportionnel à $1/\epsilon$ (où $\epsilon = 1-\mu$ ), empêchant une maximisation incontrôlée.
Théorème 3.2 : Le minimiseur global de la fonction de perte est garanti d'être à l'intérieur du domaine ( $0 < \mu^* < 1$ et $0 < \tau^* < \infty$ ), assurant que le modèle ne s'effondre pas vers des solutions de frontière.

Contributions clés

Apprentissage variationnel des préférences principé : ICRM permet aux MR d'inférer des préférences à l'inférence à partir d'échantillons en contexte few-shot. L'objectif régularisé par KL garantit un optimum intérieur global, tempérant la maximisation excessive des moyennes de préférence.
Orientabilité mono et multi-objectif : La conception variationnelle permet à la fois une orientabilité directionnelle (adaptation à des directions de préférence spécifiques) et une orientabilité calibrée (codage du degré de déplacement de préférence). Elle s'étend aux paramètres multi-objectifs, permettant au modèle de naviguer dans les compromis entre objectifs conflictuels (par exemple, sécurité versus utilité) en mélangeant des démonstrations en contexte.
Paramétrisation de récompenses vérifiables : Le cadre est appliqué à l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Le modèle interprète les scores d'utilité et de confiance pour générer un signal de récompense qui est à la fois directionnel et calibré à la fiabilité du contexte, surpassant les vérificateurs standards et les modèles BT dans des tâches de raisonnement mathématique.

Résultats expérimentaux

Les auteurs ont évalué ICRM en utilisant les architectures Qwen3-4B et Llama-3.2-3B par rapport à des bases de référence incluant des MR classificateurs standards (BTRM, ArmoRM, GRM) et des juges génératifs (LLM en tant que Juge, GRAM-r2).

Orientabilité calibrée : Sur des paires de préférences de dilemmes moraux, ICRM a démontré la capacité de suivre le degré de déplacement de préférence spécifié par la composition des démonstrations en contexte. À mesure que le nombre de démonstrations ( $N$ ) augmentait de 8 à 64, l'erreur d'étalonnage attendue (ECE) diminuait de 0,099 à 0,076, surpassant la base de référence LLM en tant que Juge.
Orientabilité directionnelle : Sur des benchmarks comme SafeRLHF et HHH-Alignment, ICRM s'est adapté à des étiquettes de préférence « inversées » (où des réponses nuisibles étaient étiquetées comme choisies) avec une haute précision (jusqu'à 89 %), tandis que les bases de référence statiques échouaient à s'adapter.
Performance RM-Bench : Augmenter le nombre de démonstrations en contexte a considérablement amélioré la précision sur RM-Bench. Avec $N=64$ , ICRM a atteint une précision moyenne de 70,8 %, en hausse par rapport à 60,5 % pour $N=1$ , dépassant la base de référence LLM en tant que Juge (70,3 %).
Compromis multi-objectifs : Dans le domaine de la sécurité de RM-Bench, ICRM a produit des frontières de Pareto lisses entre les comportements « Doit Répondre » et « Doit Refuser ». L'hypervolume (HV) de ces frontières augmentait avec $N$ , démontrant que ICRM peut étendre la région de compromis atteignable, une capacité dont les MR statiques manquent.
Application RLVR : Dans des tâches de raisonnement mathématique utilisant le jeu de données INTELLECT-MATH, une politique entraînée avec des récompenses ICRM a atteint 53,8 % de précision sur MATH-500, surpassant les politiques entraînées avec un vérificateur or (50,4 %) et un modèle de récompense BT standard (51,4 %).

Importance et affirmations

L'article affirme que ICRM fournit une voie théoriquement fondée et pratiquement efficace vers des modèles de récompense capables de s'adapter à des normes de préférences non vues après l'entraînement. En traitant les préférences comme des probabilités latentes avec des postérieurs Beta conditionnés par des démonstrations en contexte, ICRM unifie la régularisation bayésienne avec l'orientabilité en contexte.

Les auteurs soulignent que cette approche :

Résout la nature statique des MR classificateurs traditionnels sans la surcharge de calcul des juges génératifs propriétaires.
Fournit un mécanisme principé pour atténuer la sur-optimisation de la récompense grâce à la régularisation KL.
Permet un contrôle dynamique à l'inférence sur l'alignement multi-objectif, permettant une navigation continue des espaces de préférence plutôt que des points de fonctionnement fixes.

Le travail suggère que la modélisation future des récompenses peut aller au-delà des jeux de données fixes vers un alignement dynamique, piloté par des démonstrations, bien que les auteurs notent des limitations concernant les contraintes de longueur de contexte et la nécessité de garde-fous contre l'orientation des modèles vers des comportements nuisibles.