🤖 machine learning

Normalized Rewards for Preference Optimization

Cet article propose une technique de régularisation basée sur la normalisation pour les algorithmes d'alignement direct (DAA) tels que DPO et SimPO afin d'atténuer la sur-optimisation et l'effondrement de vraisemblance, démontrant qu'elle améliore significativement la qualité de la génération et la performance globale sur les benchmarks en stabilisant les distributions de probabilité au niveau des jetons.

Auteurs originaux : Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

Publié 2026-07-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot très talentueux, mais légèrement chaotique, comment écrire des histoires. Vous ne voulez pas qu'il se contente de mémoriser vos livres préférés ; vous voulez qu'il comprenne pourquoi vous les aimez afin qu'il puisse écrire de nouvelles histoires qui procurent le même plaisir. C'est le monde de l'« alignement » dans l'intelligence artificielle. Les scientifiques utilisent un processus appelé « optimisation de préférence » pour enseigner à ces robots. Ils présentent au robot deux réponses différentes à une question — une bonne, une mauvaise — et lui demandent d'apprendre à choisir la bonne. La méthode la plus populaire consiste en un jeu de « chaud et froid », où le robot reçoit un score basé sur la proximité de sa réponse avec ce que les humains préfèrent.

Cependant, il existe un problème délicat. Parfois, dans son empressement à vouloir plaire, le robot devient trop enthousiaste. Il commence à modifier son « vocabulaire » interne de manière étrange, rendant les mots qu'il devrait utiliser moins naturels, même s'il réussit mieux le jeu. C'est comme un élève qui, pour obtenir un A, commence à parler un dialecte étrange et excessivement complexe qui confond tout le monde, même s'il a techniquement donné la bonne réponse. Cet article étudie pourquoi cela se produit et propose une nouvelle règle pour garder le robot ancré, garantissant qu'il apprenne à être utile sans perdre sa personnalité originale ou inventer des réponses étranges et nuisibles.

Le problème de l'excès de confiance du robot

L'article se concentre sur un type spécifique d'entraînement de robot appelé Algorithmes d'Alignement Direct (DAA), le plus célèbre étant le DPO. Considérez le DPO comme un entraîneur qui dit au robot : « Tu as mieux réussi cette réponse que celle-là », sans avoir besoin d'un arbitre distinct pour évaluer le travail. C'est efficace et populaire. Mais les auteurs ont remarqué quelque chose d'étrange : le robot devenait « sur-optimisé ».

Imaginez que vous jouez à un jeu vidéo où vous devez collecter des pièces. Le jeu vous dit : « Collectez plus de pièces ! » Alors, vous commencez à courir frénétiquement, ignorant les murs, les ennemis et le chemin réel. Finalement, vous pourriez tomber de la carte parce que vous étiez tellement concentré sur les pièces que vous en avez oublié comment fonctionne le monde. Dans le cas du robot, il était tellement concentré sur la maximisation de sa « récompense » (le score pour choisir la bonne réponse) qu'il a commencé à déformer sa compréhension des probabilités. Il diminuait la probabilité de dire les « bons » mots et les « mauvais » mots en même la même chose, ce qui semble étrange, mais cela rendait en fait le robot plus susceptible de dire des choses qu'il n'avait jamais vues auparavant — parfois dangereuses ou absurdes. C'est ce qu'on appelle le « déplacement de vraisemblance » (likelihood displacement).

La solution : Une règle de « Probabilité Totale »

Les auteurs proposent une correction simple mais puissante : une nouvelle règle appelée Récompenses Normalisées.

Pour comprendre cela, imaginez une pizza. La pizza entière représente 100 % des réponses possibles du robot. Lorsqu'un robot est entraîné normalement, il peut décider que la « bonne » part et la « mauvaise » part rétrécissent toutes les deux, ce qui signifie que les parts « inconnues » (les parties de la pizza que le robot n'a pas encore vues) deviennent de plus en plus grandes. C'est une mauvaise chose, car le robot pourrait commencer à servir ces parts inconnues et bizarres.

Les auteurs suggèrent d'ajouter un « terme de régularisation » à l'entraînement. Voyez cela comme un chef de pizza strict qui dit : « Hé, la taille totale des parts dont tu parles (la bonne réponse et la mauvaise réponse) doit rester la même. » Si le robot essaie de trop rétrécir la « bonne » part, le chef le force à rétrécir la « mauvaise » part encore plus pour maintenir l'équilibre total. Cela empêche le robot d'augmenter accidentellement la taille des parts bizarres et inconnues.

Ce qu'ils ont découvert

Les chercheurs ont testé cette nouvelle règle sur deux types de robots différents : un qui utilise un guide de référence (DPO) et un qui n'en utilise pas (SimPO). Voici ce qu'ils ont découvert :

Un meilleur équilibre : En maintenant la probabilité totale équilibrée, les robots sont devenus meilleurs pour être utiles sans perdre leur intelligence générale. Lors d'un test appelé AlpacaEval2, qui mesure la capacité d'un robot à suivre des instructions, le modèle Llama-3.1-8B-Instruct a enregistré une augmentation relative supérieure à 20 % de ses scores en utilisant la nouvelle règle par rapport à l'ancienne méthode.
Sauver les compétences générales : Habituellement, lorsque les robots deviennent très doués pour suivre des instructions, ils s'affaiblissent dans leurs connaissances générales (comme les mathématiques ou les sciences). Mais avec cette nouvelle règle, les robots se sont réellement améliorés sur ces références générales également, avec des gains de performance de plus de 9 %.
Le coupable « Outlier » : Les auteurs ont creusé pour voir pourquoi l'ancienne méthode échouait. Ils ont découvert que le problème ne se produisait pas partout dans le cerveau du robot. Il était concentré sur un petit groupe de mots « atypiques » (outliers) — des jetons (tokens) rares et étranges que le robot connaissait à peine. Ces quelques mots faisaient tout le travail lourd pour fausser les probabilités. La nouvelle règle cible spécifiquement ces mots à faible probabilité, les ramenant doucement à la normale pour qu'ils ne perturbent pas l'ensemble du système.

Le verdict

L'article suggère que la raison pour laquelle les robots devenaient « fous » était qu'ils n'étaient pas contraints de garder leur calcul de probabilité sous contrôle. En ajoutant une règle simple pour maintenir la vraisemblance totale des réponses observées stable, les robots apprennent à mieux suivre les préférences humaines sans briser leur propre logique interne.

Les auteurs ont constaté que cette approche fonctionne aussi bien pour les robots qui utilisent un guide de référence que pour ceux qui n'en utilisent pas. Ils ont montré que cette méthode ne fait pas que stopper le mauvais comportement ; elle aide réellement le robot à mieux performer dans des tâches réelles. Bien qu'ils ne prétendent pas que cela résout tous les problèmes de l'IA, leurs expériences suggèrent que garder les « parts de pizza » équilibrées est une étape cruciale pour créer une IA qui soit à la fois intelligente et sûre.

Résumé technique : Récompenses normalisées pour l'optimisation des préférences

Énoncé du problème

Les algorithmes d'alignement direct (DAA - Direct Alignment Algorithms), tels que le DPO (Direct Preference Optimization) et le SimPO, sont devenus des standards pour aligner les grands modèles de langage (LLM) avec les préférences humaines en raison de leur efficacité computationnelle par rapport au RLHF (Reinforcement Learning from Human Feedback). Cependant, des travaux récents ont identifié une limitation critique : les DAA souffrent souvent d'une sur-optimisation de leurs modèles de récompense implicites.

Une manifestation primaire de cela est le déplacement de vraisemblance (likelihood displacement), un phénomène où les vraisemblances des réponses préférées et non préférées chutent simultanément pendant l'entraînement. Cela se produit parce que les objectifs standards des DAA (DPO, SimPO) optimisent la différence de récompense entre les paires de réponses, ce qui fait que la fonction de partition $Z(x)$ s'annule mathématiquement. Par conséquent, le modèle n'est pas incité à maintenir une estimation calibrée de la masse de probabilité totale sur l'espace des réponses. Ce manque de normalisation entraîne des décalages de probabilité spécieux, particulièrement pour les réponses « non vues » (celles qui ne sont pas dans la paire d'entraînement), pouvant potentiellement mener à des comportements indésirables ou nuisibles.

Les hypothèses existantes concernant la sur-optimisation — telles qu'une similitude d'embedding élevée entre les paires ou une régularisation insuffisante — ne parviennent pas à se généraliser à la fois aux méthodes basées sur une référence (ex: DPO) et sans référence (ex: SimPO). De plus, les analyses antérieures se concentrent souvent sur des instances uniques de DAA plutôt que sur le mécanisme partagé de normalisation.

Méthodologie

Les auteurs proposent que la sur-optimisation de la récompense provienne d'un manque de normalisation dans la récompense implicite. Pour contrer cela, ils introduisent un terme de régularisation conçu pour conserver la masse de probabilité normalisée par la longueur du choix ( $y_w$ ) et du rejet ( $y_l$ ) au sein d'une paire de préférence.

Le terme de régularisation

L'idée centrale est que pour un modèle de langage paramétré appliquant un softmax, la distribution de sortie doit rester normalisée (fonction de partition = 1) tout au long de l'entraînement. Comme estimer la fonction de partition complète sur toutes les réponses possibles est irréalisable, les auteurs imposent la normalisation sur les réponses vues.

Ils définissent une pénalité de régularisation $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$ :
$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$
Où :

$\bar{\pi}$ désigne les probabilités normalisées par la longueur (pour atténuer le biais de longueur).
$\lambda$ est un hyperparamètre.
Le terme minimise le carré du rapport logarithmique de la masse de probabilité totale assignée à la paire par le modèle actuel par rapport au modèle de référence.

Cette pénalité est ajoutée aux objectifs standards :

N-DPO : $L_{N-DPO} = L_{DPO} + R$
N-SimPO : $L_{N-SimPO} = L_{SimPO} + R$

Analyse mécaniste

L'article fournit une analyse théorique du gradient de ce terme de régularisation. Le gradient de $R$ par rapport aux paramètres du modèle $\theta$ est inversement proportionnel à la vraisemblance des jetons individuels.

Jetons aberrants (Outlier tokens) : L'analyse révèle que le déplacement de vraisemblance est piloté par un petit ensemble de jetons aberrants ayant des vraisemblances très faibles. Ces jetons dominent les mises à jour de gradient.
Atténuation : Lorsque la vraisemblance totale diminue, le terme de régularisation génère des gradients qui augmentent principalement la vraisemblance de ces jetons aberrants à faible vraisemblance. Cela remodèle la distribution de la récompense, empênant les chutes massives de probabilité spécieuses associées au déplacement, tout en apportant des changements minimaux aux jetons à haute vraisemblance pertinents pour la génération.

Contributions clés

Identification du déficit de normalisation : Les auteurs illustrent comment l'incapacité à rendre compte de la distribution des réponses non vues (en raison de l'annulation de la fonction de partition dans les objectifs standards) conduit au déplacement de vraisemblance.
Explication mécaniste : Ils relient le déplacement de vraisemblance à la concentration des décalages de probabilité sur les jetons aberrants et démontrent, via une analyse de gradient, que leur régularisateur atténue ces décalages en utilisant les jetons à faible vraisemblance.
Objectifs novateurs : Ils proposent N-DPO et N-SimPO, qui incorporent le terme de régularisation proposé, applicables tant aux méthodes d'alignement basées sur une référence que sans référence.
Validation empirique : Ils démontrent que ces objectifs modifiés améliorent le compromis entre la qualité de génération et les capacités générales des benchmarks.

Résultats expérimentaux

Les auteurs ont évalué N-DPO et N-SimPO sur Mistral-7B-Instruct, Llama-3.1-8B-Instruct et OLMo-7B-SFT en utilisant le jeu de données UltraFeedback.

Qualité de génération (AlpacaEval) :
- Sur Llama-3.1-8B-Instruct, N-DPO a atteint une augmentation relative de >20% des scores AlpacaEval2 (contrôlé par la longueur) par rapport au DPO standard.
- Sur OLMo-7B-SFT, N-SimPO a montré une augmentation relative de >75% d'AlpacaEval2 (taux de victoire brut) par rapport à SimPO.
- Les méthodes proposées surpassent généralement les autres bases de régularisation comme DPO+SFT et DPOP.
Performance des benchmarks généraux :
- Contrairement au compromis typique où l'amélioration de la génération dégrade les capacités générales, N-DPO et N-SimPO maintiennent ou améliorent les scores sur les benchmarks de bon sens et de raisonnement (MMLU, ARC, HellaSwag, etc.).
- Pour Llama-3.1-8B-Instruct, N-DPO a amélioré les scores moyens des benchmarks de plus de 3% tout en améliorant simultanément la qualité de génération.
Modélisation de la récompense :
- Les modèles entraînés avec le terme de régularisation ont montré une précision de modélisation de la récompense égale ou supérieure sur les jeux de données non vus (HH-RLHF, HelpSteer2) par rapport au DPO/SimPO standard, alors que DPO+SFT et DPOP ont montré des chutes significatives de précision.
Dynamique de vraisemblance :
- Les courbes d'entraînement confirment que la régularisation atténue le déplacement de vraisemblance. Dans N-DPO, les vraisemblances des réponses choisies sont restées stables, alors que dans le DPO standard, elles ont chuté de manière significative.
- L'analyse au niveau du jeton a confirmé que la régularisation cible et corrige spécifiquement la distribution des récompenses minimales des jetons (aberrants).

Signification et affirmations

L'article affirme que la normalisation de la récompense est un facteur critique, précédemment négligé, du succès des algorithmes d'alignement direct. En imposant explicitement la conservation de la masse de probabilité pour les réponses vues, la méthode proposée :

Atténue le déplacement de vraisemblance : Elle prévient les décalages de probabilité spécieux qui peuvent mener à des comportements nuisibles, notamment en corrigeant le comportement des jetons aberrants.
Améliore les compromis : Elle permet aux modèles d'apprendre les préférences plus efficacement sans sacrifier les capacités générales, répondant ainsi au problème de "sur-optimisation" qui a limité la fiabilité des DAA.
Se généralise : L'approche est efficace à la fois pour les cadres basés sur une référence (DPO) et sans référence (SimPO), suggérant un mécanisme unifié de sur-optimisation.

Les auteurs concluent que leur analyse met en lumière pourquoi les DAA améliorent la qualité de génération malgré la diminution des vraisemblances (due aux décalages des jetons aberrants) et démontrent que l'utilisation des jetons à faible vraisemblance pour la régularisation est une stratégie efficace pour remodeler les distributions de récompense. Ils notent que bien que leur analyse actuelle se concentre sur des contextes hors ligne, leurs conclusions motivent des recherches plus approfondies sur le comportement granulaire des modèles de récompense dans l'optimisation des préférences.