📊 statistics

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

Cet article introduit la Similarité comme Alignement de Récompense (SARA), un cadre contrastif robuste pour l'apprentissage par renforcement basé sur les préférences qui apprend des représentations latentes pour calculer les récompenses sous forme de similitudes, démontrant une stabilité et une résilience au bruit supérieures par rapport aux modèles de référence sur les benchmarks de contrôle continu.

Auteurs originaux : Sara Rajaram, R. James Cotton, Fabian H. Sinz

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sara Rajaram, R. James Cotton, Fabian H. Sinz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à marcher, à danser ou à cuisiner un repas. Dans le monde de l'intelligence artificielle, on appelle cela l'apprentissage par renforcement (Reinforcement Learning). Habituellement, le robot apprend en essayant des choses et en recevant un score, ou « récompense », de la part d'un programmeur humain. Si le robot fait quelque chose de bien, il gagne un point ; s'il tombe, il en perd un. Mais voici le problème : écrire un système de notation parfait est incroyablement difficile. C'est comme essayer d'écrire un manuel de règles pour une « bonne cuisine » qui couvrirait toutes les erreurs possibles qu'un chef pourrait commettre sans accidentellement lui dire de brûler la maison.

Pour résoudre cela, les scientifiques ont développé un raccourci ingénieux appelé l'apprentissage par renforcement basé sur les préférences (Preference-based Reinforcement Learning ou PbRL). Au lieu d'écrire un manuel de règles, ils demandent simplement aux humains de regarder deux tentatives différentes d'un robot et de dire : « Je préfère celle-ci à celle-là ». Le robot doit alors découvrir les règles cachées de ce qui rend la « bonne » version meilleure. Il est beaucoup plus facile de dire « Je préfère cette pizza » que d'écrire un manuel expliquant exactement quelle quantité de fromage est parfaite. Cependant, il y a un gros problème : les humains ne sont pas parfaits. Nous nous fatiguons, nous nous emmêlons les pinceaux et, parfois, nous faisons des erreurs. Si le robot apprend d'un enseignant qui se trompe souvent, le robot peut apprendre à être maladroit ou dangereux. Cet article traite de la réalité désordonnée de l'enseignement des robots avec des enseignants humains qui font parfois des erreurs.

Les chercheurs derrière cette étude, Sara Rajaram, R. James Cotton et Fabian H. Sinz, ont remarqué que la plupart des méthodes actuelles pour enseigner aux robots à partir des préférences humaines reposent sur un tour mathématique spécifique appelé le modèle de Bradley-Terry. Voyez ce modèle comme un arbitre strict qui ne s'intéresse qu'aux matchs en tête-à-tête. Si vous dites à l'arbitre : « Le Robot A est meilleur que le Robot B », l'arbitre suppose qu'il s'agit d'une vérité absolue et ajuste le cerveau du robot en conséquence. Mais et si vous n'étiez que en train de deviner ? Ou si vous étiez fatigué et aviez choisi le mauvais ? L'ancien modèle traite chaque erreur comme un fait, ce qui peut confondre le robot et le faire agir très mal lorsqu'il l'enseignant fait une erreur.

Pour corriger cela, l'équipe a introduit une nouvelle méthode appelée SARA (Similarity as Reward Alignment - Similitude comme alignement de la récompense). Au lieu d'agir comme un arbitre strict qui ne regarde que des paires, SARA agit plutôt comme un critique d'art sage qui observe une galerie entière de peintures. SARA ne se contente pas de comparer deux robots à la fois ; il examine tous les exemples « bons » que l'humain a aimés et trouve les motifs communs qui les rendent spéciaux. Il crée une « empreinte digitale » mentale de ce à quoi ressemble une performance parfaite. Ensuite, quand le robot essaie quelque chose de nouveau, SARA demande : « À quel point cela ressemble-t-il à notre empreinte digitale ? » Si cela ressemble, le robot reçoit une récompense. Si cela est différent, il reçoit un score inférieur.

La beauté de SARA est qu'il ignore le bruit. Si un humain dit accidentellement qu'une mauvaise performance est « bonne », SARA ne panique pas. Parce qu'il a examiné tant d'autres exemples « bons », il réalise que cet exemple médiocre ne correspond pas au motif des autres. C'est comme un professeur de musique qui a entendu des milliers de pièces de piano parfaites ; si un élève joue une chanson avec une fausse note mais que le professeur applaudit accidentellement, le cerveau du professeur sait : « Attendez, cela ne ressemblait pas aux autres grandes chansons », et ne laisse pas l'élève penser qu'il a réussi son coup.

L'équipe a testé cette idée sur une variété de tâches robotiques, comme faire sauter un hopper virtuel ou faire avancer un marcheur. Ils ont délibérément faussé le feedback humain, en disant aux robots que de mauvais mouvements étaient en fait bons, avec des taux d'erreur allant de 0 % jusqu'à 40 %. Lors de ces tests, les anciennes méthodes (les arbitres stricts) ont commencé à s'effondrer à mesure que les erreurs augmentaient, leur performance chutant de près de 73 % sur certaines tâches. SARA, cependant, est resté stable. Même lorsque le feedback humain était bruité, les robots de SARA ont continué à bien performer, montrant des améliorations statistiquement significatives par rapport aux anciennes méthodes.

Les chercheurs ont également vérifié si SARA comprenait bien le réel objectif de la tâche, et non seulement ce que l'humain disait. Ils ont découvert que les récompenses calculées par SARA étaient beaucoup plus étroitement alignées avec la physique réelle de l'environnement que les récompenses calculées par les anciennes méthodes. Cela suggère que SARA est meilleur pour filtrer la confusion humaine et trouver le « bon » comportement caché en dessous.

En bref, cet article suggère que lorsqu'on enseigne aux robots avec le feedback humain, il vaut mieux chercher la « vibration » d'une bonne performance à travers de nombreux exemples plutôt que de s'obséder sur chaque comparaison individuelle. En utilisant une méthode qui apprend de la sagesse collective d'un groupe de bons exemples plutôt que de simples combats par paires, SARA rend les robots beaucoup plus robustes face aux erreurs humaines. Cela ne signifie pas que l'enseignant humain doit être parfait ; cela signifie simplement que le robot est assez intelligent pour savoir quand l'enseignant passe une mauvaise journée.

Résumé Technique : SARA (Similarity as Reward Alignment)

Énoncé du Problème

L'apprentissage par renforcement basé sur les préférences (PbRL) vise à aligner le comportement de l'agent avec l'intention humaine en apprenant à partir des retours humains sur des paires de trajectoires, atténuant ainsi la charge liée à l'ingénierie manuelle des récompenses. Cependant, les méthodes de PbRL existantes reposent principalement sur le modèle de Bradley-Terry (BT) pour apprendre les fonctions de récompense à partir de classements par paires. Cette approche se heurte à des limitations significatives dans les scénarios réels où les étiqueteurs humains sont des non-experts ou opèrent sous des contraintes de temps, ceant inévitablement des erreurs d'étiquetage.

Des recherches antérieures indiquent que les modèles basés sur BT sont fragiles face au bruit ; ils supposent des préférences transitives (une hypothèse souvent violée dans la psychologie humaine) et peuvent faire du surapprentissage (overfitting) sur les classements relatifs des paires de trajectoires. Des études empiriques suggèrent que même un taux d'erreur d'étiquetage de 10 % peut dégrader considérablement les performances de l'apprentissage par renforcement (RL), les taux de désaccord réalistes entre les étiqueteurs humains atteignant souvent 25 %. De plus, les preuves formelles de robustesse pour les modèles BT dans des contextes bruités restent un défi ouvert. Le problème central abordé est le manque de robustesse des cadres actuels de PbRL face à des données de préférences bruitées et provenant de non-experts.

Méthodologie : SARA (Similarity as Reward Alignment)

Les auteurs proposent SARA, un cadre d'apprentissage contrastif qui déplace le paradigme de l'apprentissage de classements relatifs par paires vers l'apprentissage d'une représentation latente de l'ensemble des comportements préférés.

Architecture Centrale

SARA emploie un encodeur à deux étages basé sur un Transformer :

Encodage de Trajectoire (Enc 1) : Chaque trajectoire (préférée $\sigma_p$ ou non préférée $\sigma_n$ ) est traitée par un encodeur Transformer avec encodage positionnel. Un pooling moyen sur les pas de temps produit une représentation latente unique ( $u_{p,i}$ ou $u_{n,i}$ ) pour chaque trajectoire.
Encodage d'Ensemble (Enc 2) : Les représentations de trajectoires sont partitionnées aléatoirement en $k$ sous-ensembles (où $k=2$ dans les expériences) au sein de chaque catégorie (préférée et non préférée). Un second encodeur Transformer traite ces sous-ensembles, permettant une attention au sein du sous-ensemble pour agréger l'information. Cela produit des représentations latentes au niveau de l'ensemble ( $z^k_p$ et $z^k_n$ ).

Objectif d'Entraînement

Le modèle est entraîné en utilisant la perte contrastive SimCLR. L'objectif est de :

Rapprocher les représentations latentes de différents sous-ensembles de la même catégorie (par exemple, $z^1_p$ et $z^2_p$ ).
Éloigner les représentations des sous-ensembles préférés de celles des sous-ensembles non préférés ( $z^k_p$ vs $z^k_n$ ).

Cette randomisation de la composition des sous-ensembles à chaque époque force l'encodeur à apprendre des motifs généralisables distinguant les comportements préférés des comportements non préférés, plutôt que de faire du surapprentissage sur des appariements de trajectoires spécifiques ou des étiquettes bruitées.

Inférence de Récompense

Contra�à les méthodes basées sur BT qui produisent une fonction de récompense paramétrée par $\psi$ , SARA apprend une représentation de l'ensemble préféré figée ( $z^*_p$ ) en encodant l'intégralité du jeu de données de trajectoires préférées. Lors de l'entraînement du RL en aval, la récompense pour une trajectoire échantillonnée $\sigma_t$ à l'instant $t$ est calculée comme la similitude cosinus entre la représentation latente de la trajectoire ( $z_t$ ) et le latent préféré figé :
$r_t = \cos(z_t, z^*_p)$
La justification théorique s'appuie sur des travaux récents (Sun et al., 2025) suggérant que prédire la probabilité qu'une trajectoire unique soit préférée est suffisant pour l'alignement, évitant ainsi les pièges des modèles de classement relatif.

Contributions Clés

Cadre Contrastif Robuste : SARA introduit une nouvelle méthode qui encode des ensembles de trajectoires préférées et non préférées en représentations latentes, calculant les récompenses via la similitude avec l'ensemble préféré. Cela évite les hypothèses de classement relatif par paire du modèle BT.
Résilience au Bruit : En apprenant une représentation pondérée par l'attention de l'ensemble des trajectoires préférées, SARA atteint une robustesse face aux erreurs d'étiquetage. Il ne repose pas sur l'ajustement de classements par paires, qui sont susceptibles d'être corrompus par des étiquettes bruitées.
Analyse Mécaniste : Les auteurs fournissent une explication mécaniste de la robustesse de SARA, soutenue par des visualisations t-SNE et des études d'ablation. Ils démontrent que l'encodeur apprend à pondérer à la baisse les trajectoires mal étiquetées qui ne partagent pas de motifs avec la majorité de l'ensemble préféré, filtrant ainsi efficacement le bruit sans mécanisme de filtrage explicite.
Validation Statistique : Le papier fournit des preuves statistiques rigoureuses (test de Wilcoxon signé-rang, $p < 0,01$ ) démontrant la supériorité de SARA sur les bases de référence à travers différents niveaux de bruit.

Résultats Expérimentaux

Les auteurs ont évalué SARA sur des benchmarks de RL hors ligne pour le contrôle continu (D4RL : locomotion Mujoco, Franka Kitchen, Adroit) en utilisant des jeux de données de préférences avec des taux de bruit injectés de 0 %, 10 %, 20 % et 40 %.

Stabilité de la Performance : SARA a démontré des retours de l'évaluation de politique constants sur des taux d'erreur de 0 à 20 %. En revanche, les bases de référence (Preference Transformer, PT+ADT, DPPO) ont montré une dégradation significative, certaines chutant jusqu'à 73 % sur des jeux de données spécifiques à mesure que les taux d'erreur augmentaient.
Signification Statistique : Un test de Wilcoxon signé-rang sur 24 cellules de conditions de tâches a confirmé que l'avantage de performance de SARA sur toutes les bases de référence est statistiquement significatif ( $p < 0,01$ ).
Corrélation de Récompense : Les récompenses de transition inférées par SARA présentaient une corrélation de Pearson plus élevée avec les récompenses réelles de l'environnement (utilisées comme proxy pour les critères de préférence sous-jacents) par rapport aux bases de référence à tous les taux de bruit. Cela indique que SARA capture mieux les véritables critères de préférence, même lorsque les étiquettes sont bruitées.
Études d'Ablation : Le retrait de l'encodage d'ensemble (entraînement sur des paires de trajectoires individuelles via l'apprentissage contrastif) a entraîné des retours nettement inférieurs et moins stables, confirmant que l'agrégation au niveau de l'ensemble est critique pour la robustesse.

Signification et Revendications

Le papier affirme que SARA offre une alternative plus robuste aux méthodes de PbRL standard basées sur BT, particulièrement dans les scénarios impliquant des étiqueteurs non-experts ou des annotations sous contrainte de temps où les taux d'erreur sont élevés.

Changement de Paradigme : Les auteurs soutiennent que l'accent mis par SARA sur l'apprentissage de représentation et le consensus au niveau de l'ensemble, plutôt que sur les classements relatifs par paire, répond à la fragilité fondamentale des modèles BT face au bruit et aux préférences humaines intransitives.
Utilité Pratique : Bien que SARA puisse ne pas remplacer les modèles BT dans des scénarios de haute qualité avec beaucoup d'experts (où BT peut encore bien performer), il fournit une base stable lorsque la qualité de l'annotation est incertaine.
Polyvalence : Le cadre est adaptable à divers formats de feedback et ne nécessite pas strictement de données appariées, permettant l'utilisation de sous-ensembles d'échantillons préférés à partir d'un pool plus large.

Les auteurs restent modestes quant à leurs affirmations, reconnaissant que SARA ne garantit pas les ordonnancements de préférences transitifs (une limitation connue des préférences humaines) et que son utilisation exclusive d'environnements D4RL limite la généralisabilité à d'autres benchmarks. Ils positionnent SARA non pas comme un remplacement universel de BT, mais comme une évolution nécessaire pour la robustesse dans des contextes réalistes d'apprentissage de préférences bruitées.