Causally Robust Reward Learning from Reason-Augmented Preference Feedback

Each language version is independently generated for its own context, not a direct translation.

Imagine que vous essayez d'enseigner à un robot comment ranger votre chambre. Vous lui montrez deux scénarios : l'un où il range bien, l'autre où il fait un désastre. Vous dites : « J'aime mieux le premier ».

Le problème, c'est que le robot est un peu comme un élève très intelligent mais un peu naïf. S'il voit que dans le scénario « réussi », il y avait un tapis rouge, il pourrait penser : « Ah ! Le secret du succès, c'est le tapis rouge ! ». Alors, la prochaine fois, même si le tapis est bleu, il va essayer de ranger sur le bleu, ou pire, il va ignorer le vrai problème (comme ne pas renverser de vase) parce qu'il est obsédé par la couleur du tapis. C'est ce qu'on appelle la confusion causale : le robot confond une coïncidence (la couleur) avec la vraie cause du succès (la méthode de rangement).

Voici comment les auteurs de ce papier, ReCouPLe, résolvent ce problème avec une idée brillante et simple.

1. Le Problème : Le Robot Devine Mal

Dans les méthodes classiques, le robot ne reçoit qu'un simple « oui/non » (j'aime ça / j'aime pas ça). C'est comme si vous disiez à un enfant : « Mange tes légumes » sans expliquer pourquoi. L'enfant pourrait penser que c'est parce que les légumes sont verts, alors que c'est parce qu'ils sont bons pour la santé. Si vous lui donnez des légumes rouges, il refuse de les manger.

2. La Solution : Demander le « Pourquoi »

ReCouPLe change la donne en demandant au robot pourquoi vous avez fait ce choix.
Au lieu de juste dire « J'aime le scénario A », vous ajoutez une petite phrase : « J'aime le scénario A parce qu'il évite de renverser le vase ».

C'est comme si vous donniez au robot une boussole.

Sans boussole : Le robot regarde tout autour, voit le tapis rouge, le vase, la lumière, et essaie de deviner ce qui compte. Il se trompe souvent.
Avec boussole : Vous lui dites : « Regarde uniquement dans la direction 'Éviter le vase'. Ignore le tapis, ignore la lumière ».

3. Comment ça marche techniquement (en version simple)

Imaginez que chaque action du robot est un point dans un grand espace de possibilités.

La phrase « Évite le vase » est comme un axe (une ligne droite) dans cet espace.
ReCouPLe prend l'action du robot et la « projette » sur cette ligne.
Si l'action est bien alignée avec la ligne « Évite le vase », le robot reçoit une bonne note.
Si l'action est alignée avec autre chose (comme la couleur du tapis), cette partie est ignorée ou mise de côté.

C'est comme si vous triiez des vêtements : vous demandez à l'ordinateur de ne garder que les chemises rouges (la raison), et de jeter le reste, même si les chemises bleues sont aussi très propres (les autres détails).

4. Pourquoi c'est génial ? (La Magie du Transfert)

Le plus beau dans cette méthode, c'est que le robot apprend des principes et non pas des règles spécifiques à une seule tâche.

Imaginez que vous apprenez au robot à ranger une chambre avec des jouets, en lui disant : « Choisis les gros jouets ».
Ensuite, vous lui demandez de ranger une cuisine avec des assiettes. Même si les objets sont différents, le robot se souvient de l'axe « Gros objets ». Il n'a pas besoin de réapprendre de zéro ! Il réutilise la même « boussole » (la raison) pour une nouvelle situation.

C'est comme si vous appreniez à quelqu'un à conduire en lui disant « Garde la voiture dans la voie ». Une fois qu'il a compris ce principe, il peut conduire sur une route de montagne ou sur une autoroute, sans que vous ayez à lui réapprendre comment tenir le volant.

En Résumé

Le problème : Les robots apprennent trop vite les mauvaises astuces (comme la couleur du tapis) parce qu'on ne leur donne pas assez d'explications.
La solution ReCouPLe : On leur donne des explications en langage naturel (« Pourquoi ? »).
Le résultat : Le robot devient plus intelligent, ne se trompe plus quand les conditions changent (comme changer la couleur du tapis), et peut appliquer ce qu'il a appris à de nouvelles tâches sans avoir besoin de nouvelles leçons.

C'est un peu comme passer d'un élève qui par cœur (et qui échoue dès qu'on change une question) à un élève qui a compris la logique et qui peut résoudre n'importe quel problème.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article de conférence ReCouPLe (Reason-based Confusion Mitigation in Preference Learning), présenté à ICLR 2026.

1. Problématique : La Confusion Causale dans l'Apprentissage par Préférence

L'apprentissage par préférence basé sur les retours humains (PbRL) est une méthode clé pour aligner les agents d'apprentissage sur les intentions des utilisateurs sans récompenses manuelles. Cependant, cette approche souffre d'une limitation fondamentale : les retours binaires (préférer la trajectoire A à B) ne fournissent qu'un bit d'information.

Le problème de la corrélation fallacieuse : En l'absence de guidance explicite, les modèles de récompense ont tendance à s'accrocher à des caractéristiques non causales (distracteurs) qui co-occurrent avec les trajectoires préférées lors de l'entraînement.
Exemple illustratif : Si un robot apprend à saisir un objet, et que toutes les boîtes "grandes" dans les données d'entraînement sont rouges, le modèle peut apprendre que "rouge" est le critère de succès. Lors du test, face à une boîte "grande" bleue, le modèle échouera car la corrélation (rouge = grand) a disparu.
Conséquence : Cela conduit à une mauvaise identification de la récompense et à un manque de généralisation, surtout lors de changements de distribution (Out-of-Distribution ou OOD).

2. Méthodologie : ReCouPLe

Les auteurs proposent ReCouPLe, un cadre léger qui intègre des rationnels en langage naturel (explications courtes comme "parce qu'il évite les collisions") pour fournir le signal causal manquant.

Concepts Clés

Espace d'Embedding Partagé : Le modèle utilise un encodeur de langage gelé (ex: T5) pour mapper les descriptions de tâches ( $\ell_{task}$ ) et les rationnels ( $\ell_{reason}$ ) dans un espace vectoriel.
Décomposition Orthogonale : L'idée centrale est de traiter l'embedding du rationnel ( $\psi$ $ψ$ ) comme un axe de projection dans l'espace des représentations de trajectoires.
- Une trajectoire $\tau$ $τ$ est décomposée en deux composantes orthogonales :
  1. Composante alignée au rationnel ( $\phi_{\parallel}$ ) : Représente les caractéristiques causales expliquées par le rationnel.
  2. Composante orthogonale au rationnel ( $\phi_{\perp}$ ) : Capture les informations restantes non liées au rationnel (bruit, préférences de contexte, etc.).
Fonction de Récompense : La récompense est calculée comme le produit scalaire entre la représentation de la trajectoire et l'embedding de la tâche. ReCouPLe force la différence de récompense entre deux trajectoires à dépendre principalement de la composante alignée ( $\phi_{\parallel}$ ).

Fonction de Perte (Loss Function)

L'entraînement repose sur trois termes principaux pour éviter la confusion causale :

Perte de Rationnel ( $L_{reason}$ ) : Utilise le modèle Bradley-Terry uniquement sur la composante alignée ( $r_{\parallel}$ ) pour s'assurer que la préférence est expliquée par la raison donnée.
Perte de Cohérence Orthogonale : Empêche les caractéristiques non causales (composante orthogonale) d'expliquer les préférences. Deux variantes sont proposées :
- ReCouPLe-EC (Equality Constraint) : Impose que la composante orthogonale soit identique pour les trajectoires comparées.
- ReCouPLe-IC (Inequality Constraint) : Encourage la différence de la composante alignée à dominer la différence totale de récompense.
Régularisateur de Ratio ( $L_{ratio}$ ) : Empêche l'effondrement trivial du modèle en assurant que la magnitude de la composante alignée reste proportionnelle à la récompense totale.

3. Contributions Clés

Nouveau type de feedback : Introduction d'un mécanisme couplant les préférences binaires avec des rationnels en langage libre pour désambiguïser le signal de récompense.
Cadre ReCouPLe : Un algorithme qui injecte une structure causale en alignant les représentations de trajectoires avec les embeddings de rationnels, permettant de séparer les facteurs causaux des distracteurs.
Transfert Zero-Shot : Démonstration que les rationnels partagés entre tâches permettent de transférer les connaissances de préférence à de nouvelles tâches sans données supplémentaires ni fine-tuning du modèle de langage.

4. Résultats Expérimentaux

Les auteurs ont évalué ReCouPLe sur deux suites de tâches : ManiSkill (manipulation visuelle) et Meta-World (contrôle multi-tâches).

Robustesse aux changements de distribution (RQ1 - ManiSkill)

Scénario : Les tâches impliquent de manipuler le plus grand cube, mais la couleur du cube est parfaitement corrélée à la taille pendant l'entraînement (ex: grand = rouge). Au test, les couleurs sont inversées (grand = bleu).
Résultats :
- Les méthodes de base (BT-Multi) et l'ajout naïf de rationnels (RFP) chutent drastiquement en précision de récompense sur les données hors distribution (OOD), tombant souvent en dessous de 0,60.
- ReCouPLe-EC atteint une précision de récompense supérieure à 0,94 sur les tâches OOD, prouvant qu'il a appris à ignorer la couleur et à se concentrer sur la taille.
- En apprentissage de politique en aval, les politiques entraînées avec ReCouPLe réussissent bien mieux que les baselines dans les environnements OOD.

Transfert de tâche (RQ2 - Meta-World)

Scénario : Apprentissage sur trois tâches (Push, Push-Wall, Pick-Place-Wall) et test sur une tâche nouvelle (Pick-Place) sans requêtes de préférence supplémentaires.
Résultats :
- ReCouPLe surpasse les baselines en précision de récompense sur la tâche nouvelle (ex: 0,663 vs 0,547 pour BT-Multi).
- Cela démontre que l'espace sous-espace aligné sur le rationnel capture des signaux causaux transférables (ex: "maintenir une prise ferme") applicables à de nouveaux contextes.

Analyse de Robustesse

Diversité Linguistique : Le modèle reste robuste même avec des paraphrases variées des rationnels, prouvant qu'il apprend la sémantique et non la forme textuelle exacte.
Économie d'Étiquettes : ReCouPLe fonctionne efficacement même lorsque les rationnels ne sont fournis que pour 25% des paires de préférences, propageant le signal causal au reste du jeu de données.

5. Signification et Impact

L'article ReCouPLe apporte une solution élégante et efficace au problème de la "confusion causale" en RL, un obstacle majeur au déploiement réel des agents autonomes.

Simplicité et Efficacité : Le cadre est léger, ne nécessitant pas de fine-tuning de grands modèles de langage, mais exploitant leurs capacités sémantiques via des embeddings gelés.
Généralisation : En ancrant les préférences sur des raisons explicites, le modèle apprend des règles causales plutôt que des corrélations statistiques, permettant une généralisation robuste face aux changements de contexte (distribution shifts).
Transférabilité : La capacité à réutiliser les mêmes axes causaux (rationnels) à travers différentes tâches ouvre la voie à des systèmes d'apprentissage par préférence plus évolutifs et capables d'apprendre de nouvelles compétences avec très peu de données.

En résumé, ReCouPLe transforme le langage naturel d'une simple interface utilisateur en un outil structurel pour désambiguïser l'apprentissage par renforcement, rendant les agents plus fiables et plus proches de l'intention humaine réelle.