Causally Robust Reward Learning from Reason-Augmented Preference Feedback

Het paper introduceert ReCouPLe, een lichtgewicht framework dat natuurlijke taalredeneringen gebruikt als causale signalen om voorkeursgebaseerde beloningsmodellen robuuster te maken tegen causale verwarring en beter te laten generaliseren naar nieuwe taken zonder extra data.

De kern

De Probleemstelling: De "Slimme" Robot die Alles Verkeerd Begrijpt

Stel je voor dat je een robot wilt leren om een doos te pakken. Je wilt dat hij de grote doos pakt, niet de kleine.

Je geeft de robot voorbeelden:

• Voorbeeld A: Hij pakt een grote, rode doos.
• Voorbeeld B: Hij pakt een kleine, blauwe doos.
• Jouw feedback: "Ik vind A beter."

De robot is slim, maar hij is ook een beetje een "luie denker". Hij ziet dat in alle voorbeelden de rode doos de grote doos is. Dus, in plaats van te leren dat grootte belangrijk is, leert hij dat rood belangrijk is. Hij denkt: "Ah, de gebruiker houdt van rode dingen!"

Dit noemen de auteurs causale verwarring. De robot heeft een "nep-signaal" (de kleur) geleerd in plaats van het echte signaal (de grootte).

Het gevaar: Zodra je de robot in een nieuwe situatie zet met een grote blauwe doos en een kleine rode doos, gaat hij de kleine rode doos pakken. Hij faalt, omdat hij alleen op de kleur heeft geleerd, niet op de reden waarom je de grote doos wilde.

De Oplossing: ReCouPLe (De "Waarom"-Robot)

De onderzoekers van de Universiteit van Zuid-Californië hebben een nieuwe methode bedacht genaamd ReCouPLe. Het idee is simpel maar krachtig: Vraag niet alleen wat de robot moet doen, maar ook waarom.

In plaats van alleen te zeggen "Ik kies A", zegt de mens: "Ik kies A, omdat het de grote doos pakt."

Dit kleine stukje tekst (de "reden" of rationale) is de sleutel. Het is als een magische lens die de robot helpt om de echte oorzaak van zijn succes te zien, en de nep-oorzaken (zoals de kleur) te negeren.

Hoe werkt het? (De Analogie van het Projectiescherm)

Stel je voor dat de robot een film kijkt van zijn eigen bewegingen.

• Zonder ReCouPLe: De robot kijkt naar de hele film en probeert te raden wat er belangrijk is. Hij ziet de kleur, de snelheid, de achtergrond en de grootte door elkaar heen. Hij raakt in de war.
• Met ReCouPLe: De mens geeft een instructie: "Kijk alleen naar de grootte van de doos."

De robot gebruikt deze instructie als een projectie-as (een denkbeeldige lijn).

1. Hij neemt de hele film (de beweging).
2. Hij projecteert de film op de "grootte-as". Alles wat te maken heeft met grootte, wordt helder en duidelijk.
3. Alles wat niet te maken heeft met grootte (zoals de kleur, de achtergrond of de snelheid), wordt weggefilterd of "orthogonaal" gemaakt. Het wordt irrelevant voor de beslissing.

Dit zorgt ervoor dat de robot leert: "Het maakt niet uit of de doos rood of blauw is; wat telt is dat hij groot is."

De Kracht van Herhaling: De "Meester-Vertaler"

Een van de coolste dingen aan ReCouPLe is dat de robot deze "reden" kan hergebruiken.

Stel je voor dat de robot eerst leert om een grote doos te pakken (reden: "omdat hij groot is"). Later moet hij leren om een grote beker te pakken.

• Zonder ReCouPLe moet hij opnieuw alles van nul af leren.
• Met ReCouPLe denkt de robot: "Oh, ik ken deze reden al! 'Grootte' is belangrijk. Ik hoef alleen maar de 'doos'-gedeelte van mijn kennis te vervangen door 'beker', maar de 'grootte'-regel blijft hetzelfde."

De robot kan dus zijn kennis over "grootte" overdragen naar nieuwe taken zonder dat je hem opnieuw hoeft te trainen. Het is alsof je een meester-vertaler hebt die de kern van een zin begrijpt, in plaats van alleen woorden uit het hoofd te leren.

Wat hebben ze bewezen?

De onderzoekers hebben dit getest in twee situaties:

1. De Kleur-Valstrik: Robots die zonder ReCouPLe faalden zodra ze de kleuren verwisselden, slaagden met ReCouPLe. Ze leerden echt naar de grootte te kijken.
2. Nieuwe Taken: Robots die ReCouPLe gebruikten, konden hun kennis over "grootte" en "vermijden van botsingen" direct toepassen op nieuwe, onbekende taken. Ze waren veel sneller en slimmer dan robots die alleen op voorbeelden leerden.

Samenvatting in één zin

ReCouPLe is een slimme manier om robots te leren niet alleen naar wat ze doen te kijken, maar vooral naar waarom ze het doen, zodat ze niet in de valkuil van nep-patronen (zoals kleuren) trappen en echt begrijpen wat de mens bedoelt.

Kortom: Het is het verschil tussen een robot die zegt "Ik doe dit omdat het rood is" en een robot die zegt "Ik doe dit omdat het groot is, en dat is wat jij wilt."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Causally Robust Reward Learning from Reason-Augmented Preference Feedback" (ReCouPLe), gepubliceerd bij ICLR 2026, geschreven in het Nederlands.

Probleemstelling: Causale Verwarring in Reward Learning

Op voorkeursgebaseerd versterkend leren (Preference-based Reinforcement Learning of PbRL) wordt vaak gebruikt om agenten te trainen op basis van menselijke voorkeuren (bijv. "Traject A is beter dan Traject B"). Een fundamenteel probleem hierbij is dat deze binaire feedback slechts één bit informatie bevat en vatbaar is voor causale verwarring (causal confusion).

• Spurious Correlaties: Zonder extra context kan een reward-model een voorkeur toewijzen aan een toevallig samenvallend kenmerk (een "distractor") in plaats van de werkelijke oorzaak van het succes.
• Voorbeeld: Als een robot altijd een grote rode doos moet oppakken en de annotator kiest consequent voor de doos die groot en rood is, leert het model dat de kleur rood de reden is. Bij het testen, wanneer een grote blauwe doos verschijnt, faalt de agent omdat het model de kleur (een spurious feature) heeft geleerd in plaats van de grootte (de causale feature).
• Gevolg: Zodra de verdeling van de data verschuift (distribution shift), collapseert de prestatie van de agent omdat de gemaakte correlaties niet langer geldig zijn.

Methodologie: ReCouPLe

De auteurs introduceren ReCouPLe (Reason-based Confusion Mitigation in Preference Learning), een lichtgewicht framework dat natuurlijke taal-rationales (uitleg waarom iets de voorkeur heeft) gebruikt om de causale signalen te versterken.

Kernidee:
Elk rationale (bijv. "omdat het een grotere doos oppakt") wordt behandeld als een projectie-as in een gedeelde embedding-ruimte. Het model leert de trajectrepresentatie te ontleden in twee componenten:

1. Reason-aligned component ($\phi_{\parallel}$): De deel van de trajectrepresentatie die parallel loopt aan de rationale-embedding. Dit vertegenwoordigt de causale factoren die de gebruiker expliciet noemt.
2. Reason-orthogonale component ($\phi_{\perp}$): De rest van de informatie, die irrelevant is voor de specifieke rationale (bijv. achtergrondkleur of andere niet-gerelateerde variabelen).

Technische Implementatie:

• Architectuur: Het reward-model wordt gedefinieerd als het inwendig product tussen de traject-embedding en de taak-embedding. De auteurs gebruiken een bevroren taalmodel (T5) om rationale- en taakbeschrijvingen naar embeddings te vertalen.
• Verliesfuncties: ReCouPLe introduceert een aangepaste loss-functie om de causale structuur af te dwingen:
  1. Reason Loss: Een Bradley-Terry loss die alleen de reason-aligned component ($r_{\parallel}$) gebruikt om de voorkeur te voorspellen. Dit dwingt het model om de voorkeur uitsluitend te baseren op de vermelde reden.
  2. Orthogonal Consistency Loss: Deze term zorgt ervoor dat de reason-orthogonale component ($r_{\perp}$) geen voorkeurssignaal bevat. Er zijn twee varianten:
     • ReCouPLe-EC: Dwingt $r_{\perp}$ voor beide trajecten gelijk te zijn (strikt).
     • ReCouPLe-IC: Dwingt het verschil in $r_{\parallel}$ groter te zijn dan het verschil in $r_{\perp}$ (minder strikt, beter voor complexe scenario's).
  3. Reward-ratio Regularizer: Voorkomt dat het model trivialiseert door de reward volledig in de causale subspace te laten collapse.

Voordeel: Omdat dezelfde rationale (bijv. "vermijd botsingen") over verschillende taken kan voorkomen, kan ReCouPLe causale kennis zero-shot overdragen naar nieuwe taken zonder extra data of fine-tuning van het taalmodel.

Belangrijkste Bijdragen

1. Nieuwe Feedback-modus: Het combineren van binaire voorkeuren met vrije natuurlijke taal-rationales om de ambiguïteit van PbRL op te lossen.
2. Framework Ontwerp: ReCouPLe injecteert causale structuur in het leerproces door trajecten te projecteren op rationale-embeddings, waardoor spurious correlaties worden onderdrukt.
3. Empirische Validatie: Bewijs dat dit leidt tot reward-modellen die significant minder gevoelig zijn voor causale verwarring en beter generaliseren naar nieuwe taken dan state-of-the-art baselines.

Resultaten

De methode is getest op twee benchmarks: ManiSkill (robotische manipulatie met visuele distractors) en Meta-World (multi-task transfer).

• Robuustheid tegen Causale Verwarring (RQ1):

  • In ManiSkill, waar de kleur van objecten tijdens het trainen perfect gecorreleerd was met de grootte (de echte oorzaak), faalden baselines (BT-Multi, RFP) bij een "color-swapped" testset (out-of-distribution). Hun reward-accuratie daalde drastisch (bijv. van ~0.98 naar ~0.54).
  • ReCouPLe behield een hoge accurate (tot 0.94 - 1.00) en presteerde tot 1.5x beter dan baselines onder distributieveranderingen.
  • Ook in visuele taken (image-based) waar achtergrondkleuren als distractors dienden, bleek ReCouPLe robuust, terwijl baselines volledig faalden.

• Taakoverdracht (RQ2):

  • In Meta-World werd getest of een model getraind op een set taken, kon overdragen naar een nieuwe, onbekende taak zonder extra voorkeursvragen.
  • ReCouPLe behaalde een 2x betere downstream policy performance op de nieuwe taak vergeleken met baselines.
  • Het model slaagde erin om semantisch gerelateerde redenen (bijv. "vastgrijpen" en "weg van muur") te combineren om succesvol te zijn in een nieuwe context.

• Efficiëntie:

  • Het model bleek zeer label-efficiënt: zelfs wanneer slechts 25% van de voorkeursparen een rationale had, behield het een sterke OOD-prestatie.
  • Het was ook robuust tegen variatie in taalgebruik (synoniemen, passieve zinnen), wat aantoont dat het semantische betekenis leert en niet zomaar tekstpatronen memoriseert.

Betekenis en Conclusie

ReCouPLe biedt een elegante oplossing voor een van de grootste obstakels in het toepassen van versterkend leren in de echte wereld: het risico dat agenten "korte paden" (spurious correlations) leren in plaats van de werkelijke taakdoelen.

• Praktische Impact: Door gebruik te maken van natuurlijke taal-rationales, kunnen ontwikkelaars robuustere reward-modellen bouwen die minder gevoelig zijn voor veranderingen in de omgeving.
• Generalisatie: De methode maakt zero-shot transfer mogelijk, wat de kosten voor het verzamelen van nieuwe menselijke feedback voor elke nieuwe taak drastisch verlaagt.
• Toekomst: Hoewel de huidige evaluatie beperkt is tot simulaties, biedt ReCouPLe een veelbelovende richting voor het implementeren van veilige en betrouwbare robotica in dynamische, onvoorspelbare omgevingen.

Samenvattend transformeert ReCouPLe vrije taal-rationales in causale projectie-assen, waardoor reward-learning niet langer afhankelijk is van toevallige correlaties, maar gefundeerd is op de werkelijke intentie van de gebruiker.