Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language

Titel: Masked IRL: LLM-Gestuurde Reward-Disambiguatie vanuit Demonstraties en Taal

Auteurs: Minyoung Hwang, Alexandra Forsey-Smerek, Nathaniel Dennler, Andreea Bobu (MIT CSAIL)

---

1. Het Probleem

Robots kunnen zich aanpassen aan gebruikersvoorkeuren door beloningsfuncties (reward functions) te leren uit menselijke demonstraties. Echter, dit proces is fundamenteel ill-posed: er zijn vaak veel verschillende beloningsfuncties die dezelfde demonstratie kunnen verklaren.

• Overfitting: Met beperkte data neigen reward-modellen ertoe om te overfitten op spurious correlaties (toevallige patronen) in de demonstraties in plaats van de ware intentie van de gebruiker te vangen. Demonstraties tonen hoe een taak wordt uitgevoerd, maar niet expliciet wat er belangrijk is.
• Taal als oplossing (maar met beperkingen): Natuurlijke taal kan specifiek aangeven waar de robot op moet focussen en zo de ambiguïteit van demonstraties wegnemen. Bestaande methoden voor taal-geconditioneerd reward learning behandelen instructies echter vaak als simpele conditioneringssignalen.
• De kernuitdaging: Zelfs taal kan ambigu zijn (bijv. "Blijf weg" zonder te specificeren van wat). Als zowel de demonstratie als de taal onduidelijk zijn, faalt een naïeve conditionering. Er is een methode nodig die beide inputtypen complementair gebruikt: demonstraties tonen het gedrag, taal specificeert de relevantie.

2. Methodologie: Masked Inverse Reinforcement Learning (Masked IRL)

Het paper introduceert Masked IRL, een framework dat Large Language Models (LLMs) gebruikt om demonstraties en taal instructies te combineren. De methode bestaat uit drie hoofdcomponenten:

A. Generatie van State-Relevantie Masks

Om te voorkomen dat het model zich richt op irrelevante staten, gebruikt het framework een LLM om een binair mask te genereren voor elke demonstratie-taalpaar.

• De LLM krijgt de instructie en een beschrijving van de robot-omgeving.
• De LLM identificeert welke staten (bijv. positie van de laptop vs. positie van de mens) relevant zijn voor de instructie.
• Dit resulteert in een vector $m \in \{0, 1\}^d$, waarbij 1 aangeeft dat een statencomponent relevant is.

B. State Masking Loss (De Kerninnovatie)

In plaats van irrelevante staten simpelweg op nul te zetten (wat foutgevoelig is als de LLM een fout maakt), introduceert het paper een implicit masking loss.

• Principe: Het model wordt gestraft als de voorspelde beloning verandert wanneer irrelevante staten (waar $m(j)=0$) met ruis worden verstoord.
• Formule: De loss fungeert als een regularisatie die invariance (onveranderlijkheid) oplegt ten opzichte van irrelevante staten.
• Doel: Dit dwingt het reward-model om te focussen op de task-relevante dimensies, wat de sample-efficiency verhoogt en overfitting op ruis voorkomt.

C. Disambiguatie van Taal met LLM-Redenering

Wanneer instructies onvolledig zijn (bijv. "Blijf weg"), gebruikt het framework de LLM om de instructie te verduidelijken in de context van de demonstratie.

• De LLM vergelijkt de menselijke demonstratie met een referentietraject (bijv. de kortste pad-traject).
• Op basis van het verschil tussen de twee, infereert de LLM een verduidelijkte instructie (bijv. van "Blijf weg" naar "Blijf weg van de laptop").
• Deze verduidelijkte instructies worden vervolgens gebruikt om de state-masks te genereren en het model te trainen.

D. Architectuur

Het reward-model is een taal-geconditioneerd netwerk dat gebruikmaakt van FiLM (Feature-wise Linear Modulation). Taal-embeddings (via een T5 transformer) moduleren de state-inputs via schaal- en verschuifparameters, wat een gestructureerde manier biedt om de beloning te conditioneren op de instructie.

3. Belangrijkste Bijdragen

1. Taal-gestuurde State Masks: Introductie van een methode om via LLMs te bepalen welke staten relevant zijn, gekoppeld aan een nieuwe masking loss die sample-efficiency in IRL verbetert.
2. LLM-gebaseerde Disambiguatie: Een mechanisme dat onduidelijke instructies verduidelijkt door context van demonstraties te gebruiken, waardoor het systeem robuust blijft bij vage taal.
3. Empirische Validatie: Bewijs van robuuste generalisatie in zowel simulatie als op een fysieke robot (7-DoF arm), met aanzienlijk minder data nodig dan bestaande methoden.

4. Resultaten

De methode is getest op een object-overdracht-taak (een mok van A naar B brengen) met een Franka Emika robotarm, zowel in PyBullet-simulatie als in de echte wereld.

• Sample Efficiency: Masked IRL presteert tot 4,7 keer beter in data-efficiëntie dan eerdere taal-geconditioneerde IRL-methoden (LC-RL). Het bereikt vergelijkbare prestaties met slechts 5 demonstraties per voorkeur, terwijl baselines veel meer data nodig hebben.
• Generalisatie: In tests met onbekende voorkeuren (test preferences) behaalde Masked IRL een hogere "win rate" (het correct voorspellen van de voorkeur tussen twee trajecten) dan baselines.
• Robuustheid tegen Ambiguïteit: Bij het gebruik van vage instructies (bijv. "Blijf weg" zonder object), verbeterde de disambiguatiestap de prestaties aanzienlijk. Masked IRL met verduidelijkte instructies behaalde een 21,4% hogere win rate dan LC-RL met vage instructies.
• Real-World Transfer: Op de fysieke robot toonde Masked IRL lagere reward-variatie bij verstoringen van irrelevante staten en lagere "regret" (afwijking van de optimale trajecten) dan baselines, zelfs zonder extra fine-tuning.

5. Betekenis en Conclusie

Masked IRL lost een fundamenteel probleem op in robotleren: hoe leer je een robuuste beloningsfunctie met weinig data en onduidelijke taal?

• Door complementaire informatie te benutten (demonstraties voor gedrag, taal voor relevantie), vermindert de methode de noodzaak aan grote datasets.
• Het gebruik van LLMs niet alleen als conditionering, maar als redeneermotor voor het filteren van irrelevante staten en het verduidelijken van instructies, is een paradigmaverschuiving ten opzichte van eerdere werken.
• De resultaten tonen aan dat robots sneller en betrouwbaarder kunnen leren van mensen, zelfs als de menselijke feedback imperfect of vaag is, wat cruciaal is voor de praktische toepassing van robots in diverse omgevingen.