Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

Probleemstelling

Robotica en Reinforcement Learning from Demonstrations (RLfD) staan voor twee fundamentele uitdagingen in realistische scenario's:

1. Data-schaarste: De aanname dat er overvloedige expert-data beschikbaar is, is vaak onrealistisch vanwege de hoge kosten en moeite die gepaard gaan met het verzamelen van data in de echte wereld.
2. Cascading Errors (Kaskadefouten): Bestaande imitatieleeralgoritmen (zoals Behavior Cloning) gaan er vaak van uit dat data onafhankelijk en identiek verdeeld (i.i.d.) is. Dit leidt tot cumulerende fouten tijdens de uitvoering: kleine afwijkingen in de beginfase van een traject leiden tot een robot die zich in staten bevindt die niet in de trainingsdata zijn gezien, wat uiteindelijk resulteert in een "policy collapse" (falen van het beleid).

Er is een gebrek aan methoden die robots in staat stellen om complexe gedragingen te leren vanuit een zeer beperkt aantal demonstraties (bijv. slechts 5 episodes) terwijl ze online leren en tegelijkertijd de impact van deze kaskadefouten mitigeren.

Methodologie: Het MYOE Framework

De auteurs introduceren het "Master Your Own Expertise" (MYOE) framework. Dit is een zelf-imitatie systeem dat modelgebaseerd reinforcement learning combineert met Actieve Inference (AIF) en een nieuw concept genaamd "Preference Regret".

1. Queryable Mixture-of-Preferences State Space Model (QMoP-SSM)

Dit is het perceptiemodel dat de kern vormt van de agent. Het is een generatief wereldmodel dat twee parallelle processen combineert:

• Representatie: Het schatten van de interne toestand van de wereld op basis van waarnemingen (zoals visuele input en proprioceptie).
• Voorkeur (Preference): Het voorspellen van toekomstige "gewenste" trajecten (doelen) gebaseerd op expert-data en geleerde doelstellingen.

Het model is ontworpen als een Mixture of Preferences. In plaats van één vast voorspeld traject, leert het model een verzameling van stochastische distributies van voorkeuren. Dit voorkomt "mode collapse" (waarbij het model slechts één oplossing leert) en stimuleert exploratie door een hoge entropie in de voorspelde voorkeuren. Het model minimaliseert de "surprisal" (verrassing) tussen de waargenomen data en de voorspellingen, in lijn met het Free Energy Principle.

2. Preference Regret (Voorkeursregret)

De innovatieve kern van de leerstrategie is de berekening van Preference Regret. Dit fungeert als een intrinsieke beloning (intrinsic reward) die het gedrag van de agent stuurt.

• Definitie: Het verschil tussen de beloning die wordt voorspeld op basis van de gewenste voorkeurs-trajecten ($r_p$) en de beloning die wordt voorspeld op basis van de werkelijke representatie-toestanden ($r_o$).
• Functie:
  • Als de agent afwijkt van een succesvol voorspeld traject, ontstaat er een negatieve regret (straf), wat de agent terugstuurt naar het gewenste pad.
  • Cruciaal: Als de expert-demonstraties suboptimaal zijn (bijvoorbeeld als de expert een slechte route neemt), kan de agent een hogere beloning behalen door de omgeving te benutten dan door blind de expert te imiteren. In dit geval wordt de regret positief, waardoor de agent wordt gestimuleerd om de expert te overtreffen en de uiteindelijke beloning te maximaliseren.
• Formule: De totale intrinsieke beloning $R_\tau$ combineert de externe beloning, de voorkeursregret, en een entropie-term voor exploratie.

3. Beleidsleren (Policy Learning)

De agent gebruikt een Actor-Critic architectuur (geïnspireerd op PPO en GAE-$\lambda$) die wordt getraind om de "Preference Regret" te minimaliseren. De agent leert niet alleen door imitatie, maar door het minimaliseren van de discrepantie tussen wat het wil doen (gebaseerd op het QMoP-SSM) en wat het doet, terwijl het tegelijkertijd de uiteindelijke taakbeloning maximaliseert.

Kernbijdragen

1. MYOE Framework: Een nieuw zelf-imitatie kader dat robots in staat stelt om te leren van zeer beperkte expert-data (5 episodes) zonder last te hebben van kaskadefouten.
2. QMoP-SSM: Een nieuw perceptiemodel dat toekomstige voorkeurs-trajecten voorspelt via een mengsel van stochastische distributies, wat robuustheid biedt tegen mode collapse en exploratie bevordert.
3. Preference Regret: Een nieuw concept voor intrinsieke beloning dat de agent in staat stelt adaptief te balanceren tussen het imiteren van experts en het maximaliseren van de werkelijke beloning, zelfs als de expert-data suboptimaal is.
4. Empirische Validatie: Uitgebreide tests in simulatie en de echte wereld die aantonen dat de methode superieur is aan state-of-the-art baselines.

Resultaten

De auteurs hebben hun methode getest op 32 taken in drie gesimuleerde omgevingen (Franka Kitchen, Meta-World, Robosuite) en twee real-world robotexperimenten ("7bot" en PX100).

• Simulatie: MYOE behaalde in de meeste taken een succesrate van bijna 100% (bijv. 1.00 op taken zoals "Light Switch", "Door Lock", "Window Open"), terwijl concurrenten zoals DreamerV3 met Behavior Cloning (Drm-BC), PPO-BC en LAIfO vaak faalden (succesraten vaak < 0.1 of 0.0) of veel trager convergeerden.
• Robuustheid tegen Suboptimale Data: Waar andere methoden vastliepen op suboptimale expert-demonstraties (bijv. bij de taak "M Window Close"), slaagde MYOE erin om de optimale oplossing te vinden door de voorkeursregret te gebruiken om de expert te overtreffen.
• Real-World Performance: In fysieke experimenten met beperkte data (slechts 5 demonstraties en 125 trainings-episodes) overtrof MYOE alle baselines significant. Bij de "Reach" taak op de 7bot behaalde MYOE 34% succes tegenover 0% voor MBC-RNN, en bij de "Block picking" taak op de PX100 behaalde MYOE een succesrate van 89% met een hogere cumulatieve beloning dan alle andere methoden.

Significantie

Dit paper is significant omdat het een oplossing biedt voor het "data-schaarste" probleem in robotica. Door de combinatie van Actieve Inference, generatieve wereldmodellen en het nieuwe concept van "Preference Regret", kunnen neurorobots leren om complexe taken te voltooien zonder dat er duizenden trainingsuren of perfecte expert-data nodig zijn.

De methode lost het fundamentele probleem van kaskadefouten op door de agent niet blind te laten imiteren, maar te laten "nadenken" over de gewenste toekomstige staten en de regret te gebruiken als een leermechanisme. Dit maakt het framework zeer geschikt voor toepassingen waar data verzamelen duur of gevaarlijk is, en waar robots moeten kunnen omgaan met imperfecte instructies of suboptimale demonstraties.