Technische Samenvatting: Formulering van Reinforcement Learning voor Mens-Robot Samenwerking door middel van Off-Policy Evaluatie

1. Probleemstelling

Reinforcement Learning (RL) biedt aanzienlijk potentieel voor het optimaliseren van sequentiële besluitvorming in dynamische omgevingen, met name in mens-robot interactie (HRI). De implementatie van RL in de echte wereld, in veiligheidskritische settings (bijv. gezondheidszorg, luchtvaart, autonoom rijden), wordt echter gehinderd door substantiële barrières. Traditionele RL-benaderingen leunen zwaar op uitgebreide online interacties, trial-and-error en domeinkennis om effectieve staat-representaties en beloningsfuncties te definiëren. Dit proces is vaak kostbaar, tijdrovend en onveilig.

Hoewel Offline Reinforcement Learning (ORL) de noodzaak voor real-time interactie vermindert door te trainen op vooraf verzamelde data, blijft een kritieke uitdaging bestaan: het selecteren van optimale state spaces en beloningsfuncties zonder online experimenten. Bovendien vereist het waarborgen dat offline getrainde policies veilig en effectief zijn in dynamische mens-robot samenwerkingsscenario's robuuste evaluatiemethoden die geen verdere inzet in de echte wereld vereisen.

2. Methodologie

De auteurs stellen een nieuw framework voor dat gebruikmaakt van Off-Policy Evaluation (OPE) om systematisch optimale staat-representaties en beloningsfuncties te selecteren met behulp van uitsluitend gelogde interactiedata. Deze aanpak elimineert de noodzaak voor real-time toegang tot de omgeving of feedback van de mens-in-de-lus tijdens de ontwerpfase.

2.1 Selectie van de State Space via OPE

Het framework evalueert meerdere kandidaat-staat-representaties ($S_1, S_2, ..., S_K$) afgeleid van domeinkennis of feature selectie.

1. Offline Training: Een offline RL-agent (specifiek Constrained Q-Learning, CQL) wordt voor elke kandidaat-staat-representatie getraind met behulp van de gelogde dataset.
2. OPE Estimatie: Een OPE-estimator (gebruikmakend van methoden zoals Importance Sampling, Direct Method, of Fitted Q-Evaluation) schat de verwachte return van elke getrainde policy in zonder online interactie.
3. Selectie: De optimale staat-representatie ($S^*$) wordt geselecteerd op basis van de hoogste OPE-geschatte return, waarbij representaties effectief worden gerangschikt op hun vermogen om hoogpresterende policies te induceren.

2.2 Selectie van de Beloningsfunctie via OPE

Het framework evalueert eveneens kandidaat-beloningsfuncties ($r_1, r_2, ..., r_M$) door te beoordelen hoe goed zij in staat zijn om hoogpresterende en laagpresterende policies van elkaar te onderscheiden.

1. Policy Evaluatie: Pre-gedefinieerde hoogpresterende ($\pi^+$) en laagpresterende ($\pi^-$) policies worden onder elke kandidaat-beloningsfunctie geëvalueerd met behulp van OPE.
2. Scheidingsmetrieken: De effectiviteit van een beloningsfunctie wordt gekwantificeerd door de divergentie tussen de geschatte returns van $\pi^+$ en $\pi^-$. De auteurs maken gebruik van:
   • Gemiddeld return verschil ($\Delta V$).
   • Kullback-Leibler (KL) divergentie.
   • Jensen-Shannon (JS) divergentie.
3. Selectie: De optimale beloningsfunctie ($r^*$) is de functie die de scheiding tussen goede en slechte policies maximaliseert, wat zorgt voor een sterk leer-signaal.

3. Experimentele Validatie

De voorgestelde methodologie werd gevalideerd in twee verschillende omgevingen:

3.1 Gecontroleerde Setting: OpenAI Gym Lunar Lander

• Doel: Beoordelen van het vermogen van het framework om state spaces en beloningsfuncties te selecteren in een gecontroleerde omgeving.
• State Space Resultaten: Drie kandidaten werden getest: origineel ($S_{orig}$), uitgebreid met ruis ($S_{more}$), en gereduceerd ($S_{less}$). OPE identificeerde correct $S_{orig}$ als de optimale representatie, wat aantoont dat onnodige expansie van features de prestaties verslechtert, terwijl excessieve compressie kritieke informatie weglaat.
• Beloningsfunctie Resultaten: Het framework identificeerde succesvol een baseline-beloningsfunctie die staat-gebaseerde, actie-gebaseerde en terminale beloningen combineert als superieur aan alternatieven (bijv. alleen terminale of alleen actie-gebaseerde beloningen). De geselecteerde functie vertoonde de hoogste JS-divergentie, wat bevestigt dat deze een effectief leer-signaal biedt.

3.2 Real-World Setting: NASA-MATB-II Menselijke Subjecten Studie

• Doel: Evalueren van de toepasbaarheid op mens-robot samenwerking met behulp van data uit een Multi-Attribute Task Battery-II (MATB-II) simulatie waarbij negen deelnemers werden getest onder variërende werklastcondities.
• State Space Selectie: Kandidaten omvatten combinaties van taakdata, fysiologische data (hartslag, ademhaling) en geschatte werklast.
  • Resultaat: De multimodale staat-representatie ($S_{task+physio+wl}$) leverde de hoogste OPE-return op. Verdere analyse gaf echter aan dat werklastdata een marginale toegevoegde waarde boden wanneer taak- en fysiologische data aanwezig waren. Bijgevolg werd $S_{task+physio}$ gekozen als de voorkeursrepresentatie, wat een balans vindt tussen prestaties en computationele efficiëntie.
• Beloningsfunctie Selectie: Drie beloningsfuncties werden getest: het bestraffen van slecht gedrag ($r_1$), het belonen van goed gedrag ($r_2$), en een gewogen som ($r_3$).
  • Resultaat: De gewogen som ($r_3$) werd als optimaal geselecteerd, met de hoogste KL- en JS-divergenties, wat duidt op de beste scheiding tussen policy-prestaties.

3.3 Online Validatie met Menselijke Subjecten

Een daaropvolgende, door een IRB goedgekeurde studie met 19 deelnemers vergeleek drie agenten:

1. Rule-Based (RB): Voorgedefinieerde regels die automatisering activeren tijdens overbelasting.
2. RL Agent: Getraind offline met de door OPE geselecteerde state space en beloningsfunctie.
3. RL Fine-Tuning (RLFT): De RL-agent die verder is verfijnd via real-time interactie.

Belangrijkste Bevindingen:

• Taakprestaties: De RL-agent vertoonde de meest consistente prestaties bij zowel tracking- als systeemmonitorings-taken, en presteerde significant beter dan RB en RLFT wat betreft reactietijden en foutpercentages onder variërende belastingen. De RLFT-agent blonk uit in de communicatietaak, maar vertoonde instabiliteit in middelenbeheer en hogere foutpercentages onder overbelasting.
• Vertrouwen en Werklast: De RL-agent ontving de hoogste vertrouwensscores en resulteerde in de laagste ervaren werklast en de hoogste vloeiendheid. Omgekeerd veroorzaakte RLFT, ondanks hoge scores op betrouwbaarheid na de proef, de hoogste subjectieve werklast en frustratie, wat suggereert dat real-time fine-tuning onvoorspelbaarheid en cognitieve druk kan introduceren.
• Automatisering Frequentie: De RL-agent maakte gebruik van selectieve, goed getimede automatisering, terwijl RLFT vaak over- of onder-automatiseerde afhankelijk van de taak, wat leidde tot inconsistente prestaties.

4. Belangrijkste Bijdragen

1. OPE-gestuurd Ontwerpframework: De introductie van een framework dat Off-Policy Evaluation gebruikt om optimale state spaces en beloningsfuncties te selecteren uit gelogde data, waardoor de noodzaak voor kostbare real-time interacties wordt omzeild.
2. Data-gestuurde Optimalisatie: Een methode om RL-formuleringen te optimaliseren voor zowel gecontroleerde (Lunar Lander) als complexe mens-robot interactiescenario's (NASA-MATB-II) door systematisch kandidaat-configuraties te evalueren.
3. Empirische Validatie: Demonstratie dat OPE-gebaseerde selectie leidt tot RL-agenten die regelgebaseerde baselines en verfijnde varianten overtreffen op het gebied van adaptiviteit, betrouwbaarheid en gebruikersvertrouwen in veiligheidskritische, multi-task omgevingen.

5. Betekenis en Claims

Het artikel stelt dat dit werk de haalbaarheid en schaalbaarheid van offline RL voor real-world omgevingen vergroot door kritieke ontwerpbeslissingen te automatiseren. Door de afhankelijkheid van trial-and-error en online interacties te verminderen, biedt het framework een betrouwbaardere, effectievere en duurzamere aanpak voor het formuleren van RL voor complexe HRI-settings.

De auteurs benadrukken een kritieke trade-off die in hun resultaten werd waargenomen: hoewel personalisatie door middel van fine-tuning (RLFT) specifieke taak-alignement kan verbeteren, kan het de systeemstabiliteit en cognitieve belasting in gevaar brengen. Daarom biedt de voorgestelde OPE-gebaseerde offline aanpak een robuust alternatief dat een balans vindt tussen adaptiviteit en voorspelbaarheid. Het werk suggereert dat voor veiligheidskritische domeinen het waarborgen van een robuuste policy-evaluatie vóór implementatie via OPE essentieel is, en dat het integreren van fysiologische data in staat-representaties de prestaties van mens-robot samenwerking aanzienlijk kan verbeteren zonder de risico's die gepaard gaan met uitgebreide online experimenten.