Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces

Dit artikel introduceert een Dual-Agent Multiple-Model Reinforcement Learning (DAMMRL) framework voor een 6-DoF revalidatierobot dat via een gebeurtenisgestuurd, gedeeld besturingsbeleid de menselijke snelheid-precisieafweging en robotische correcties dynamisch co-adapteert in ontkoppelde taakruimtes om trajectoscillaties te onderdrukken en het succes van objectacquisitie te maximaliseren.

De kern

Stel je voor dat je een robotarm hebt die je helpt om je arm te bewegen, bijvoorbeeld om een knop op een muur te drukken. Dit is een veelvoorkomende oefening voor revalidatie na een beroerte of blessure. Maar hier zit een groot probleem: als de robot te snel of te stug reageert, gaat de arm trillen als een jellie. Als hij te langzaam is, duurt het te lang.

Deze paper beschrijft een slimme nieuwe manier om die robot te laten samenwerken met de mens. Ze noemen het DAMMRL, maar laten we het simpel houden: het is een tandem-systeem waarbij mens en robot elkaar perfect aanvullen.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. De Regels van het Spel: Wie doet wat?

In de oude methoden probeerde de robot vaak alles zelf te doen, of de mens moest heel precies zijn. In dit nieuwe systeem splitsen ze de taak op, net als een paar danspartners:

• Jij (de mens): Jij bent de kapitein. Jij bepaalt alleen de hoofdrichting. Denk aan een simpele knop: "Omhoog" of "Omlaag". Je hoeft niet na te denken over de exacte hoek of snelheid. Jij geeft het grote commando.
• De Robot: De robot is de vaardige danser die de rest regelt. Hij zorgt dat je arm niet uit de bocht vliegt. Hij corrigeert de zijwaartse bewegingen en zorgt dat je precies op de knop landt, zonder dat jij daarover hoeft te piekeren.

2. Het Probleem met de "Klok" (En de Oplossing)

Stel je voor dat je een robot stuurt met een metronoom (een klok die tikt). De robot moet elke seconde een stapje zetten, of hij nu klaar is of niet.

• Het probleem: Soms duurt een beweging net iets langer dan een seconde. De robot denkt dan: "Ik moet nu alweer een nieuwe opdracht!" terwijl hij nog bezig is met de vorige. Het resultaat? De robot begint te trillen of te schokken (in vakjargon: "chatter"). Het is alsof je probeert te lopen terwijl iemand je elke seconde een nieuwe richting geeft voordat je je voet hebt neergezet.

De Oplossing: De "Toegangsbol"
In plaats van een klok, gebruiken ze een onzichtbare bol rondom het doel.

• De robot doet pas de volgende stap als hij echt binnen die bol is gekomen.
• Vergelijking: Het is alsof je een bal naar een doel gooit. Je wacht niet tot de klok tikt, maar je wacht tot de bal echt in de mand is. Pas dan gooi je de volgende. Dit zorgt voor rustige, soepele bewegingen zonder die vervelende trillingen.

3. De Slimme Leermeester (DAMMRL)

Dit is het meest interessante deel. Mensen zijn verschillend. Sommigen zijn snel maar onnauwkeurig (ze willen snel de knop raken, maar missen soms). Anderen zijn langzaam maar heel precies.

De robot moet leren hoe hij zich aan jou aanpast. Hiervoor gebruiken ze een systeem dat lijkt op twee leerlingen die samen een puzzel oplossen:

• Leerling A (Jij): Kies je voor "Snelheid" (een grote toegangsbol, je mag wat verder missen) of voor "Nauwkeurigheid" (een kleine bol, je moet heel precies zijn)?
• Leerling B (De Robot): Kijkt naar jouw keuze.
  • Als jij kiest voor Snelheid, zegt de robot: "Oké, ik neem dan grote stappen om snel vooruit te komen."
  • Als jij kiest voor Nauwkeurigheid, zegt de robot: "Geen probleem, ik neem dan kleine, zorgvuldige stapjes om je te helpen precies te raken."

Het systeem heeft dit eerst geoefend in een virtuele wereld (een computerspelletje genaamd MuJoCo) en daarna getest met echte mensen die op een drukknop duwden.

4. Wat is het resultaat?

De onderzoekers hebben bewezen dat dit systeem veel beter werkt dan de oude methoden:

• Minder trillen: De robot beweegt soepel als een danser, niet als een trillende machine.
• Sneller en slimmer: De robot past zich automatisch aan jouw tempo aan. Als je snel bent, is hij snel. Als je voorzichtig bent, is hij voorzichtig.
• Meer succes: Mensen bereiken hun doel (de knop) vaker en met minder frustratie.

Samenvattend

Stel je voor dat je een robotarm hebt die niet alleen luistert naar wat je zegt, maar ook voelt hoe je je voelt. Als je haast hebt, helpt hij je snel. Als je voorzichtig moet zijn, helpt hij je precies. En hij doet dit zonder te trillen, omdat hij wacht tot hij echt klaar is met de vorige beweging voordat hij de volgende start.

Het is alsof je een ideale danspartner hebt die je nooit in de steek laat, maar ook nooit in de weg loopt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces" in het Nederlands.

Probleemstelling

De huidige robot-ondersteunde revalidatie voor de bovenste ledematen kampt met twee fundamentele beperkingen:

1. Intentie-decodering: Bestaande systemen vereisen vaak complexe, real-time decodering van menselijke intenties die zowel nauwkeurig als lichtgewicht moet zijn.
2. Besturingsoscillaties (Chatter): Traditionele besturingsstrategieën met een vaste frequentie (fixed-frequency) leiden tot ongewenste trillingen en oscillaties rondom tussenpunten (waypoints). Dit komt doordat de uitvoeringstijd voor inverse kinematica (IK) variabel is; de controller stuurt nieuwe commando's voordat de robot fysiek de vorige positie heeft bereikt, wat leidt tot instabiliteit en onzekerheid, vooral in de buurt van het doel.

Daarnaast is het lastig om de variabiliteit tussen individuele patiënten (verschillende snelheid-nauwkeurigheidsafwegingen) te accommoderen zonder zware, continue online aanpassing.

Methodologie

Het paper introduceert een gedeelde besturingsarchitectuur voor een aangepaste 6-vrijheidsgraad (6-DoF) robot voor de bovenste ledematen, gebaseerd op de volgende kerncomponenten:

1. Ontkoppelde Taakruimten en Asiale Decompositie

• De complexe reikbeweging wordt ontbonden in ontkoppelde ruimtelijke assen.
• Menselijke Agent (Agent 0): Bestuurt de primaire reikrichting via binaire commando's (bijv. omhoog/omlaag) en kiest een "toelatingsbol" (admission sphere) straal. Dit vertegenwoordigt de snelheid-nauwkeurigheidsafweging van de gebruiker.
• Robot Agent (Agent 1): Bestuurt autonoom de orthogonale correctieve bewegingen en bepaalt dynamisch de grootte van de stap (step magnitude) in de X, Y en Z-richtingen om de menselijke intentie aan te vullen.

2. Event-Triggered Progressie (Gebeurtenis-gedreven)

• In plaats van updates op een vaste tijdsinterval, wordt de volgende besturingsactie pas geactiveerd wanneer de eind-effector een toelatingsbol (een sfeer met straal $\varepsilon$) rond het huidige tussenpunt binnenkomt én de energie-convergentie ($\dot{V} \leq 0$) is bereikt.
• Dit mechanisme fungeert als een ruimtelijke "dode zone" die voorkomt dat de controller commando's stuurt terwijl de robot nog in beweging is, waardoor oscillaties worden onderdrukt.

3. Dual-Agent Multiple Model Reinforcement Learning (DAMMRL)

• Dit is een DQN-gebaseerd (Deep Q-Network) co-adaptatiekader dat mens en robot modelleert als twee agenten.
• Discrete Modellen: Het systeem discretiseert de beslissingsruimte in een eindige set van modellen $M = \{M_{i,j}\}$:
  • $i \in \{1, 2\}$: De door de mens gekozen toelatingsbol (groot voor snelheid, klein voor nauwkeurigheid).
  • $j \in \{1, ..., 8\}$: De combinatie van stapgroottes voor de robot in de drie dimensies.
• De RL-algoritme leert de optimale match tussen het menselijke cognitieve model en de robotstappen om zowel nauwkeurigheid als tijdsefficiëntie te maximaliseren.

4. Dynamisch Consistente Besturing

• De beweging wordt gemapt van Cartesiaanse micro-stappen naar gewrichtsruimte via numerieke inverse kinematica.
• Voor de daadwerkelijke uitvoering wordt Inverse Dynamics (berekend koppel) gebruikt, inclusief compensatie voor traagheid, Coriolis- en centrifugale krachten en zwaartekracht, om soepele en veilige interactie te garanderen.

5. Trainingscurriculum
De implementatie volgt een gefaseerde aanpak:

1. Virtueel: Beide agenten gesimuleerd in MuJoCo voor training.
2. Semi-virtueel: Een echte mens (via druksensor) bestuurt de virtuele robot.
3. Real: Volledige implementatie op fysieke hardware (nog niet volledig uitgevoerd in dit paper, maar gepland).

Belangrijkste Bijdragen

1. Rolverdeling: Een nieuwe asiale toewijzing waarbij de mens de richting bepaalt en de robot de correcties, wat de cognitieve last verlaagt tot robuuste binaire beslissingen.
2. Event-Triggered Strategie: Een nieuwe criteria voor voortgang die gebruikmaakt van een toelatingsbol om waypoint-oscillaties te elimineren die typisch zijn bij vaste frequentie-updates.
3. DAMMRL Framework: Een DQN-gebaseerd systeem dat menselijke snelheid-nauwkeurigheidskeuzes koppelt aan dynamisch aangepaste robotstapgroottes, zonder continue online aanpassing.
4. Gefaseerde Validatie: Een pipeline die naadloos overgaat van simulatie naar semi-virtuele en fysieke omgevingen, wat de implementatie op hardware vereenvoudigt.

Resultaten

De resultaten, voornamelijk verkregen uit de virtuele simulatie (S1) en semi-virtuele tests (S2), tonen het volgende aan:

• Onderdrukking van Oscillaties: De event-triggered methode reduceert significant het aantal richtingsomkeringen (chatter) rondom tussenpunten in vergelijking met vaste-frequentie besturing.
• Stabiliteit: De gebruikte Lyapunov-gebaseerde trigger zorgt voor voldoende ruimtelijke stabilisatie voordat een nieuwe stap wordt gezet.
• Adaptiviteit:
  • Bij een beloningsfunctie gericht op nauwkeurigheid (Reward 1), leert de robot kleine, precieze stappen te nemen.
  • Bij een beloningsfunctie gericht op snelheid en nauwkeurigheid (Reward 2), past de robot dynamisch de stapgrootte aan: grotere stappen in het begin en kleinere stappen naarmate het doel wordt benaderd, afhankelijk van de menselijke keuze.
• Succesratio: Het DAMMRL-systeem toont een hogere succesratio bij het bereiken van doelen en een betere balans tussen tijd en precisie dan traditionele gedeelde besturing.

Betekenis en Toekomstperspectief

Dit onderzoek biedt een robuust kader voor mens-robotinteractie in de revalidatie. Door de complexiteit van intentie-decodering te reduceren tot binaire beslissingen en de besturing te synchroniseren met de fysieke uitvoering van de robot via event-triggering, wordt de veiligheid en het comfort voor de patiënt verbeterd.

De DAMMRL-benadering is cruciaal omdat het individuele verschillen in patiëntenvermogen adresseert zonder de rekenkracht te overbelasten met continue online adaptatie. Hoewel de huidige tests voornamelijk met gezonde proefpersonen zijn uitgevoerd, vormt dit een sterke basis voor toekomstige klinische validatie bij neurologisch gehandicapte patiënten. De methode belooft de effectiviteit van robot-ondersteunde revalidatie te verhogen door de samenwerking tussen mens en machine te optimaliseren.