Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces

Diese Arbeit stellt einen Dual-Agenten-Multiple-Model-Reinforcement-Learning-Ansatz (DAMMRL) für eine ereignisgesteuerte Mensch-Roboter-Co-Adaptation vor, der bei einem 6-DoF-Rehabilitationsroboter die menschliche Steuerung der Hauptrichtung mit einer autonomen Korrektur orthogonaler Bewegungen kombiniert, um durch dynamische Anpassung von Zielradien und Schrittgrößen Schwingungen zu unterdrücken und die Erfolgsrate bei Greifaufgaben zu steigern.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einen schweren Kasten auf ein Regal in einem hohen Regalbereich heben. Sie sind nicht stark genug, ihn allein zu schaffen, also arbeiten Sie mit einem Roboter zusammen. Aber wie teilen Sie die Arbeit auf, damit es nicht chaotisch wird? Genau darum geht es in diesem Forschungsprojekt.

Hier ist eine einfache Erklärung der Studie, als würden wir sie beim Kaffee besprechen:

1. Das Problem: Der "Zitter-Effekt"

Stellen Sie sich vor, Sie und ein Roboter versuchen, gemeinsam einen Punkt anzufahren. Wenn der Roboter stur nach einer festen Uhrzeit (z. B. alle 0,1 Sekunden) Befehle gibt, passiert oft etwas Seltsames: Der Roboter ist noch nicht ganz fertig mit der Bewegung, aber er bekommt schon den nächsten Befehl. Das führt dazu, dass der Arm hin und her zittert, wie ein Auto, das bei rotem Licht nicht richtig anhalten kann, sondern immer wieder leicht ruckelt. Das nennt man "Chatter" (Zittern).

2. Die Lösung: Ein "Eintrittskreis" (Der Admission Sphere)

Die Forscher haben eine clevere Idee: Statt stur nach der Uhrzeit zu arbeiten, warten sie, bis der Roboterarm tatsächlich einen bestimmten Punkt erreicht hat.

• Die Analogie: Stellen Sie sich vor, Sie laufen durch eine Tür. Sie dürfen erst den nächsten Raum betreten, wenn Sie die Türschwelle wirklich überschritten haben. Solange Sie noch in der Tür stehen, passiert nichts Neues.
• Im Roboter: Der Roboter wartet, bis sein Ende (der "Greifer") in einen unsichtbaren, runden Bereich (einen "Eintretungskreis") um das Ziel gelangt ist. Erst dann macht er den nächsten Schritt. Das verhindert das nervige Zittern, weil der Roboter sicher ist, dass er angekommen ist, bevor er weitermacht.

3. Die Zusammenarbeit: Wer macht was?

Das System ist so aufgebaut, dass Mensch und Roboter ihre Aufgaben klar trennen, aber perfekt abstimmen:

• Der Mensch (Der Kommandant): Der Patient muss sich nicht um alles kümmern. Er gibt nur einen simplen Befehl: "Nach oben" oder "Nach unten" (oder vorwärts/rückwärts). Er entscheidet auch, wie "genau" er sein will.
  • Entscheidung A: "Ich will schnell sein, auch wenn ich mal danebenliege." (Großer Toleranzbereich).
  • Entscheidung B: "Ich will sehr genau sein, auch wenn es länger dauert." (Kleiner Toleranzbereich).
• Der Roboter (Der Assistent): Der Roboter kümmert sich um alles andere. Er korrigiert die Seitenbewegungen, damit der Arm gerade bleibt, und passt die Schrittlänge an.

4. Der "Super-Intelligenz"-Teil: DAMMRL (Das Gehirn)

Hier kommt die künstliche Intelligenz ins Spiel. Das System lernt nicht einfach nur, es lernt, wie Sie arbeiten.

• Die Analogie: Stellen Sie sich vor, der Roboter hat ein kleines Notizbuch mit verschiedenen "Personen-Profilen".
  • Profil 1: "Der Eilige" (Macht große Schritte, macht öfter Fehler).
  • Profil 2: "Der Vorsichtige" (Macht kleine Schritte, ist sehr präzise).
• Das Lernen: Der Roboter beobachtet den Menschen. Wenn er merkt, dass der Mensch schnell und ungenau ist, wählt er automatisch ein Profil, das große Schritte macht, um mitzuhalten. Wenn der Mensch langsam und präzise ist, wählt er ein Profil mit kleinen, feinen Schritten.
• Das Ziel: Der Roboter passt sich so perfekt an, dass er den Menschen nicht behindert, sondern genau dort unterstützt, wo er Hilfe braucht. Es ist wie ein Tanzpartner, der genau weiß, wann man einen großen Schritt macht und wann man vorsichtig ist.

5. Der Trainingsprozess: Vom Video-Spiel zur Realität

Da man nicht einfach mit einem echten Roboter und Patienten experimentieren will, bevor man sicher ist, dass es funktioniert, haben die Forscher einen dreistufigen Plan verfolgt:

1. Virtuell (Im Computer): Alles ist eine Simulation. Der Roboter und der "Mensch" (ein Computerprogramm) üben Millionen von Malen im Computer (MuJoCo).
2. Halb-Virtuell (Mensch + Computer): Ein echter Mensch drückt auf einen Knopf (einen Druck-Sensor), aber der Roboter ist immer noch im Computer. So lernt das System, wie echte Menschen tatsächlich drücken.
3. Realität (Mensch + Echter Roboter): Das ist das Ziel für die Zukunft: Der echte Roboter bewegt sich im echten Raum und hilft einem echten Patienten.

Zusammenfassung

Diese Studie zeigt, wie man einen Rehabilitationsroboter baut, der nicht stur nach einem Programm läuft, sondern mit dem Patienten tanzt.

• Es verhindert das nervige Zittern durch ein intelligentes "Warten bis zum Ziel"-System.
• Es entlastet den Patienten, indem er nur einfache Ja/Nein-Entscheidungen trifft.
• Es lernt durch künstliche Intelligenz, ob der Patient heute schnell oder langsam sein möchte, und passt sich sofort daran an.

Das Ergebnis: Eine sicherere, angenehmere und erfolgreichere Therapie, bei der Mensch und Maschine wie ein gut eingespieltes Team zusammenarbeiten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces" auf Deutsch:

1. Problemstellung

Das Paper adressiert Herausforderungen in der robotergestützten Rehabilitation von Oberarmen, insbesondere bei der gemeinsamen Steuerung (Shared Control) zwischen Mensch und Roboter. Zwei Hauptprobleme werden identifiziert:

• Trajektorien-Oszillationen (Chatter): Herkömmliche Steuerungsansätze mit fester Abtastrate (Fixed-Frequency) führen oft zu Instabilitäten und Hin-und-Her-Bewegungen nahe von Zielwaypoints. Dies liegt daran, dass die inverse Kinematik (IK) variable Ausführungszeiten benötigt, die nicht mit dem starren Zeittakt der Steuerung synchronisiert sind.
• Individuelle Variabilität und Anpassung: Patienten haben unterschiedliche kognitive Zustände und Geschwindigkeits-Genauigkeits-Trade-offs. Eine statische Anpassung oder eine kontinuierliche Online-Anpassung sind oft ineffizient oder rechenintensiv. Es fehlt an einem System, das die menschliche Absicht robust decodiert und gleichzeitig autonom korrigierend eingreift, ohne den Patienten zu überfordern.

2. Methodik

Die Autoren schlagen einen mehrstufigen Ansatz vor, der eine axiale Zerlegung der Aufgabe mit einem ereignisgesteuerten (event-driven) Regelungsansatz und einem Dual-Agent Reinforcement Learning (DAMMRL) Framework kombiniert.

A. Systemarchitektur und Axiale Zerlegung

• Roboter: Ein benutzerdefiniertes 6-DoF (Degrees of Freedom) Oberarm-Robotersystem.
• Rollenverteilung:
  • Menschlicher Agent (Agent 0): Steuert die primäre Bewegungsachse (z. B. Z-Achse) über binäre Befehle (z. B. „hoch/runter"), die durch Sensoren (Drucksensor, IMU, EMG) erfasst werden. Der Mensch wählt zudem den Radius einer „Zulassungssphäre" (Admission Sphere), was seinen Geschwindigkeits-Genauigkeits-Trade-off widerspiegelt.
  • Roboter-Agent (Agent 1): Übernimmt autonom die korrigierenden Bewegungen auf den orthogonalen Achsen (X und Y) und passt die Schrittgrößen dynamisch an.
• Ereignisgesteuerte Progression: Anstatt in festen Zeitintervallen zu aktualisieren, wird der nächste Steuerungsschritt nur ausgelöst, wenn der Endeffektor eine „Zulassungssphäre" um den aktuellen Zielwaypoint betritt und eine energetische Konvergenzbedingung ($\dot{V} \le 0$) erfüllt ist. Dies eliminiert Oszillationen.
• Dynamik-Konsistente Steuerung: Die kartesischen Mikroschritte werden über numerische inverse Kinematik in den Gelenkraum übersetzt und mittels inverser Dynamik (Computed Torque Control) mit Impedanz-Formung ausgeführt, um Stabilität und Komfort zu gewährleisten.

B. Dual-Agent Multiple-Model Reinforcement Learning (DAMMRL)

Das Kernstück der Adaptation ist ein auf DQN (Deep Q-Network) basierendes Framework, das die Entscheidungseigenschaften diskretisiert:

• Diskretisierung: Das System nutzt eine endliche Menge von Modellkombinationen $\mathcal{M} = \{M_{i,j}\}$.
  • Index $i$ repräsentiert die Wahl des Menschen (großer vs. kleiner Zulassungsradius $\varepsilon$, korrespondierend zu hoher Geschwindigkeit/niedriger Genauigkeit vs. niedrige Geschwindigkeit/hohe Genauigkeit).
  • Index $j$ repräsentiert die Kombination der 3D-Schrittgrößen des Roboters ($\delta_x, \delta_y, \delta_z$), die aus kleinen oder großen Werten gewählt werden.
• Lernziel: Der Roboter-Agent lernt, die optimale Schrittgröße basierend auf dem gewählten menschlichen Modus ($\varepsilon$) und dem erwarteten Fehlerverhalten des Menschen auszuwählen, um sowohl Präzision als auch Effizienz zu maximieren.
• Trainings-Curriculum: Das System durchläuft drei Stufen:
  1. Virtuell (Sim-Sim): Training in MuJoCo.
  2. Semi-Virtuell (Human-Sim): Mensch steuert über physischen Sensor, Roboter ist simuliert (zur Feinabstimmung).
  3. Real (Human-Real): Vollständige physische Implementierung (geplant/für zukünftige Studien).

3. Hauptbeiträge

1. Axiale Rollenverteilung: Reduzierung der menschlichen Intent-Decodierung auf robuste binäre Entscheidungen, während der Roboter die komplexe räumliche Korrektur übernimmt.
2. Ereignisgesteuerte Zulassungssphäre: Ein Kriterium, das Waypoint-Oszillationen unterdrückt, die bei festen Taktraten auftreten.
3. DAMMRL-Framework: Ein diskretes Co-Adaptations-System, das menschliche Geschwindigkeits-Genauigkeits-Trade-offs mit dynamisch skalierten robotischen Schritten abgleicht.
4. Stufenweise Implementierung: Ein nahtloser Übergang von Simulation zu physischer Hardware, der das Tuning auf echter Hardware vereinfacht.

4. Ergebnisse

Die Experimente wurden primär in der virtuellen Umgebung (MuJoCo) durchgeführt, mit Validierung der Schnittstelle im semi-virtuellen Setup.

• Vergleich mit Fixed-Frequency: Die ereignisgesteuerte DAMMRL-Steuerung zeigte eine signifikante Reduktion von Oszillationen und eine verbesserte räumliche Konvergenz im Vergleich zur traditionellen festen Abtastrate.
• Einfluss der Belohnungsfunktion:
  • Eine rein auf Genauigkeit ausgerichtete Belohnung führte zu sehr kleinen Schritten und hoher Präzision, aber längeren Ausführungszeiten.
  • Die ausgewogene Belohnungsfunktion (Reward 2) ermöglichte dem Roboter, dynamisch zwischen großen und kleinen Schritten zu wechseln, um sowohl Zeit als auch Fehler zu minimieren.
• Stabilität: Die Integration der Zulassungssphäre und der inversen Dynamik führte zu glatten, stabilen Gelenktrajektorien ohne abrupte Beschleunigungen.
• Konvergenz: Beide Agenten (Mensch und Roboter) konvergierten während des Trainings zu optimalen Modellpaarungen, die den spezifischen Interaktionsstil des Nutzers widerspiegeln.

5. Bedeutung und Ausblick

Die Studie demonstriert, dass die Kombination aus ereignisgesteuerter Steuerung und multi-modell-basiertem Reinforcement Learning ein effektiver Weg ist, um die Sicherheit und Effizienz in der Mensch-Roboter-Rehabilitation zu erhöhen.

• Klinische Relevanz: Der Ansatz reduziert die kognitive Last für Patienten, da sie nur einfache binäre Entscheidungen treffen müssen, während der Roboter die Feinjustierung übernimmt.
• Technischer Fortschritt: Die Methode löst das Problem der „Chatter"-Phänomene bei inverser Kinematik und bietet einen skalierbaren Rahmen für die individuelle Anpassung ohne komplexe kontinuierliche Online-Optimierung.
• Limitationen: Die aktuelle Validierung erfolgte noch nicht vollständig mit neurologisch beeinträchtigten Patienten (nur gesunde Probanden im Semi-Virtual-Setup). Zukünftige Arbeiten sollen komplexe, gekrümmte Bahnen und die klinische Erprobung umfassen.

Zusammenfassend bietet das Paper einen robusten, adaptiven Ansatz, der die Lücke zwischen menschlicher Absicht und robotischer Autonomie schließt und dabei Stabilität und Effizienz in der Rehabilitation sicherstellt.