💻 computer science

Deep RL- Tuned Mo del-Free Adaptive Control for Lower-Limb Exoskeletons During Sit-to-Stand Transitions

Dieses Paper schlägt eine durch Deep RL abgestimmte, modellfreie adaptive Steuerungsstrategie vor, die einen Twin Delayed Deep Deterministic Policy Gradient (TD3)-Agenten integriert, um die Verstärkungen für ein beidseitiges Unterschenkel-Exoskelett dynamisch anzupassen, wodurch im Vergleich zu State-of-the-Art-Controllern eine überlegene Trajektorienverfolgungsgenauigkeit und Robustheit während Sit-to-Stand-Übergängen erreicht wird.

Ursprüngliche Autoren: Ranjeet Kumbhar, Appaso M. Gadade, Rajmeet Singh, Ashish Singla, Ravinder Kumar

Veröffentlicht 2026-06-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ranjeet Kumbhar, Appaso M. Gadade, Rajmeet Singh, Ashish Singla, Ravinder Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine ältere Person vor, die versucht, von einem Stuhl aufzustehen. Diese einfache Handlung, das „Sit-to-Stand“ (Vom Sitzen zum Stehen), ist in Wirklichkeit ein komplexes physisches Rätsel. Es erfordert, dass die Beine drücken, die Hüften rotieren und die Knie beugen, während gleichzeitig gegen die Schwerkraft gekämpft und das Gleichgewicht gehalten werden muss. Für jemanden mit schwachen Muskeln oder einer neurologischen Erkrankung kann dies nahezu unmöglich sein.

Dieses Paper schlägt eine Lösung vor: einen hochtechnologischen Roboteranzug (einen Exoskelett), der Menschen beim Aufstehen hilft. Aber die eigentliche Herausforderung besteht nicht darin, den Roboter zu bauen; es geht darum, dem Gehirn des Roboters beizubringen, wie er sich bewegt, ohne den Nutzer zu verletzen oder zu stolpern.

Hier ist die Erklärung, wie die Autoren dieses Problem gelöst haben, in Alltagssprache ausgedrückt:

Das Problem: Die „Black Box“ der menschlichen Bewegung

Betrachten Sie einen menschlichen Körper, der einen Roboteranzug trägt, als eine Black Box. Im Inneren arbeiten Muskeln, Knochen, Reibung und die eigenen Motoren des Roboters zusammen.

Der alte Weg: Traditionelle Robotersteuerungen versuchen, ein perfektes mathematisches Lehrbuch darüber zu schreiben, wie sich jeder Muskel und jeder Knochen genau bewegt. Aber Menschen sind „unordentlich“. Jeder Mensch ist anders, und unsere Körper verändern sich von Sekunde zu Sekunde. Zu versuchen, ein perfektes Lehrbuch für eine spezifische Person zu schreiben, ist wie der Versuch, den exakten Pfad eines Blattes vorherzusagen, das im Wind weht – es ist zu kompliziert und oft falsch.
Das Ergebnis: Wenn die Mathematik des Roboters auch nur leicht daneben liegt, drückt der Roboter vielleicht zu stark, ruckelt den Nutzer oder schafft es nicht, ihn aufstehen zu lassen.

Die Lösung: Ein dreiteiliger „Smart Assistant“

Die Autoren entwickelten ein neues Steuerungssystem, das kein Lehrbuch schreibt. Stattdessen nutzt es ein dreiteiliges Team, das lernt und in Echtzeit adaptiert.

1. Die „Rate-und-Prüfe“-Maschine (Model-Free Adaptive Control)

Anstatt die exakte Physik des menschlichen Körpers zu kennen, nutzt dieser Teil des Systems eine vereinfachte Abkürzung.

Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto mit einem sehr seltsamen Motor. Sie wissen nicht, wie der Motor funktioniert, aber Sie wissen, dass das Auto schneller wird (Output), wenn Sie das Gaspedal drücken (Input).
Die Funktionsweise: Das System schaut sich an, was der Roboter gerade getan hat und was er hätte tun sollen. Es geht davon aus, dass es eine „mysteriöse Kraft“ gibt (wie Wind oder eine schwere Last), die die Sache stört. Es versucht nicht, den Wind zu berechnen; es rät einfach, wie stark er ist, und reagiert sofort darauf. Dies ermöglicht es dem Roboter, Überraschungen zu bewältigen, ohne ein Handbuch zu benötigen.

2. Der „Super-Beobachter“ (RBF Neural Network)

Um diese „Rate“ präzise zu machen, nutzt das System ein Neuronales Netz, das wie ein superintelligenter Schüler funktioniert, der durch das Erkennen von Mustern lernt.

Die Analogie: Denken Sie an einen Koch, der eine Suppe probiert. Wenn sie zu salzig ist, fügt er Wasser hinzu. Wenn sie zu fad ist, fügt er Salz hinzu. Der Koch braucht keinen Chemie-Abschluss, um zu wissen, wie viel er hinzufügen muss; er schmeckt einfach und passt an.
Die Funktionsweise: Dieser „Koch“ beobachtet die Gelenke des Roboters in Echtzeit. Er schätzt die „mysteriösen Kräfte“ (wie die Muskelschwäche des Nutzers oder das Eigengewicht des Roboters) und sagt der Steuerung genau, wie viel zusätzliche Leistung aufgewendet werden muss, um die Bewegung flüssig zu halten.

3. Der „Dirigent“ (TD3 Reinforcement Learning)

Dies ist die größte Innovation des Papers. Selbst mit einem guten Koch braucht die Suppe zu verschiedenen Zeiten unterschiedliche Gewürze.

Die Analogie: Stellen Sie sich einen Dirigenten vor, der ein Orchester leitet. Wenn die Musik leise ist, bewegt er die Arme sanft. Wenn die Musik anschwillt, bewegt er sie kräftig. Wenn der Dirigent die ganze Zeit nur die gleiche sanfte Bewegung gemacht hätte, würde die Musik flach klingen.
Das Problem: Das Aufstehen hat verschiedene „Phasen“.
- Phase 1 (Abstoßen): Benötigt einen gewaltigen Energieschub.
- Phase 2 (Balancieren): Benötigt sanfte, präzise Anpassungen.
- Phase 3 (Stehen): Benötigt Stabilität.
Die Lösung: Die Autoren haben einen Reinforcement Learning Agenten hinzugefügt (eine Art von KI, die durch Versuch und Irrtum lernt, wie ein Videospiel-Charakter). Diese KI fungt als der Dirigent. Sie beobachtet den Fortschritt des Roboters und dreht ständig an den „Lautstärkeregler“ (Gains) der Steuerung.
- Wenn der Nutzer stark drücken muss, dreht der Dirigent die Leistung hoch.
- Wenn der Nutzer das Gleichgewicht hält, dreht er die Sensibilität hoch, um präziser zu sein.
- Dies geschieht automatisch, ohne dass ein Ingenieur die Maschine stoppen und neu einstellen muss.

Die Ergebnisse: Eine sanftere Fahrt

Die Forscher testeten dieses System in einer Computersimulation, die einen echten Menschen und einen Roboter nachbildet. Sie verglichen ihren „Smart Assistant“ mit vier anderen gängigen Methoden (wie Standard-PID-Reglern und Sliding Mode Control).

Die Bewertung: Das neue System war der klare Gewinner. Es machte die wenigsten Fehler (Tracking-Fehler) und zwar mit deutlichem Abstand.
- Es war 60 % besser als der Standard-PID-Regler.
- Es war 54 % besser als die nächstbeste Alternative.
Der „Aufwand“-Faktor: Da das System so gut darin ist, die richtige Kraft zu erraten, mussten die Robotermotoren nicht so hart arbeiten. Es verbrauchte viel weniger Energie (Drehmoment) als die anderen Methoden, was entscheidend ist, um die Batterielaufzeit zu verlängern und den Roboter leichter zu machen.
Der KI-Boost: Als sie den „Dirigenten“ (den TD3-Algorithmus) aktivierten, wurde der Roboter noch besser und reduzierte die Fehler um weitere 33 % bis 79 %, je nach Gelenk.

Das Fazit

Das Paper zeigt, dass man kein perfektes Verständnis der komplexen Physik eines menschlichen Körpers benötigt, um einen hilfreichen Roboter zu bauen. Stattdessen kann man ein System bauen, das:

Rät, was gerade schiefläuft.
Durch ein neuronales Netz aus diesen Schätzungen lernt.
Seine Strategie mithilfe einer KI-„Dirigenten“, der weiß, wann er kräftig drücken und wann er sanft sein muss, direkt vor Ort anpasst.

Das Ergebnis ist ein Roboteranzug, der Menschen hilft, sanfter, präziser und sicherer aufzustehen als bisherige Methoden – und das alles, ohne für jeden einzelnen menschlichen Nutzer ein eigenes Handbuch zu benötigen.

Technische Zusammenfassung: Deep RL-getuntes modellfreies adaptives Modell für untere Extremitäten Exoskelette während Sit-to-Stand-Übergängen

Problemstellung
Sit-to-Stand-Übergänge (STS – Hinsetzen zu Aufstehen) sind physisch anspruchsvolle Aktivitäten, die erhebliche Gelenkbelastungen verursachen, insbesondere bei älteren Menschen oder Personen mit Mobilitätseinschränkungen. Während untere Extremitäten-Exoskelette eine Lösung für die Rehabilitation und Unterstützung bieten, stellt die Steuerung dieser Geräte während des STS-Vorgangs eine Herausforderung dar. Das Mensch-Exoskelett-System ist durch hochgradig nichtlineare, stark gekoppelte und zeitvariante Dynamiken gekennzeichnet. Zudem erschweren die inter-subjektive Variabilität und unmodellierte Interaktionsdynamiken die praktische Anwendung traditioneller modellbasierter Steuerungsansätze (wie etwa Computed Torque Control, LQR oder Standard-Sliding-Mode-Control), da diese eine präzise Systemidentifikation und rechenintensive Gain-Abstimmung erfordern. Konventionelle Feedback-Regler wie PID performen oft schlecht unter großen Parameteränderungen oder externen Perturbationen.

Methodik
Die Arbeit schlägt eine intelligente, modellfreie adaptive Backstepping-Steuerungsstrategie vor, die durch eine Deep Reinforcement Learning (RL) Supervisory-Schicht integriert wird. Die Methodik ist wie folgt strukturiert:

Ultra-Lokales Modell: Anstatt sich auf ein komplexes Starrkörper-Dynamikmodell zu verlassen, nutzt das System ein zweites Ordnung ultra-lokales Modell. Dieser Ansatz approximiert die Gelenkdynamik allein unter Verwendung messbarer Ein- und Ausgangssignale, wodurch eine explizite Systemidentifikation umgangen wird. Das Modell wird als $\ddot{q} = F(t) + a\tau$ ausgedrückt, wobei $F(t)$ einen gebündelten Term darstellt, der alle unbekannten Dynamiken (Trägheit, Gravitation, Coriolis-Effekte, menschliche Interaktion und Störungen) enthält.
Online-Störungsabschätzung (RBF-Neuronales Netzwerk): Um den unbekannten gebündelten Term $F(t)$ in Echtzeit zu schätzen, wird ein Gaußsches Radial-Basis-Funktions-Neuronales Netzwerk (RBF) eingesetzt. Das Netzwerk verwendet die Gelenkzustände ( $q, \dot{q}$ ) und Referenzsignale ( $q_d, \dot{q}_d$ ) als Eingänge. Es verwendet eine Fixed-Center-Architektur mit einem adaptiven Gewichtsupdateregelgesetz basierend auf Gradientenabstieg mit $\sigma$ -Modifikation, was eine stabile Schätzung ohne Offline-Training gewährleistet.
Adaptiver Backstepping-Regler: Ein Backstepping-Regelgesetz wird unter Verwendung des ultra-lokalen Modells und der RBF-Schätzung synthetisiert. Dieser rekursive, auf der Lyapunov-Funktion basierende Entwurf konstruiert ein stabilisierendes Steuerungsmoment. Ein robuster Hilfs-Subregler ist enthalten, um verbleibende Approximationsfehler und begrenzte externe Störungen zu handhaben.
TD3 Supervisory Gain Scheduler: Um die Einschränkung fester Gains in dynamischen STS-Phasen zu adressieren, wird ein Twin Delayed Deep Deterministic Policy Gradient (TD3) Agent als Supervisory-Schicht integriert. Drei unabhängige TD3-Agenten (einer für jedes Gelenk: Hüfte, Knie, Knöchel) beobachten den Systemzustand (Tracking-Fehler, Gelenkpositionen, vorheriges Drehmoment und Bewegungsphase) und geben kontinuierliche Skalierungsfaktoren für die Backstepping-Regler-Gains ( $k_1, k_2, K_r$ ) aus. Dies ermöglicht es dem Regler, seine Gains über die fünf distinkten Phasen der STS-Bewegung (Sitzen, Abstützen, Mittleres Aufstehen, Aufstehen, Endgültiges Stehen) ohne manuelles Retuning adaptiv anzupassen.

Hauptbeiträge
Die Autoren identifizieren vier primäre Beiträge:

Integration eines Online-Gaußschen RBF-Neuronale-Netz-Schätzers zur Approximation unbekannter gebündelter Dynamiken in Echtzeit, wodurch eine explizite Offline-Systemidentifikation entfällt.
Entwicklung eines TD3-basierten Supervisory Gain Schedulers, der die Backstepping-Regler-Gains kontinuierlich über die distinkten Phasen der STS-Bewgetung anpasst und so eine phasenbewusste Verfolgung (Phase-aware Tracking) erreicht.
Validierung des vorgeschlagenen Reglers durch ein High-Fidelity Co-Simulations-Framework, das SolidWorks, Simscape Multibody und OpenSim-abgeleitete Referenztrajektorien integriert.
Quantitative Evaluierung, die den spezifischen Beitrag des TD3-Schedulers durch den Vergleich des Standalone-RBF-MFAC-Reglers mit dem vollen vorgeschlagenen Design nachweist.

Ergebnisse
Der vorgeschlagene Regler wurde in einer Co-Simulationsumgebung gegen vier Benchmark-Regler evaluiert: Proportional-Integral-Derivative (PID), Linear-Quadratic-Regulator (LQR), Sliding Mode Control (SMC) und einen Baseline-Modellfreien Adaptiven Kontrollregler (MFAC) ohne TD3.

Tracking-Performance: Der vorgeschlagene Regler erreichte den niedrigsten durchschnittlichen Root Mean Square Error (RMSE) von 0,078° über alle Gelenke hinweg. Dies entspricht einer Verbesserung von 60,2 % gegenüber PID, 48,7 % gegenüber LQR, 42,6 % gegenüber SMC und 54,4 % gegenüber dem Baseline-MFAC.
Auswirkung von TD3: Die Integration des TD3-Gain-Schedulers reduzierte die Tracking-Fehler im Vergleich zum Standalone-RBF-MFAC-Baseline weiter. Insbesondere wurden RMSE-Reduktionen von 35,4 % (Hüfte), 33,3 % (Knie) und 79,0 % (Knöchel) beobachtet.
Control Effort (Regelaufwand): Der vorgeschlagene Regler demonstrierte den geringsten Aktuatoraufwand. Das Spitzenmoment am Hüftgelenk betrug 28 Nm, was signifikant niedriger ist als die 145 Nm, die von PID benötigt werden, und die 171 Nm von MFAC. Diese Reduktion wird der Online-Störungskompensation durch das RBF-Netzwerk zugeschrieben.
Robustheit: Unter externen Drehmomentstörungen (bis zu 12 Nm angewendet an Hüfte und Knie) behielt der Regler eine stabile Trajektorienverfolgung bei, wobei die RMSE-Werte unter 0,3° bzw. 0,8° blieben.

Bedeutung und Ansprüche
Das Paper behauptet, dass das vorgeschlagene Design die Herausforderungen nichtlinearer, zeitvarianter Mensch-Exoskelett-Interaktionen effektiv adressiert, ohne dass genaue Systemmodelle erforderlich sind. Durch die Kombination von modellfreier adaptiver Steuerung mit Deep Reinforcement Learning für das Gain-Scheduling erreicht das System eine überlegene Tracking-Genauigkeit und Robustheit im Vergleich zu State-of-the-Art-Methoden. Die Autoren betonen, dass die TD3-Integration eine phasenbewusste Adaptation ermöglicht, eine Fähigkeit, die festen Gain-adaptiven Controllern fehlt.

Die Studie kommt zu dem Schluss, dass während die Ergebnisse das Design in einer High-Fidelity-Simulation validieren, zukünftige Arbeiten zur Bewertung der praktischen Anwendbarkeit erforderlich sind. Geplante Untersuchungen umfassen die Validierung mit realen menschlichen Motion-Capture-Daten, Tests in asymmetrischen STS-Szenarien, die Hardware-Implementierung auf einem physischen Prototyp sowie die Integration physiologischer Signale (wie EMG) für eine nutzerspezifische adaptive Unterstützung.