💻 computer science

Deep RL- Tuned Mo del-Free Adaptive Control for Lower-Limb Exoskeletons During Sit-to-Stand Transitions

본 논문은 양측 하지 외골격의 이득(gain)을 동적으로 조정하기 위해 TD3(Twin Delayed Deep Deterministic Policy Gradient) 에이전트를 통합한 심층 강화학습 기반 튜닝 모델 없는 적응 제어(Model-Free Adaptive Control) 전략을 제안하며, 이를 통해 앉기-서기 동작 전환 시 기존의 최첨단 제어기들보다 우수한 궤적 추종 정확도와 강건성을 달성한다.

원저자: Ranjeet Kumbhar, Appaso M. Gadade, Rajmeet Singh, Ashish Singla, Ravinder Kumar

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ranjeet Kumbhar, Appaso M. Gadade, Rajmeet Singh, Ashish Singla, Ravinder Kumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

노인이 의자에서 일어나려고 노력하는 모습을 상상해 보십시오. '앉았다 일어나기(Sit-to-Stand)'라고 불리는 이 단순한 동작은 사실 복잡한 물리적 퍼즐입니다. 다리가 밀어내고, 골반이 회전하며, 무릎이 굽혀져야 하는 동시에, 중력에 맞서 싸우며 균형을 유지해야 합니다. 근력이 약하거나 신경계 질환이 있는 사람에게 이 동작은 거의 불가능에 가까울 수 있습니다.

이 논문은 해결책을 제안합니다. 바로 사람의 일어서기를 돕는 첨단 로봇 슈트(외골격)입니다. 하지만 진짜 과제는 로봇을 만드는 것이 아니라, 사용자를 다치게 하거나 비틀거리지 않도록 로봇의 '두뇌'가 움직이는 법을 가르치는 것입니다.

저자들이 이 문제를 어떻게 해결했는지 일상적인 용어로 설명해 드리겠습니다.

문제점: 인간 움직임의 "블랙박스"

사람이 로봇 슈트를 입고 있는 상태를 하나의 블랙박스라고 생각하십시오. 그 안에는 근육, 뼈, 마찰력, 그리고 로봇 자체의 모터가 모두 함께 작동하고 있습니다.

기존 방식: 전통적인 로봇 제어기는 모든 근육과 뼈가 정확히 어떻게 움직이는지를 설명하는 완벽한 수학 교과서를 쓰려고 시도합니다. 하지만 인간은 복잡합니다. 사람마다 체형이 다르고, 우리 몸은 매 순간 변합니다. 특정 개인을 위해 완벽한 교과서를 쓰려는 것은 바람에 날리는 나뭇잎의 정확한 경로를 예측하려는 것과 같습니다. 너무 복잡하고 자주 틀리게 됩니다.
결과: 로봇의 수학적 계산이 조금이라도 어긋나면, 로봇이 사용자를 너무 세게 밀거나, 갑자기 덜컥거리거나, 혹은 제대로 일으켜 세우지 못할 수 있습니다.

해결책: 3단계 "스마트 어시스턴트"

저자들은 교과서를 쓰려고 하는 대신, 실시간으로 배우고 적응하는 3인조 팀을 사용하는 새로운 제어 시스템을 만들었습니다.

1. "추측과 확인" 엔진 (모델 프리 적응 제어, Model-Free Adaptive Control)

이 시스템은 인체의 정확한 물리학을 알려고 하는 대신, 단순화된 지름길을 사용합니다.

비유: 당신이 매우 특이한 엔진을 가진 자동차를 운전하고 있다고 상상해 보십시오. 엔진이 어떻게 작동하는지는 모르지만, 가속 페달을 밟으면(입력) 차가 속도를 낸다(출력)는 사실은 알고 있습니다.
작동 원리: 시스템은 로봇이 방금 한 행동과 했어야 하는 행동을 비교합니다. 시스템은 무언가(바람이나 무거운 짐 등)가 방해를 하고 있다고 가정합니다. 바람의 정체를 계산하려 들지 않고, 그저 그 힘이 얼마나 강한지 추측하여 즉각적으로 대응합니다. 이를 통해 로봇은 별도의 매뉴얼 없이도 돌발 상황에 대처할 수 있습니다.

2. "슈퍼 관찰자" (RBF 신경망, RBF Neural Network)

그 "추측"을 정확하게 만들기 위해, 시스템은 패턴을 보고 학습하는 똑똑한 학생과 같은 신경망을 사용합니다.

비유: 요리사가 국물 맛을 보는 것을 생각해보십시오. 만약 너무 짜다면 물을 더 넣을 것입니다. 만약 싱겁다면 소금을 더 넣을 것입니다. 요리사는 화학 학위가 없어도 얼마나 더 넣어야 할지 알 수 있습니다. 그저 맛을 보고 조절할 뿐입니다.
작동 원리: 이 "요리사"는 실시간으로 로봇의 관절을 관찰합니다. 사용자의 근력 저하나 로봇 자체의 무게와 같은 "미지의 힘"을 추정하고, 움직임을 부드럽게 유지하기 위해 정확히 얼마만큼의 추가 동력을 적용해야 하는지 제어기에 알려줍니다.

3. "지휘자" (TD3 강화 학습, TD3 Reinforcement Learning)

이것이 이 논문의 가장 큰 혁신입니다. 훌륭한 요리사가 있더라도, 국물은 때에 따라 다른 양념이 필요할 수 있습니다.

비유: 오케스트라를 이끄는 지휘자를 상상해 보십시오. 음악이 부드러울 때는 완만하게 손을 흔들고, 음악이 고조될 때는 격렬하게 손을 흔듭니다. 만약 지휘자가 곡 전체에 걸쳐 똑같이 완만한 동작만 사용한다면, 음악은 단조롭게 들릴 것입니다.
문제: 일어서는 동작에는 여러 "단계"가 있습니다.
- 1단계 (밀어내기): 엄청난 힘의 분출이 필요합니다.
- 2단계 (균형 잡기): 부드럽고 정밀한 조정이 필요합니다.
- 3단계 (완전히 선 상태): 안정성이 필요합니다.
해결책: 저자들은 강화 학습 에이전트(비디오 게임 캐릭터처럼 시행착오를 통해 배우는 AI의 일종)를 추가했습니다. 이 AI는 지휘자 역할을 합니다. 지휘자는 로봇의 진행 상황을 지켜보며 제어기의 "볼륨 노브"(이득값, gains)를 끊임없이 미세하게 조정합니다.
- 사용자가 강하게 밀어야 할 때는 힘을 높입니다.
- 사용자가 균형을 잡고 있을 때는 더 정밀하도록 민감도를 높입니다.
- 엔지니어가 기계를 멈추고 다시 설정할 필요 없이, 이 과정은 자동으로 이루어집니다.

결과: 더 부드러운 움직임

연구진은 실제 인간과 로봇을 모사한 컴퓨터 시뮬레이션에서 이 시스템을 테스트했습니다. 그들은 이 "스마트 어시스턴트"를 네 가지 일반적인 방법(표준 PID 제어 및 슬라이딩 모드 제어 등)과 비교했습니다.

성적표: 새로운 시스템이 압도적인 승자였습니다. 오차(추적 오차)를 가장 적게 기록하며 상당한 차이로 앞섰습니다.
- 표준 PID 제어보다 60% 더 우수했습니다.
- 그다음으로 좋은 대안보다 54% 더 우수했습니다.
"노력" 요소: 시스템이 적절한 힘을 추측하는 능력이 매우 뛰어났기 때문에, 로봇 모터가 과도하게 작동하지 않았습니다. 이는 다른 방식들에 비해 훨씬 적은 에너지(토크)를 사용했음을 의미하며, 배터리 수명을 아끼고 로봇을 가볍게 만드는 데 매우 중요합니다.
AI의 효과: "지휘자"(TD3 AI)를 켰을 때 로봇은 더욱 개선되었습니다. 관절에 따라 오차를 33%에서 79%까지 줄였습니다.

핵심 요약

이 논문은 도움을 주는 로봇을 만들기 위해 인간 몸의 복잡한 물리학을 완벽하게 이해할 필요는 없다는 것을 보여줍니다. 대신, 다음과 같은 시스템을 구축할 수 있습니다.

실시간으로 무엇이 잘못되고 있는지 추측합니다.
신경망을 사용하여 그 추측으로부터 학습합니다.
언제 강하게 밀고 언제 부드럽게 움직여야 하는지 아는 AI "지휘자"를 사용하여 전략을 즉석에서 적응시킵니다.

그 결과, 이 로봇 슈트는 모든 개별 사용자마다 별도의 매뉴얼을 필요로 하지 않으면서도, 이전 방식들보다 더 부드럽고 정확하며 안전하게 사람들의 일어서기를 돕습니다.

기술 요약: 하체 외골격의 앉기-서기(Sit-to-Stand) 전환 시 심층 강화 학습으로 튜닝된 모델 프리 적응 제어

문제 정의
앉기-서기(STS) 전환은 특히 노인이나 운동 능력이 저하된 이들에게 상당한 관절 부하 요구를 부과하는 물리적으로 힘든 활동이다. 하체 외골격은 재활 및 보조를 위한 해결책을 제공하지만, STS 과정 중 이를 효과적으로 제어하는 것은 매우 도전적인 과제이다. 인간-외골격 시스템은 고도로 비선형적이고, 강하게 결합되어 있으며, 시변적인 역학 특성을 갖는다. 또한, 피험자 간의 변동성과 모델링되지 않은 상호작용 역학은 정밀한 시스템 식별과 계산 집약적인 이득(gain) 튜닝을 필요로 하는 기존의 모델 기반 제어 방식(예: Computed Torque Control, LQR 또는 표준 Sliding Mode Control)을 실제 적용하기 어렵게 만든다. PID와 같은 전통적인 피드백 제어기는 매개변수의 큰 변화나 외부 섭동 하에서 성능이 저하되는 경우가 많다.

방법론
본 논문은 심층 강화 학습(RL) 감독 계층이 통합된 지능형 모델 프리 적응 백스테핑(backstepping) 제어 전략을 제안한다. 방법론은 다음과 같이 구성된다:

초국소 모델링(Ultra-Local Modeling): 복잡한 강체 역학 모델에 의존하는 대신, 시스템은 2차 초국소 모델을 활용한다. 이 접근 방식은 측정 가능한 입출력 신호만을 사용하여 관절 역학을 근사하며, 명시적인 시스템 식별 과정을 우회한다. 모델은 $\ddot{q} = F(t) + a\tau$ 로 표현되며, 여기서 $F(t)$ 는 모든 미지의 역학(관성, 중력, 코리올리 효과, 인간과의 상호작용 및 외란)을 포함하는 뭉뚱그려진(lumped) 항을 나타낸다.
온라인 외란 추정(RBF 신경망): 미지의 뭉뚱그려진 항 $F(t)$ 를 실시간으로 추정하기 위해 가우시안 방사 기저 함수(RBF) 신경망이 사용된다. 이 네트워크는 관절 상태( $q, \dot{q}$ )와 참조 신호( $q_d, \dot{q}_d$ )를 입력으로 사용한다. 이는 오프라인 학습 없이도 안정적인 추정을 보장하기 위해 그래디언트 하강법과 $\sigma$ -수정(modification)을 기반으로 한 적응형 가중치 업데이트 법칙을 사용하는 고정 중심 아키텍처를 채택한다.
적응형 백스테핑 제로(Adaptive Backstepping Control): 초국소 모델과 RBF 추정치를 사용하여 백스테핑 제어 법칙을 합성한다. 이 재귀적 리아푸노프(Lyapunov) 기반 설계는 안정화 제어 토크를 구축한다. 잔여 근사 오차와 유계된 외부 섭동을 처리하기 위해 견고한 보조 부제어기(auxiliary sub-controller)가 포함된다.
TD3 감독 이득 스케줄러(TD3 Supervisory Gain Scheduler): 동적인 STS 단계에서의 고정 이득의 한계를 해결하기 위해, 심층 결정론적 정책 경사법의 쌍 지연(Twin Delayed Deep Deterministic Policy Gradient, TD3) 에이전트가 감독 계층으로서 통합된다. 세 개의 독립적인 TD3 에이전트(고관절, 무릎, 발목 각각 하나씩)는 시스템 상태(추적 오차, 관절 위치, 이전 토크, 동작 단계)를 관찰하고, 백스테핑 제어기의 이득( $k_1, k_2, K_r$ )에 대한 연속적인 스케일링 인자를 출력한다. 이를 통해 수동 재튜닝 없이 STS 동작의 5가지 뚜렷한 단계(앉기, 밀기, 중간 서기, 서기, 최종 서기) 전반에 걸쳐 제어 이득을 적응적으로 튜닝할 수 있다.

주요 기여
저자들은 네 가지 주요 기여를 식별하였다:

미지의 뭉뚱그려진 역학을 실시간으로 근사하기 위해 온라인 가우시안 RBF 신경망 추정기를 통합하여 명시적인 오프라인 시스템 식별을 제거하였다.
TD3 기반의 감독 이득 스케줄러를 개발하여, STS 동작의 뚜렷한 단계들에 따라 백스테핑 제어 이득을 지속적으로 적응시켜 단계 인식 추적을 달enc성하였다.
SolidWorks, Simscape Multibody 및 OpenSim 유래 참조 궤적이 통합된 고충실도 공동 시뮬레이션 프레임워크를 통해 제안된 제어기를 검증하였다.
제안된 전체 설계와 단독 RBF-MFAC 제어기를 비교함으로써 TD3 스케줄러의 구체적인 기여도를 보여주는 정량적 평가를 수행하였다.

결과
제안된 제어기는 네 가지 벤치마크 제어기(PID, LQR, SMC, 그리고 TD3가 없는 베이스라인 MFAC)를 대상으로 공동 시뮬레이션 환경에서 평가되었다.

추적 성능: 제안된 제어기는 모든 관절에서 가장 낮은 평균 제곱근 오차(RMSE)인 **0.078°**를 달성하였다. 이는 PID 대비 60.2%, LQR 대비 48.7%, SMC 대비 42.6%, 베이스라인 MFAC 대비 54.4% 개선된 수치이다.
TD3의 영향: TD3 이득 스케줄러의 통합은 단독 RBF-MFAC 베이스라인에 비해 추적 오차를 더욱 감소시켰다. 구체적으로 고관절에서 35.4%, 무릎에서 33.3%, 발목에서 **79.0%**의 RMSE 감소가 관찰되었다.
제어 노력(Control Effort): 제안된 제어기는 가장 낮은 액추에이터 노력을 보여주었다. 고관절 피크 토크는 28 Nm로, PID가 요구하는 145 Nm나 MFAC의 171 Nm보다 현저히 낮았다. 이러한 감소는 RBF 네트워크에 의한 온라인 외란 보상 덕분이다.
강건성: 외부 토크 섭동(고관절 및 무릎에 최대 12 Nm 적용) 하에서도 제어기는 안정적인 궤적 추적을 유지하였으며, RMSE 값은 각각 0.3° 및 0.8° 미만으로 유지되었다.

의의 및 주장
본 논문은 제안된 설계가 정확한 시스템 모델 없이도 비선형적이고 시변적인 인간-외골격 상호작용의 과제를 효과적으로 해결함을 주장한다. 딥 강화 학습을 이용한 모델 프리 적응 제어와 이득 스케줄링을 결다면, 시스템은 최신 기술(state-of-the-art) 방식들에 비해 우수한 추적 정확도와 강건성을 달성한다. 저자들은 TD3 통합이 고정 이득 적응 제어기에는 부족한 '단계 인식 적응' 능력을 가능하게 한다는 점을 강조한다.

본 연구는 고충실도 시뮬레이션에서 설계를 검증하였으나, 실제 적용 가능성을 평가하기 위한 향후 연구가 필요하다고 결론짓는다. 계획된 연구에는 실제 인간 피험자 모션 캡처 데이터와의 검증, 비대칭 STS 시나리오 테스트, 물리적 프로토타입에 대한 하드웨어 구현, 그리고 사용자 맞춤형 적응 지원을 위한 생리학적 신호(EMG 등)의 통합이 포함된다.