Deep Reinforcement Learning-Enhanced Event-Triggered Data-Driven Predictive Control for a 3D Cable-Driven Soft Robotic Arm

기술 요약: 3D 케이블 구동 소프트 로봇 팔을 위한 심층 강화 학습 기반 적응형 이벤트 트리거 데이터 기반 예측 제어

문제 정의
소프트 로봇 팔은 본질적인 순응성(compliance)과 안전성의 장점을 가지고 있지만, 비선형적이고 시변적이며 히스테리시스 특성을 가진 동역학으로 인해 상당한 제어 난제를 안고 있다. 유한요소법(FEM)이나 코세라 로드(Cosserat rod) 정식화와 같은 전통적인 모델 기반 방식은 자원이 제한된 플랫폼에 실시간으로 배포하기에는 계산 비용이 너무 높다. 데이터 기반 예측 제어(DeePC)는 명시적인 시스템 식별 없이 측정된 입출력 궤적을 활용하여 예측 제어기를 구축하는 모델 프리(model-free) 대안을 제공한다. 그러나 표준 DeePC는 재귀적 수평선(receding-horizon) 방식으로 작동하며, 매 샘플링 순간마다 제약 조건이 있는 최적화 문제(일반적으로 이차 계획법)를 해결해야 한다. 빠른 과도 응답 특성을 포착하기 위해 높은 샘플링 속도를 요구하는 소프트 로봇의 경우, 이러한 반복적인 재최적화는 상당한 계산 부담을 주어 실시간 적용 가능성을 제한한다. 이벤트 트리거 제어(ETC)가 다른 프레임워크에서 계산 부하를 완화하기 위해 탐구되어 왔으나, 기존의 데이터 기반 ETC 방식은 일반적으로 정적이고 휴리스틱한 트리거 규칙(예: 고정된 오차 임계값)에 의존한다. 이러한 정적 규칙은 강한 비선형성과 시변 동역학을 가진 시스템에서 계산 절감과 제어 성능 사이의 균형을 맞추기 어려우며, 결과적으로 제한된 절감 효과를 보이거나 추적 정확도를 저하시키는 경우가 많다.

방법론
저자들은 계산 부하를 줄이면서 폐루프 성능을 유지하도록 설계된 적응형 강화 학습 기반 이벤트 트리거 DeePC(RL-ET-DeePC) 프레임워크를 제안한다. 이 방법론은 세 가지 핵심 구성 요소를 통합한다:

1. 차원 축소 DeePC: 소프트 로봇에 필요한 행켈 행렬(Hankel matrices)의 고차원 문제를 해결하기 위해, 프레임워크는 특이값 분해(SVD)를 채택한다. 오프라인 데이터를 수집하여 입출력 행켈 행렬을 구성한 후, 지배적인 특이값만을 남겨 데이터를 압축한다. 이를 통해 결정 변수의 차원을 줄여 온라인 최적화를 더 용이하게 만든다. 제어기는 측정 노이즈를 처리하기 위해 슬랙 변수(slack variables)를 사용하면서, 추적 오차와 제어 노력을 최소화하는 정규화된 최적화 문제를 해결한다.
2. RL 기반 이벤트 트리거링: 매 타임 스텝마다 재최적화를 수행하는 대신, 심층 강화 학습(DRL) 에이전트가 DeePC 최적화 호출 여부를 결정한다. 에이전트는 다음과 같은 마르코프 결정 과정(MDP) 내에서 작동한다:
   • 상태(State): 추적 오차 및 그 시간적 변화량으로 정의된다.
   • 행동(Action): 최적화를 실행할지(1) 아니면 버퍼링된 제어 입력을 재사용하며 건너뛸지(0)를 결정하는 이진 결정이다.
   • 보상(Reward): 추적 오차 페널티와 트리거링에 따른 계산 비용 사이의 균형을 맞추는 함수이다. 조절 가능한 파라미터 $\rho$가 정확도와 효율성 사이의 트레이드오프를 제어한다.
   • 알고리즘: 본 프레임워크는 알고리즘 불가지론적(algorithm-agnostic)이며, 저자들은 가치 기반(DQN), 정책 경사(PPO), 액터-크리틱(A2C) 접근 방식을 평가하였다.
3. 감독 오버라이드(Supervisory Override): 견고성을 보장하고 과도한 개루프 실행을 방지하기 위해, 제어 버퍼가 비어 있거나 마지막 업데이트 이후 경과된 시간이 예측 수평선(prediction horizon)에서 1을 뺀 값을 초과할 경우 최적화를 강제하는 감독 계층이 작동한다. 이는 항상 유효한 제어 시퀀스가 존재하도록 보장한다.

주요 기여

• 적응형 이벤트 트리거링: 본 논문은 정적인 휴리스틱 규칙을 대체하는 학습된 상태 의존형 트리거링 메커니즘을 도입하였다. 이를 통해 제어기는 현재 시스템 동역학에 따라 계산 비용과 추적 성능 사이의 균형을 적응적으로 맞출 수 있다.
• SVD와 RL의 통합: 본 프레임워크는 SVD 기반 차원 축소와 DRL을 결합하여, 자원이 제한된 소프트 로봇 플랫폼에 적합한 계산 효율적인 모델 프리 예측 제어기를 생성한다.
• 제로샷 전이(Zero-Shot Transfer): 본 연구는 학습된 정책이 재학습 없이 시뮬레이션에서 하드웨어로 전이되어, 실제 3D 케이블 구동 소프트 로봇 팔에서 일관된 성능을 달성함을 입증한다.

결과
프레임워크는 커스텀 제작된 3D 케이블 구동 소프트 로봇 팔을 이용한 광범한 시뮬레이션 및 하드웨어 실험을 통해 검증되었다.

• 시뮬레이션 결과: 주기적 DeePC와 비교했을 때, RL-ET-DeePC 프레임워크(특히 PPO 알고리즘 사용 시)는 추적 정확도(RMSE가 허용 범위 내 유지됨)를 유지하면서 최적화 빈도를 최대 **66%**까지 감소시켰다(트리거율이 100%에서 약 34%로 감소). 결과는 학습된 정책이 과도기 단계(급격한 상태 변화) 동안에는 재최적화 노력을 집중시키고, 정상 상태 운전 중에는 업데이트를 억제함을 보여주었다.
• 하드웨어 실험: 물리적 로봇에서 본 프레임워크는 주기적 DeePC 대비 최적화 빈도를 34% 감소시켰다. (모델 불일치, 마찰, 히스테리시스로 인해 시뮬레이션보다 감소 폭이 낮았음에도 불구하고) 추적 정확도는 주기적 베이스라인과 유사한 수준을 유지했다.
• 정적 베이스라인과의 비교: RL 기반 방식은 정적 임계값 기반의 이벤트 트리거 베이스라인보다 우수한 성능을 보였다. 정적 방식은 불규칙한 트리거 패턴과 더 큰 추적 편차를 보였으며, 특히 동적 전환 중에 그러했으나, RL 정책은 기하학적 추적 충실도를 유지하는 구조적이고 맥락 인식적인 업데이트를 생성하였다.

의의 및 주장
저자들은 본 연구의 주요 기여가 이벤트 트리거링을 고정된 규칙이 아닌 학습된 상태 의존형 결정으로 정식화한 것이라고 주장한다. 이 접근 방식은 정확도와 계산 비용 사이의 보다 일관되고 적응적인 트레이드오프를 제공한다. 논문은 본 프레임워크가 지속적으로 자극되는(persistently exciting) 데이터셋만 있다면 다른 소프트 로봇 형태(예: 공압 구동 또는 다중 세그먼트 시스템)로도 확장이 가능한 플랫폼 불가지론적 성격을 띠고 있음을 강조한다.

저자들은 모델링되지 않은 동역학(구동 지연 및 케이블 히스테리시스 등)으로 인한 "심투리얼(sim-to-real)" 간극을 언급하며, 하드웨어 배포를 위해 페널티 파라미터 $\rho$의 재조정이 필요했음을 인정하며 겸허히 한계를 밝혔다. 이들은 향후 연구가 도메인 랜덤화, 온라인 데이터 업데이트 및 동역학 인식 시뮬레이션을 통해 시뮬레이션과 현실 사이의 간극을 메울 수 있을 것이라고 제안한다.