기술 요약: OLIVE – 효율적인 적응형 외골격 장치를 위한 온라인 저계수 점진적 학습

1. 문제 정의

착용형 하지 외골격은 신체 기능이 저하된 개인의 이동성 회복에 상당한 잠재력을 제공한다. 그러나 현재의 제어 시스템은 결정적인 병목 현상에 직면해 있다. 즉, 실세계 환경이나 개별 사용자의 생체 역학적 변화에 대응할 수 없는 정적 정책(static policies)에 의존한다는 점이다. 기존의 접근 방식은 다음 세 가지 범주로 나뉘며, 각각 한계를 지닌다:

• 규칙 기반 유한 상태 기계(Rule-based finite state machines): 새로운 지형이나 예상치 못한 보행 전환 상황에서 취약하다.
• 임피던스/어드미턴스 제어기(Impedance/admittance controllers): 사용자나 시나리오 전반에 걸쳐 일반화되지 않는 수동 튜닝된 파라미터에 의존한다.
• 오프라인 학습 가중치(Offline-trained weights): 배포 시 고정된 정책으로, 실행 중 피드백을 반영할 수 없다.

효과적인 보조 시스템은 환경적 맥락(예: 지형 변화)과 개별 사용자 상태(예: 피로도, 보행 드리프트) 모두에 지속적으로 적응해야 한다. 또한, 이 적로는 폐루프 안전성을 보장하기 위해 엄격한 지연 시간 제한(<10 ms)을 갖는 임베디드 하드웨어에서 수행되어야 하며, 이는 계산 비용이 많이 드는 전체 행렬 온라인 학습을 배제한다.

2. 방법론: OLIVE 프레임워크

OLIVE(Online Low-Rank Incremental Learning for Efficient Adaptive Exoskeletons)는 외골격 보조를 온라인 저계수 파라미터 효율적 적응 문제로 프레이밍함으로써 이러한 과제들을 해결한다. 이 시스템은 고주파 IMU/관절 인코더, 표면 EMG, 액추에이터 진동 센서 및 추론된 컨텍스트라는 네 가지 감지 모달리티를 갖춘 착용형 양측 고관절 보조 외골격에서 작동한다.

2.1 저계수 적응형 제어기

핵심 혁신은 정책 파라미터 행렬 $\Theta_t$를 동결된 베이스 제어기 $W_0$와 온라인 업데이트 가능한 저계수 잔차 $\Delta W_t$로 분해하는 것이다:
$$\Theta_t = W_0 + \Delta W_t = W_0 + A_t B_t^\top$$

• 베이스 제어기 ($W_0$): 대규모 인구 데이터(IMU, EMG, 인코더, 진동)로 학습된 사전 학습된 멀티모달 파운데이션 모델(Pretrained-MM)로부터 초기화된다. $W_0$는 배포 중 동결된 상태를 유지하며 견고한 동작 사전 지식(motion prior)을 제공한다.
• 저계수 인자 ($A_t, B_t$): 이 행렬들($A_t \in \mathbb{R}^{d \times r}, B_t \in \mathbb{R}^{k \times r}$)은 온라인으로 업데이트된다. 업데이트를 $r \ll \min(d, k)$인 계수 $r$로 제한함으로써, 온라인 업데이트의 계산 비용을 $O(dk)$에서$O(r(d+k))$로 줄인다.

2.2 게이팅 개인화 (Gated Personalization)

불확실하거나 급격히 변하는 입력 중에 불안정화를 방축하기 위해, 스칼라 게이팅 계수 $\alpha_t \in (0, 1)$가 개인화된 잔차의 영향력을 조절한다:
$$a_t = \pi_{W_0 + \alpha_t A_t B_t^\top}(s_t)$$
작은 신경망 $g(\cdot)$가 현재 상태와 이력을 바탕으로 $\alpha_t$를 예측한다. $\alpha_t \approx 0$일 때(안정적인 맥락), 시스템은 견고한 베이스 제어기에 의존한다. $\alpha_t \approx 1$일 때(상태 변화 또는 피로 감지), 개인화된 구성 요소가 완전히 활성화된다.

2.3 동적 계수 스케줄링 (Dynamic Rank Scheduling)

서로 다른 지형은 서로 다른 표현 용량을 필요로 한다는 점을 인식하여, OLIVE는 동적 계수 스케줄러를 채택한다. 복잡도 추정기 $c_t$는 현재 상태의 난이도를 예측한다. 유효 계수 $r_t$는 $c_t$에 따라 후보 집합 $\{r_{min}, \dots, r_{max}\}$ (예: 4에서 16)에서 선택된다.

• 단순 지형 (평지 걷기): 낮은 계수($r_t=4$)로 수렴하여 계산 부하를 최소화한다.
• 복잡한 지형 (계단, 울퉁불퉁한 표면): 필요한 용량을 할당하기 위해 높은 계수($r_t=16$)로 확장된다.
  이 메커니즘은 파라미터 오버헤드를 최소화하기 위해 게이팅 네트워크와 가중치를 공유한다.

2.4 보상 형성 정책 경사(Reward-Shaped Policy Gradient)를 통한 온라인 점진적 업데이트

OLIVE는 오프라인 참조 궤적이 필요 없는 순수 온바디(on-body) 센서 피드백에 의해 구동되는 정책 경사법을 사용하여 저계수 인자 $A_t$와 $B_t$를 업데이트한다.

• 보상 형성 (Reward Shaping): 보상 $r_t$는 다음으로부터 계산된다:
  1. $\Delta \text{EMG}_t$: 평균 근육 활성도의 단계 간 감소량 (노력 감소를 나타냄).
  2. $E_t$: IMU 분산 및 부하 비대칭성에서 유도된 대사 노력의 정규화된 대리 지표.
  3. $\phi(s_t, a_t)$: 질량 중심(CoM) 편차 및 보행 비대칭성의 정규화된 값.
• 목적 함수: 시스템은 정규화된 음의 보상 손실을 최소화한다:
  $$\mathcal{L}_t = -\lambda_1 r_t + \lambda_2 \mathcal{L}_{smooth} + \lambda_3 \mathcal{L}_{stab}$$
  정규화 항은 토크 불연속성과 자세 불안정성을 처벌하여, 안정성을 보장하기 위한 신뢰 영역 제약(trust-region constraint) 역할을 한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. 저계수 적응형 제어기: 사전 학습된 멀티모달 기반 정책을 바탕으로 구축되었으며, 참조 궤적 없이 보상 형성 정책 경사를 통해 온라인으로 업데이트된다.
2. 게이팅 메커니즘: 사용자 맥락에 따라 개인화된 잔차의 영향을 동적으로 조절하여 안정성을 확보한다.
3. 동적 계수 스케줄러: 추정된 상태 복잡도에 따라 업데이트 계수 $r_t$를 실시간으로 선택하여, 적응 용량과 계산 비용 사이의 균형을 맞춘다.

4. 실험 결과

이 프레임워크는 경량 외골격(2.4 kg)을 사용하여 평지 걷기, 계단 이동, 경사로, 울퉁불퉁한 자갈길 등 네 가지 지형 조건에서 6명의 건강한 참가자를 대상으로 평가되었다.

4.1 성능 지표

세 가지 베이스라인(Static, Rule-Based, Fixed-NN)과 비교했을 때, OLIVE는 다음과 같은 유의미한 개선을 보였다:

• 보행 매끄러움 (Gait Smoothness): 가장 강력한 베이스라인(Fixed-NN) 대비 +13 퍼센트 포인트.
• 노력 감소 (Effort Reduction): +22 퍼센트 포인트.
• 동작 안정성 (Motion Stability): +15 퍼센트 포인트.
• 수렴 (Convergence): 시스템은 약 1,800 걸음 이내에 저노력 상태로 수렴하였다.

4.2 효율성 및 지연 시간

• 지연 시간: 엔드 투 엔드 추론 및 업데이트 지연 시간은 임베디드 ARM 기반 SoC에서 7.4 ms로, 10 ms의 안전 예산 내에 충분히 들어온다.
• 계산 절감: 동적 계수 스케줄러는 단순 평지 걷기(여기서 $r_t=4$) 시 전체 계수 업데이트와 비교하여 업데이트 파라미터 수를 최대 16배까지 줄인다.
• 절제 연구 (Ablation Studies): Pretrained-MM 초기화를 제거했을 때 가장 큰 성능 저하가 발생했다. 게이팅 메커니즘을 제거하면 안정성이 불균형하게 저하되었으며, 동적 계수 스케줄링을 제거하면 품질에 큰 영향을 주지 않으면서 지연 시간만 증가했다.

5. 의의 및 주장

본 논문은 온라인 가중치 업데이트를 저계수 부분 공간(low-rank subspace)에서 수행하는 것이 안정성과 개인화 사이의 균형 잡힌 접근 방식임을 입증한다. 본 연구의 의의는 다음과 같다:

• 참조 의존성 제거: 보상 형성 정책 경사를 사용함으로써 오프라인 참조 궤적에 대한 의존성을 제거하고, 실세계 환경에서의 진정한 "휴먼 인 더 루프(human-in-the-loop)" 최적화를 가능하게 한다.
• 하드웨어 효율성: 학습 알고리즘(저계수, 게이팅, 동적 계수)을 하드웨어 제약 조건과 함께 공동 설계함으로써, 웨어러블 임베디드 하드웨어에서 복잡한 적응이 가능하다는 것을 보여준다.
• 통합 프레임워크: 안정성, 효율성, 또는 개인화를 개별적으로 다루는 기존 방식과 달리, OLIVE는 이 세 가지를 단일 저계수 프레임워크 내에 통합하여 평지 걷기부터 울퉁불퉁한 지형 탐색에 이르기까지 다양한 활동에서 견고한 성능을 구현한다.