Continual Online Personalization of Exoskeleton Control via Manifold-Aware Experience Replay

기술 요약: 매니폴드 인지 경험 재생을 통한 외골격 제어의 지속적 온라인 개인화

문제 정의
편마비와 같은 보행 장애가 있는 임상 사용자들을 위해 외골격 제어를 개인화하는 것은 여전히 중요한 과제입니다. 온라인 적응(Online Adaptation, OA)은 사용자 변동성과 장치 적합성에 맞춰 컨트롤러를 실시간으로 조정함으로써 해결책을 제시하지만, 파괴적 망각(catastrophic forgetting) 문제에 직면합니다. 지속 학습 시나리오에서 현재의 작업(task)에 적응하는 과정은 종종 이전에 학습된 운동 패턴의 지식을 덮어쓰는 결과를 초래합니다. 기존의 웨어러블 로봇 분야의 경험 재생(experience replay) 방법들은 주로 의수/의족에 적용되어 왔으며, 재생 버퍼를 구성하기 위해 명시적인 작업 라벨(task labels)에 의존해 왔습니다. 그러나 실제 외골격 운용 환경에서는 작업 라벨을 사용할 수 없는 경우가 많으며, 센싱 모달리티 또한 의수/의족 애플리케이션보다 희소합니다. 또한, 현재의 프레임워크들은 명시적인 컨텍스트 라벨링 없이 다양한 다중 모달리티 운동 작업(예: 변화하는 속도 및 경사도) 전반에서 안정성을 유지하는 데 어려움을 겪고 있습니다.

방법론
저자들은 편마비 보행을 모사한 사용자에게 힙 외골격의 보행 단계 추정기를 개인화하기 위해 설계된 **매니폴드 인지 경험 재생 프레임워크(manifold-aware experience replay framework)**를 제안합니다. 이 시스템은 양측 힙 인코더를 갖춘 로봇 힙 외골격과 병렬화된 소프트웨어 아키텍처를 실행하는 에지 컨트롤러(NVIDIA Jetson Orin Nano) 상에서 작동합니다.

1. 보행 단계 추정: 핵심 컨트롤러는 양측 힙 인코더 신호로부터 보행 단계를 추정하는 시간적 합성곱 신경망(Temporal Convolutional Network, TCN)입니다. 이 네트워크는 건장한 성인의 데이터로 사전 학습되었으며, 온라인 개인화를 위한 시드(seed) 역할을 합니다.
2. 온라인 적응(OA) 전략: 시스템은 세 번째 힐 스트라이크(heel strike)마다 모델을 업데이트합니다. 일반적인 운동 특징을 보존하면서 사용자 특유의 특성에 적응하기 위해, 저자들은 **고수준 TCN 특징 추출 블록을 동결(freeze)**하고 잠재 공간을 보행 단계로 매핑하는 최종 선형 레이어만을 미세 조정(fine-tuning)합니다.
3. 매니폴드 인지 재생: 작업 라벨에 의존하지 않고 파괴적 망각을 방지하기 위해, 프레임워크는 **보행 매니폴드(gait manifold)**를 인코딩합니다.
   • 잠재 공간 구축: 운동학적 데이터에 주성분 분석(PCA)을 적용하여, 첫 두 개의 주성분(전체 분산의 77% 차지)과 보행 주기 지속 시간을 세 번째 축으로 유지합니다. 이를 통해 서로 다른 작업(속도 및 경사도)이 뚜렷한 클러스터를 형성하는 3D 잠재 공간을 생성합니다.
   • 빈닝(Binning) 및 선택: 유입되는 데이터는 이 잠재 공간으로 투영되며, 그리드 간격에 따라 빈(bin)으로 이산화됩니다. 미지의 매니폴드에 대해서는 새로운 빈이 생성되고, 기존 빈은 최근 데이터로 업데이트됩니다.
   • 재생 메커니즘: 적응 과정 중, 시스템은 모든 빈의 평균 제곱근 오차(RMSE)를 평가합니다. 시스템은 현재 데이터와 결합하여 역전파(backpropagation)를 수행할 상위 4개의 빈을 선정하는데, 이때 정확도가 특정 RMSE 범위(2.5%~20%) 내에 있는 빈을 선택합니다. 이는 시스템이 특정 작업 라벨을 알 필요 없이, 현재 성능이 저하된 이전에 학습된 작업을 복습할 수 있도록 보장합니다.

주요 기여

• 라벨 프리 재생(Label-Free Replay): 이 프레 framework는 운동학적 데이터로부터 도출된 보행 매니폴드를 활용하여 재생 버퍼 선택 시 명시적인 작업 라벨링의 필요성을 제거했습니다.
• 다중 모달리티 지속 학습: 이 연구는 외골격 연구에서 이전에 다뤄지지 않았던 시나리오인 다양한 운동 작업(변화하는 속도 및 경사도)에 대해 OA를 성공적으로 입증했습니다.
• 아키텍처 효율성: 특징 추출기를 동결하고 최종 선형 레이어만 업데이트함으로써, 시스템은 일반적인 인간 보행 특징을 보존하는 동시에 계산 자원을 절약하고 업데이트 지연 시간을 줄입니다.
• 실시간 성능: 시스템은 평균 업데이트 지연 시간이 약 1.5초에 달하여, 사용자 요구에 신속하게 대응하는 네트워크 업데이트를 가능하게 합니다.

결과
프레임워크는 편마비 보행을 모사하기 위해 무릎 보호대와 메트로놈 큐를 사용하여 비대칭성을 유도한 9명의 건장한 피험자를 대상으로 6가지 운동 작업(다양한 속도 및 경사도 포함)에 대해 평가되었습니다. 실험에는 개인화 단계, 망각 단계(단일 작업에 노출), 그리고 테스트 단계가 포함되었습니다.

• 토크 추적: 매니폴드 인지 재생 프레임워크는 재생 기능이 없는 베이스라인 프레임워크와 비교하여 토크 추적 정확도(RMSE)에서 40%의 향상을 달과했습니다. 구체적인 개선 폭은 작업 전환 쌍에 따라 21%에서 56% 사이였습니다.
• 보행 단계 추정: 제안된 방법은 베이스라인 대비 보행 단계 추적 정확도에서 60%의 향상을 달성했습니다.
• 망각 완화: 베이스라인 프레임워크는 특히 속도가 변할 때 작업 전환 중에 상당한 파괴적 망각을 보였습니다. 제안된 방법은 모든 작업 전환에서 안정적인 성능을 유지했습니다.
• 지연 시간: 업데이트 지연 시간은 최대 4개의 재생 빈을 사용할 때 약 1.5초에서 정체되었으며, 이를 통해 시스템이 응답성을 유지하도록 했습니다.

의의 및 주장
본 논문은 이 매니폴드 인지 재생 프레임워크가 외골격이 일상적인 보행 중에 마주치는 다양한 운동 컨텍스트 전반에서 실시간으로 개인화된 보조를 제공할 수 있게 한다고 주장합니다. 파괴적 망각과 명시적 작업 라벨의 부재라는 두 가지 과제를 해결함으로써, 이 방법은 사용자 특유의 보행 패턴에 대한 안정적이고 지속적인 적응을 가능하게 합니다. 저자들은 이 접근 방식이 피험자 간 변동성이 높고 광범위한 튜닝을 위한 보행 실험실 접근이 제한적인 임상 인구에게 특히 중요하다는 점을 강조합니다. 연구는 학습된 작업 간의 안정성을 유지하면서 새로운 작업에 적응하기 위해 보행 매니폴드를 활용하는 것이 견고한 실세계 외골격 배포를 향한 중요한 단계임을 결론짓습니다.