A Continual Learning Framework for Adaptive Control of Modular Soft Robots

기술 요약: 모듈형 소프트 로봇의 적응형 제어를 위한 지속 학습 프레임워크

문제 정의
모듈형 소프트 로봇(MSR)은 그 유연성과 재구성 가능성 덕분에 비정형 환경에서 상당한 이점을 제공한다. 그러나 MSR을 제어하는 것은 비선형 동역학, 과잉 중복성(hyper-redundancy), 복잡한 재료 특성으로 인해 독특한 과제를 안겨준다. 기존의 제어 전략은 두 가지 주요 한계점에 직면해 있다:

1. 형태 변화에 대한 적응성 부족: 대부분의 제어기는 고정된 로봇 형태를 가정한다. 모듈이 부착되거나 분리될 때, 제어기는 일반적으로 처음부터 다시 학습해야 하며, 이 과정에서 이전에 습득한 지식을 활용하지 못한다.
2. 고정된 구성에서의 확장성 및 강건성: 고정된 형태를 가진 MSR의 경우, 기존 방식은 종종 단일 중앙 집중식 제어기에 의존한다. 이는 모듈성을 제한하고, 모듈 수가 많은 로봇의 확장성을 저하시키며, 오류 전파에 민end한 시스템을 만든다. 또한, 특정 모듈(예: 구멍이 생김)이 고장 날 경우, 전체 중앙 집중식 모델을 다시 학습시켜야 한다.

방법론: 소프트 모듈형 점진적 학습 (SMPL)
저자들은 **지속 학습(CL)**과 **점진적 신경망(PNN)**에 기반한 제어 프레임워크인 SMPL을 제안한다. 이 프레임워크는 catastrophic forgetting(파괴적 망각) 문제를 해결하는 동시에 점진적 학습과 분산 제어를 가능하게 한다.

• 아키텍처: SMPL 프레임워크는 각 새로운 MSR 구성(또는 고정된 구성 내의 각 모듈)에 전용 서브 네트워크를 할당하는 점진적 아키텍처를 활용한다.
  • 측면 연결(Lateral Connections): 지식 전이를 촉진하기 위해 현재의 서브 네트워크와 이전에 학습된 모든 서브 네트워크 사이에 측면 연결이 설정된다. 기존 서브 네트워크의 파라미터는 이전 지식을 보존하기 위해 동결되며, 새로운 서브 네트워크는 무작위 초기화 상태로 학습된다.
  • 수학적 정식화: $k$번째 서브 네트워크의 $i$번째 층의 은닉 표현은 현재 서브 네트워크의 자기 기여분과 이전 서브 네트워크들로부터의 측면 기여분의 결합으로 이루어진다 (식 1).
• 폐루프 학습(Closed-Loop Training): 이 프레임워크는 폐루프 구성으로 작동한다. 역 모델(제어기)은 목표 포즈와 현재 작업 공간 오차를 기반으로 구동 명령을 예측한다. 이 명령은 미리 학습되어 고정된 순방향 동역학 모델(LSTM 기반)을 통과하여 결과적인 포즈를 예측한다. 예측된 포즈와 목표 포즈 사이의 오차는 역 모델의 입력으로 피드백되어 학습을 안정화하고 작업 공간 오차를 줄인다.
• 학습 데이터: 시스템은 작업 공간을 탐색하기 위해 무작위 구동 신호를 적용하는 "모터 배블링(motor babbling)" 데이터를 사용하여 학습된다.
• 실험 시나리오:
  • Exp1S (점진적 형태 변화): 프레임워크는 모듈이 추가됨에 따라(1개에서 5개 모듈까지) 순차적으로 학습한다. 현재 구성에 대한 구동을 예측하는 동시에, 재학습 없이도 이전 구성들을 제어할 수 있는 능력을 유지해야 한다.
  • Exp2S & Exp2R (분산 제어): 고정된 3모듈 MSR에 대해, 프레임워크는 각 서브 네트워크가 하나의 모듈에 특화된 동역학을 학습하는 분산 접근 방식을 채택한다. 이를 통해 국부적인 제어가 가능하며, 성능 저하(예: 손상)가 발생했을 때 해당 모듈만을 재학습시킬 수 있다.

주요 기여

1. 점진적 적응: MSR이 이전 구조에 대한 지식을 보존하면서 새로운 형태적 구성(모듈 부착/분리)에 적응할 수 있도록 하는 CL 기반 프레임워크를 제안하였다.
2. 고정된 형태를 위한 분산 제어: 고정된 크기의 MSR에 대해 모듈별 동역학을 학습할 수 있음을 입증하여, 중앙 집중식 제어기에 비해 향상된 정밀도와 확장성을 제공함을 보여주었다.
3. 포괄적 검증: 시뮬레이션(텐던 구동 로봇)과 실제 실험(3모듈 공압 암)을 통한 다양한 궤적 추적 작업에 걸친 광범위한 평가를 수행하였다.
4. 적응형 모듈 활성화: 목표에 도달하기 위해 필요한 모듈만을 선택적으로 활성화하여 계산 오버헤드와 에너지 소비를 줄이는 프레임워크의 능력을 입증하였다.

결과

• 궤적 추적 (Exp1S): SMPL 프레임워크는 다섯 가지 점진적 구성(1~5개 모듈)에 대해 성공적으로 궤적을 추적하였다. 새로운 구성에 대해 학습한 후에도 이전 학습된 구성들에 대한 성능을 유지함으로써 파괴적 망각을 효과적으로 완화함을 보여주었다. 폐루프 학습은 개방 루프 설정보다 일관되게 낮은 위치 및 방향 오차를 나타냈다.
• 벤치마킹 (Exp2S & Exp2R): 시뮬레이션과 실제 실험 모두에서 SMPL은 MLP, 표준 LSTM, VAE-LSTM, Bi-LSTM을 포함한 벤치마크 모델보다 우수한 성능을 보였다.
  • 시뮬레이션: SMPL은 테스트 배블링 데이터에서 가장 낮은 위치 오차(3.52 mm)와 방향 오차(4.69°)를 달いました.
  • 실제 환경: 물리적 로봇에서 SMPL은 위치 오차 4.97 mm, 방향 오차 1.75°를 기록하여, Bi-LSTM 베이스라인(7.49 mm 및 2.47°)을 크게 앞질렀다.
• 적응형 활성화: 도달(reaching) 실험에서 프레임워크는 오차를 최소화하기 위해 모듈을 동적으로 활성화하였다(목표 모듈을 시작으로, 그 앞의 모듈, 그 다음 모듈 순). 이러한 선택적 활성화는 모든 모듈을 동시에 활성화했을 때보다 적은 구동으로도 목표에 성공적으로 도달하였다.

의의 및 주장
본 논문은 SMPL 프레임워크가 형태적 재구성 가능성과 확장성이라는 두 가지 과제를 해결함으로써 모듈형 소프트 로봇 제어를 위한 강력한 솔루션을 제공한다고 주장한다. 지속 학습을 활용함으로써, 시스템은 구조가 변경될 때 처음부터 다시 학습해야 하는 계산 비용을 피할 수 있다. 또한, 분산 제어 아키텍처는 시스템의 강건성을 높인다. 특정 모듈이 저하되거나 고장 나더라도 전체 시스템이 아닌 해당 서브 네트워크만을 재학습시키면 된다. 저자들은 이 연구를 더 효율적이고 적응 가능하며 확장 가능한 소프트 로보틱스 시스템을 향한 단계로 규정한다.

한계 및 향 향후 과제
저자들은 순차적 학습 과정이 학습 시간 증가를 초래한다는 점을 인정하였다. 향후 연구는 새로운 모듈에 대한 적응을 가속화하기 위해 메타 학습 원리를 통합하는 것을 목표로 한다. 또한, 실제 환경의 액추에이터 저하(예: 누출)에 대한 프레임워크의 강건성을 탐구하고, 더 미세한 정밀도와 에너지 효율을 위해 아키텍처를 액추에이터 수준의 모듈형 제어로 확장할 계획이다.