Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

기술 요약: 결함 허용형 보행 로봇을 위한 혼합 전문가(Mixture-of-Experts) 강화학습

문제 정의
다족 보행 로봇은 비정형 지형을 횡단할 수 있는 능력 덕분에 행성 탐사 및 원격 운영 분야에서 그 중요성이 점차 커지고 있습니다. 그러나 이러한 환경에서의 장기 운용은 하드웨어의 성능 저하와 액추에이터 고장에 노출시키며, 이는 이동성을 심각하게 저해할 수 있습니다. 강화학습(RL)은 보행 로로봇의 강건성을 입증해 왔으나, 기존의 단일 구조(monolithic) 정책은 다양한 결함 조건에 필요한 서로 다른 제어 전략을 효율적으로 표현하는 데 어려움을 겪습니다. 지형 인지, 표준 보행, 그리고 여러 개의 별도 결함 복구 동작을 하나의 네트워크가 모두 인코딩하려고 시하면, 특히 작업 복잡도가 증가할 때 표현 간섭(representational interference)과 학습 효율 저하가 발생할 수 있습니다.

방법론
저자들은 진단된 결함 정보를 활용하여 특화된 제어 전문가(expert)를 활성화하는 결함 인식 모듈형 제어 아키텍처를 제안합니다. 학습된 게이팅 네트워크(gating network)를 통해 운용 모드를 추론하는 일반적인 혼합 전문가(MoE) 방식과 달리, 이 프레임워크는 명시적인 결함 정보를 사용하여 적절한 전문가를 선택합니다.

제어 파이프라인은 세 가지 주요 구성 요소로 이루어집니다:

1. 결함 인식 혼합 전문가 정책: 정책 네트워크는 고유 수용성 관측값(베이스 선속도/각속도, 중력 투영, 관절 위치/속도)과 시각적 지형 높이 지도를 처리하기 위해 공유 인코더를 사용합니다. 학습된 라우팅 메커니즘 대신, 시스템은 진단된 결함 조건 $k$에 기반한 **원-핫 선택 메커니즘(one-hot selection mechanism)**을 채택합니다. 이는 특정 결함 모드에 맞춤화된 특정 전문가 $\pi_k$를 활성화하고 나머지 전문가는 비활성 상태로 유지합니다. 이러한 설계는 밀집형 라우팅($C_{dense} = C_{enc} + \sum C_k$)에 비해 능동 추론 비용($C_{active} = C_{enc} + C_k$)을 줄여줍니다.
2. 상태 추정(State Estimation): 심각한 결함(예: 몸체 끌림) 발생 시 모델 기반 가정이 무너지는 상황을 처리하기 위해, 본 프레임워크는 학습 기반 상태 추정기를 사용합니다. 이 신경망은 명시적인 접촉 모델링에 의존하지 않고 센서 관측값(IMU 가속도 포함)으로부터 베이스 선속도를 직접 예측하며, 이를 통해 액추에이터 결함으로 유발되는 동적 변화를 수용합니다.
3. 결함 탐지(Fault Detection): 전용 신경망($f_{fault}$)은 고유 수용성 이력의 시간적 윈도우로부터 현재의 액추에이터 결함 조건을 식별하는 지도 학습 문제로서 훈련됩니다. 이 모듈은 해당 전문가를 트리거하는 데 사용되는 범주형 결함 상태의 분포를 제공합니다.

시스템은 IsaacLab 프레임워크 내에서 Unitree Go2 로봇을 대상으로 근사 정책 최적화(PPO)를 사용하여 훈련되었습니다. 보상 함수에는 작업 지향적 목표(속도 추적, 베이스 높이/방향)와 정규화 항(관절 에너지, 매끄러움)이 포함됩니다. 결정적으로, 결함의 심각도에 따라 학습 목표를 적응시키기 위해 실패한 다리의 수($n_f$)에 따라 특정 보상 항을 동적으로 활성화하거나 비활성화합니다.

주요 기여

• 결함 인식 MoE 정책: 진단된 액추에이터 결함에 명시적으로 조건화된 특화 전문가를 사용하여 학습된 라우팅 함수 없이 조건부 연산을 가능하게 하는 모듈형 RL 프레임워크를 제안했습니다.
• 제약 조건 하에서의 효율성: 모듈형 정책이 유사한 크기의 단일 구조 베이스라인보다 현저히 낮은 네트워크 용량(Small 변체)에서도 경쟁력 있는 보행 성능을 유지함을 입증했습니다.
• 재현성: 커뮤니티를 위한 재현 가능한 베이스라인을 제공하기 위해 관련 코드를 공개했습니다.

결과
실험은 시뮬레이션 및 실제 Unitree Go2 로봇을 대상으로 네 가지 시나리오(결함 없음, 좌전방(LF) 결함, 좌후방(LH) 결함, 좌후방+우후방(LH+RH) 동시 결함)에서 수행되었습니다.

• 성능 비교: 제안된 MoE 아키텍처는 모든 결함 시나리오에서 단일 구조 PPO 베이스라인보다 일관되게 우수한 성능을 보였습니다. 정상 조건에서는 성능이 비슷했으나, 결함의 심각도가 높아질수록 MoE 방식의 이점이 점진적으로 뚜렷해졌습니다. 표준 트로팅(trotting)과는 구별되는 끌기 동작이 필요한 가장 심각한 시나리오(LH+RH 결함)에서 MoE 정책은 실질적으로 더 높은 누적 보상을 달-성했습니다.
• 네트워크 용량 민감도: 네트워크 용량을 줄였을 때(Large에서 Small 아키텍처로), 단일 구조 베이스라인은 상당한 성능 저하를 겪었습니다. 반면, MoE 아키텍처는 견고한 성능을 유지했으며, "Small" 변체가 "Large" 단일 구조 베이스라인과 대등한 결과를 달성했습니다. 이는 구조화된 전문화가 더 적은 활성 파라미터를 사용하더라도 효과적인 학습을 가능하게 함을 시사합니다.
• 실세계 검증: 프레임워크는 물리적 로봇에 성공적으로 배포되어 정상 조건에서의 암석 지형 횡단, 세 다리 보행(LH 결함), 그리고 두 다리 끌기 보행(LH+RH 결함)을 성공적으로 시연했습니다.

의의 및 한계
본 논문은 결함 허용형 보행을 위해 단순히 모델 크기를 키우는 것보다 명시적인 결함 조건부 전문화가 우월한 대안임을 주장합니다. 이 아키텍처는 특히 우주 탐사와 같이 온보드 자원이 제한된 컴퓨팅 제약이 있는 로봇 플랫폼에 매우 중요합니다. 결함별 동작을 전용 전문가로 분리함으로써, 시스템은 거대한 단일 구조 네트워크의 계산 오버헤드 없이 높은 강건성을 달-성합니다.

저자들은 샘플 효율성에 관한 한계를 겸허히 인정했습니다. 전문가 네트워크가 모든 파라미터를 공유하지 않기 때문에, 각 전문가는 특정 결함 조건의 궤적에 대해서만 업데이트되므로 정책 경사(policy-gradient) 추정치가 더 노이즈가 많을 수 있습니다. 현재 실험(결함 조건당 약 4,096개의 에이전트 사용)은 충분했으나, 더 많은 결함 조건으로 확장할 경우 더 많은 시뮬레이션 환경이나 더 정교한 파라미터 공유 전략이 필요할 수 있습니다.