Distributed Multi Robot Lunar Cargo Transportation via Phase Decomposed Reinforcement Learning

기술 요약: 위상 분해 강화 학습을 통한 분산형 다중 로봇 달 화물 운송

문제 정의
미래의 지속 가능한 달 탐사 임무에는 통신 지연, 지형 불확실성, 엄격한 안전 제약 조건 하에서 건설 자재 및 화물을 운송할 수 있는 로봇 시스템이 필요합니다. 모듈형 재구성 가능 로봇은 확장성과 적응성을 제공하지만, 이러한 시스템을 이용한 협력적 화물 운송은 상당한 과제를 안고 있습니다. 여기에는 형태 의존적인 토폴로지 변화, 공유된 페이로드에 의해 유도되는 강한 동적 결합, 장기적 의사결정 요구 사항, 그리고 안전 제약 실행의 필요성이 포함됩니다. 기존의 분산형 강화 학습(RL) 접근 방식은 종종 고정된 토폴로지를 가정하거나 정적 팀을 위한 단일 제어기를 최적화하며, 이는 들어올리기(lifting), 운송(transporting), 놓기(placing)와 같은 다단계 작업에 내재된 물리적 재구성과 이질적인 접촉 체제(contact regimes)를 해결하지 못합니다. 더욱이, 이러한 작업을 위한 통합 정책 최적화는 서로 다른 동적 위상 간의 그래디언트 간섭(gradient interference)을 유발하여 수렴 실패를 초래할 수 있습니다.

방법론
저자들은 분산형 로봇 유닛을 위해 설계된 **위상 분해 강화 학습 프레임워크(Phase-Decomposed Reinforcement Learning Framework)**를 제안합니다. 협력적 운송 작업은 세 가지 별도의 운영 단계인 들어올리기(L), 운송(T), **놓기(P)**로 분해됩니다.

• 위상별 정책: 각 단계는 전용 결합 상태 정책($\pi_{\theta_k}$)을 가진 별도의 마르코프 결정 과정(MDP)으로 모델링됩니다. 이러한 분리는 특정 접촉 체제(예: 운송 중 궤적 추적 대 들어올리기 중 힘 균형)에 맞춤화된 보상 기하학(reward geometries)의 독립적인 최적화를 가능하게 합니다.
• 중앙 집중식 훈련, 분산 실행 (CTDE): 정책은 모든 로봇과 화물의 포즈 및 속도를 포함한 전체 결합 상태 관측치를 사용하여 훈련되어 안정적인 수렴을 촉진합니다. 배포 시에는 분산 실행되며, 각 로봇은 국부적인 고유 수용 감각(포즈, 속도, 관절 구성)과 화물 및 인접 로봇에 대한 상대적 관측을 기반으로 작동합니다.
• 조정 및 안전:
  • MDP 게이팅: 고수준의 이산 마르코프 결정 과정이 단계 간 전환(대기, 들어올리기, 운송, 놓기)을 관리합니다. 전환은 측정 가능한 작업 이벤트(예: 목표 높이 도달)에 의해 트리거되지만, 시스템을 즉시 대기(Idle) 상태로 리셋하는 안전 오버라이드(예: 결함 감지)를 포함합니다.
  • 동기화 메커니즘: 두 개의 휠-암(wheel-arm) 유닛과 공유된 페이로드에 의해 형성된 폐쇄 키네마틱 체인을 관리하기 위해, 명령된 동작을 제한하는 동기화 계층이 동작을 클램핑합니다. 이는 명령된 상태를 현재 감지된 상태를 중심으로 하는 허용된 집합 내로 제한함으로써, 한 서브시스템이 다른 서브시스템보다 크게 앞서 나가지 않도록 보장합니다. 이를 통해 내부 응력과 페이로드를 불안정하게 만들 수 있는 비동기적 움직임을 방지합니다.
• 시뮬레이션 및 하드웨어: 정책은 NVIDIA IsaacLab에서 도메인 무작위화(마찰, 지형, 노이즈)를 통해 훈련되었으며, JAXA 달 유사 테스트 시설의 모듈형 휠-암 로봇 플랫폼에서 검증되었습니다. 하드웨어 설정은 두 개의 통합 유닛(차동 구동 휠과 결합된 7-DOF 암)이 다양한 질량(5.3 kg ~ 9.5 kg)의 페이로드를 레골리스와 유사한 모래 위에서 조작하는 방식입니다.

주요 기여

1. 위상 구조화된 RL 정식화: 본 논문은 장기적이고 접촉이 빈번한 협력 운송을 위상별 MDP로 분해하는 방식을 도입합니다. 이 접근 방식은 서로 다른 접촉 체제 간의 정책 최적화를 분리하여, 단일 정책(monolithic policy)에서 발생하는 그래디언트 간로를 완화합니다.
2. 기계적으로 결합된 시스템을 위한 CTDE: 본 프레임워크는 물리적으로는 독립적이지만 기계적으로 결합된 모듈형 로봇을 위해, 온보드 고유 수용 감각을 활용하여 중앙 집중식 결합 상태 훈련과 분산 실행을 가능하게 합니다.
3. 동기화 인식 안전 조정: 이산 MDP 기반의 위상 게이팅 시스템은 안전 인식 정지 및 협력적 진행을 강제하는 동기화 계층과 결합되어, 안정적인 심투리얼(sim-to-real) 실행을 보장합니다.
4. 실험적 검증: 프레임워크는 시뮬레이션과 제어된 현장 실험을 통해 모듈형 휠-암 시스템에서 검증되었으며, 다양한 페이로드 질량과 지형 조건에서도 신뢰할 수 있는 협력 운송을 입증했습니다.

결과

• 시뮬레이션: 위상 분해 정책은 들어올리기, 운송, 놓기에 대해 성공적으로 수렴했습니다. 들어올리기 정책은 최소한의 오버슈트와 안정된 기울기를 유지하며 목표 높이(0.3m, 0.5m, 0.75m)에 도달했습니다. 운송 정책은 약 11%의 RMS 오차로 속도 명령을 추적하면서 페이로드 높이를 최대 1.58 mm의 편차 내로 유지했습니다. 놓기 정책은 자유 낙하보다 현저히 낮은 충격 속도로 부드러운 접지를 달성했습니다.
• 절제 연구(Ablation Study): 위상 분해 없이 전체 미션을 위한 단일 단일 정책을 훈련시킨 베이스라인 실험은 수렴에 실패했으며, 진동하는 보상과 불안정한 동작(예: 들어올리는 동안 이동 시도)을 보였습니다. 이는 구성 의존적 결합 하에서 안정적인 학습을 위해 위상 분해가 필수적임을 확인시켜 줍니다.
• 하드웨어 실험: 시스템은 모래 테스트 필드에서 세 가지 다른 페이로드 질량에 대해 전체 미션 시퀀스(들어올리기, 운송, 놓기)를 성공적으로 수행했습니다. 더 무거운 페이로드는 (지형 침하 및 토크 결합으로 인해) 감소된 정상 상태 들어올리기 높이와 더 긴 수렴 시간을 초래했지만, 시스템은 안정적인 수직 조절을 유지하며 모든 작업을 실패 없이 완료했습니다. 동기화 메커니즘은 비협력적 동작을 효과적으로 방지했습니다.

의의 및 주장
본 논문은 핵심적인 방법론적 기여가 바로 위상 구조화된 정식화 그 자체라고 주장합니다. 저자들은 이 구조가 단순히 조직적인 것이 아니라 문제를 해결하는 데 필수적이라고 단언합니다. 즉, 단일 정책을 동일한 결합 상태 및 행동 공간에서 훈련시키면 수렴에 실패합니다. 작업을 분해함으로써 프레임워크는 이질적인 접촉 체제 간의 그래디언트 간섭을 완화합니다. 결합 상태 훈련, 분산 실행, 그리고 동기화 인식 안전 조정의 통합은 협력적 달 화물 운송을 위한 견고한 솔루션을 제공하며, 전통적인 통합 제어 전략이 실패하는 비정형 환경에서 모듈형 시스템이 복잡한 다단계 작업을 수행할 수 있음을 입증합니다. 이 연구는 JST Moonshot R&D Program의 지원을 받았습니다.