Crossing the Sim2Real Gap Between Simulation and Ground Testing to Space Deployment of Autonomous Free-flyer Control

논문 요약: 자율 비행체 (Free-flyer) 의 시뮬레이션 - 지상 테스트 - 우주 배포를 위한 Sim2Real 격차 극복

1. 문제 정의 (Problem)

• 배경: 우주 공간에서의 서비스, 조립, 제조 (ISAM) 임무는 역동적이고 불확실한 환경에 적응할 수 있는 고도로 자율적인 로봇 시스템이 필요합니다. 기존 우주선 제어 방식 (PID, PD 등) 은 적응력이 제한적입니다.
• 핵심 과제: 강화 학습 (RL) 은 경험에서 직접 강력한 제어 정책을 학습할 수 있는 잠재력을 제공하지만, Sim2Real (시뮬레이션 - 현실) 격차가 주요 장애물입니다. 시뮬레이션 환경과 실제 우주 환경 (물리적 역학, 예상치 못한 변수 등) 간의 불일치로 인해 시뮬레이션에서 학습된 정책이 실제 하드웨어로 이전될 때 성능이 급격히 저하될 수 있습니다.
• 목표: NASA Astrobee(국제우주정거장 ISS 내 자유 비행 로봇) 에 RL 기반 자율 제어를 적용하여 Sim2Real 격차를 극복하고, 지상 시뮬레이션에서 학습된 정책을 우주 환경에서 성공적으로 배포하는 파이프라인을 입증하는 것입니다.

2. 방법론 (Methodology)

연구팀은 NVIDIA Omniverse Isaac Lab 물리 시뮬레이터를 활용하여 다음과 같은 워크플로우를 구축했습니다.

• 알고리즘: Proximal Policy Optimization (PPO) 기반의 심층 강화 학습 (DRL) 을 사용했습니다.
  • 관측치 (Observations): Astrobee 의 선형/각속도, 목표 자세에 대한 위치/방향 오차 (6 자유도).
  • 행동 (Actions): 질량 중심 (COM) 에 가해지는 힘과 토크 (Wrench 명령).
  • 보상 함수 (Reward): 목표 자세 도달 시 긍정적 보상, 과도한 속도 발생 시 부정적 보상 (에너지 효율 및 제어 안정성 확보).
• 커리큘럼 학습 (Curriculum Learning): Sim2Real 격차를 줄이기 위해 학습 난이도를 점진적으로 높이는 커리큘럼 방식을 도입했습니다.
  • 단계적 학습: 목표 위치/방향의 무작위 범위와 Astrobee 의 질량 변동을 단계별로 증가시켰습니다 (총 22 단계).
  • 질량 변동 대응: ISS 테스트 시 페이로드 (로봇 팔 등) 유무에 따른 질량 변화를 예측하여, 초기 단계부터 다양한 질량 변동을 학습에 포함시켜 정책의 강건성 (Robustness) 을 확보했습니다.
• 검증 단계:
  1. NVIDIA Omniverse 시뮬레이션: 10,000 개의 병렬 환경에서 대규모 학습 및 평가.
  2. NASA Ames Gazebo 시뮬레이션: 기존 NASA Astrobee 소프트웨어 (ROS Noetic) 와 호환되는 환경에서 기존 GNC 제어기와의 비교 검증.
  3. 지상 하드웨어 테스트: NASA Ames Granite Lab(공기 베어링을 이용한 2D 무중력 모사 환경) 에서 실제 로봇으로 테스트.
  4. 우주 배포 (ISS): 국제우주정거장 (ISS) 의 실제 미세 중력 환경에서 최종 배포 및 테스트.

3. 주요 기여 (Key Contributions)

• 최초의 온-오비트 (On-orbit) RL 시연: 우주 공간에서 RL 기반 자율 제어로 작동하는 자유 비행 로봇 (Astrobee) 의 첫 번째 성공적인 온-오비트 데모를 수행했습니다.
• Sim2Real 파이프라인 확립: NVIDIA Omniverse 기반의 GPU 가속 과학 등급 시뮬레이션과 커리큘럼 학습을 결합하여, 지상 테스트를 거쳐 우주 환경으로의 정책 이전을 성공적으로 가능하게 하는 검증된 파이프라인을 제시했습니다.
• 질량 변동에 대한 강건성 입증: 커리큘럼 학습을 통해 로봇의 질량 변화 (페이로드 유무 등) 에 대해 기존 제어기 (GNC) 와 유사하거나 더 나은 강건성을 가진 RL 정책을 개발했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 결과 (Omniverse):
  • 커리큘럼 없이 학습된 정책은 목표 도달 성공률이 약 9% 에 불과했으나, 커리큘럼 학습을 적용한 정책은 질량 변동과 무관하게 89%~95% 의 높은 성공률을 보였습니다.
  • 특히, 질량 변동을 극단적으로 포함시킨 'more mass var' 정책은 92% 이상의 성공률을 기록하며 높은 적응력을 입증했습니다.
• 지상 테스트 (Granite Lab):
  • 실제 하드웨어에서 페이로드 (로봇 팔) 유무에 관계없이 성공적인 미션 (도킹 해제, 이동 등) 을 수행했습니다. 이는 커리큘럼 학습이 실제 물리적 질량 변화를 효과적으로 처리함을 의미합니다.
  • 기존 GNC 제어기와 비교하여 질량 변동에 대한 오차 (MSE) 가 유사하거나 더 낮은 수준을 유지했습니다.
• 우주 테스트 (ISS):
  • RL 정책이 ISS 환경에서 Astrobee 의 자유 비행 (도킹 해제, 회전, 이동, 재도킹) 을 성공적으로 제어했습니다.
  • 실제 비행에서 목표 지점 (0.5m) 을 약간 미치지 못했으나 (undershoot), Astrobee GNC 의 허용 오차 범위 내에서 성공적인 미션으로 간주되었습니다. 이는 시뮬레이션에서 학습된 정책이 실제 우주 환경에서도 유효함을 증명합니다.

5. 의의 및 결론 (Significance)

• 자율성 혁신: 우주 탐사 및 ISAM 임무에서 로봇의 자율성을 획기적으로 높일 수 있는 가능성을 열었습니다. RL 을 통해 실시간 임무 요구사항에 빠르게 적응하는 것이 가능해졌습니다.
• 미래 임무의 기반: 이 연구는 향후 우주 서비스, 조립, 제조 (ISAM) 및 우주 로봇의 자동화 계획, 통합, 테스트 (AI&T) 에 필수적인 기술적 토대를 마련했습니다.
• 방법론적 확장: 지상 시뮬레이션에서 학습된 RL 정책을 우주 하드웨어에 배포하는 검증된 프로세스는 향후 더 복잡하고 정교한 우주 임무 (예: 우주 쓰레기 제거, 위성 수리 등) 에 적용될 수 있는 표준적인 접근법으로 자리 잡을 것입니다.

이 논문은 강화 학습이 단순한 시뮬레이션 단계를 넘어, 실제 우주 환경에서 작동하는 자율 로봇 제어의 핵심 기술로 도약했음을 보여주는 중요한 이정표입니다.