Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY) International Space Station Astrobee Testing

논문 요약: APIARY 실험 (우주 공간 강화학습 기반 자율 비행체 제어)

1. 문제 제기 (Problem)

• 기존 우주선 제어의 한계: 현재 우주 로봇 (예: RSGS, MEV 등) 은 주로 인간이 지상에서 원격 제어하거나, 수동으로 생성된 웨이포인트를 기반으로 한 고전적 제어 알고리즘 (PID, 역운동학 등) 을 사용합니다. 이는 우주 컴퓨터의 제한된 연산 능력과 안전성 검증의 필요성 때문입니다.
• 자율성 부족: 복잡한 임무 (예: 대형 우주 망원경 조립, 위성 수리) 에 필요한 고도의 자율성은 부족하며, 임무 수행을 위해 숙련된 운영자의 수 시간에서 수 일간의 개입이 필요합니다.
• 강화학습 (RL) 의 적용 장벽: RL 은 적응형 제어에 유망하지만, 시뮬레이션과 실제 환경 간의 차이 (Sim2Real Gap) 와 우주 환경에서의 엄격한 안전성 검증 부재로 인해 실제 우주선에 적용되는 사례가 거의 없습니다.

2. 방법론 (Methodology)

이 연구는 미국 해군 연구소 (NRL) 와 NASA 가 협력하여 APIARY 실험을 수행했습니다. 주요 방법론은 다음과 같습니다.

• 실험 플랫폼: 국제우주정거장 (ISS) 에 탑재된 NASA 의 Astrobee 로봇 (입방체 형태, 팬 추진 방식, 6 자유도 이동 가능) 을 사용했습니다.
• 학습 환경 (NVIDIA Isaac Lab):
  • NVIDIA Omniverse 기반의 Isaac Lab 시뮬레이션 환경에서 Actor-Critic Proximal Policy Optimization (PPO) 알고리즘을 사용하여 6 자유도 (6-DOF) 제어 정책을 훈련했습니다.
  • 도메인 랜덤화 (Domain Randomization): 목표 자세, 질량 분포, 마찰력 등을 무작위화하여 실제 환경의 불확실성에 대한 강건성 (Robustness) 을 높였습니다.
  • 관측 및 행동: 로봇의 위치/자세 오차, 선형/각속도를 관측 (Observation) 하고, 힘 (Force) 과 토크 (Torque) 를 출력 (Action) 하여 팬 추진기를 제어합니다.
• 검증 파이프라인 (Sim-to-Real):
  1. 시뮬레이션: NVIDIA Omniverse (무중력) 및 NASA Gazebo (ISS 내부 및 Granite Lab 환경) 에서 정책 검증.
  2. 지상 테스트: NASA Ames 연구소의 Granite Lab (마찰 없는 대석 테이블, 1G 환경) 에서 하드웨어 테스트.
  3. 비행 테스트: ISS 내 실제 Astrobee 로봇 (Bumble 모델) 을 이용한 무중력 6-DOF 비행 테스트.
• 안전 장치: RL 정책이 임계값 이상의 오차를 감지하면 자동으로 기본 제어기 (Baseline Controller) 로 전환되는 안전 복구 메커니즘을 구현했습니다.

3. 주요 기여 (Key Contributions)

• 우주 공간 RL 제어 최초 실증: 본 논문의 저자들은 알고리즘이 우주 공간에서 자유 비행체 (Free-flyer) 를 제어한 최초의 사례라고 주장합니다 (2025 년 5 월 27 일 ISS 에서 수행).
• Sim2Real 간극 극복: NVIDIA Isaac Lab 을 활용하여 무중력 환경의 복잡한 역학을 모델링하고, 지상 및 우주 테스트를 통해 시뮬레이션에서 학습된 정책이 실제 우주 하드웨어에서 작동함을 입증했습니다.
• 저전력/저사양 하드웨어 배포: Astrobee 의 제한된 컴퓨팅 자원 (SWAP: Size, Weight, and Power) 내에서 RL 정책을 성공적으로 실행하여, 우주선용 경량 RL 제어의 가능성을 보여주었습니다.
• 빠른 임무 개발: 기존 수작업 방식에 비해 RL 을 사용하면 수 분에서 수 시간 내에 맞춤형 행동 (Robotic behaviors) 을 개발하고 배포할 수 있음을 시연했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 및 지상 테스트:
  • RL 정책은 기본 제어기 (Baseline) 에 비해 궤적 추종 오차 (특히 Y 축 편차 및 자세 오차) 가 다소 컸으나, 목표 위치 도달 및 임무 수행 성공 기준을 충족했습니다.
  • 1G 환경 (Granite Lab) 과 0G 환경 (ISS 시뮬레이션) 모두에서 6-DOF 이동이 가능함을 확인했습니다.
• ISS 비행 테스트 (Flight Validation):
  • 약 7 분 동안 8 개의 기동 (이동, 회전, 도킹 시도 등) 을 수행했습니다.
  • 성공: 0.5 미터 이동, 회전, 그리고 두 번째 도킹 시도에서 성공 (신호 손실 중에도 성공).
  • 실패 및 복구: 첫 번째 도킹 시도 중 국소화 (Localization) 문제로 인해 실패했으나, RL 정책이 오차를 감지하고 자동으로 기본 제어기로 전환하여 로봇을 안정화시키는 안전 메커니즘이 정상 작동했습니다.
  • RL 정책은 기본 제어기만큼 정밀하지는 않았지만, 우주 환경에서 자율적으로 임무를 완수할 수 있는 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 우주 로봇 공학의 패러다임 전환: 고전적 제어에서 강화학습 기반 자율 제어로의 전환 가능성을 보여주었습니다. 이는 향후 대형 우주 구조물 조립 (ISAM), 위성 서비스, 심우주 탐사 (예: 유로파 탐사) 등에 필수적입니다.
• 안전성 검증의 중요성: RL 의 잠재력을 입증하면서도, 실제 임무 적용을 위해서는 시뮬레이션 및 지상 테스트를 통한 엄격한 검증 프로세스가 필수적임을 강조했습니다.
• 미래 전망: 본 실험은 단순 이동 제어를 넘어, 로봇 팔을 이용한 조작 (Grasping), 미지 객체 조작, 추력기 고장 대응 등 더 복잡한 임무로 확장될 수 있는 기반을 마련했습니다. 궁극적으로 우주 조립, 통합, 테스트 (AI&T) 에 RL 을 표준적으로 적용하는 길을 열었습니다.

이 연구는 강화학습이 우주 공간의 극한 환경에서도 작동할 수 있음을 입증한 획기적인 사례로 평가받으며, 향후 우주 임무의 자율성과 효율성을 혁신적으로 높일 것으로 기대됩니다.