Current state of the multi-agent multi-view experimental and digital twin rendezvous (MMEDR-Autonomous) framework

이 논문은 궤도 서비스 및 우주 쓰레기 제거와 같은 임무를 위한 자율 랑데부 및 도킹을 위해 학습 기반 광학 항법 네트워크, 강화 학습 기반 유도 접근법, 그리고 하드웨어 인 더 루프 테스트베드를 통합한 'MMEDR-Autonomous' 프레임워크의 현재 상태를 소개하고 있습니다.

핵심

🚀 핵심 개념: "우주 택시와 자동 주차 시스템"

상상해 보세요. 우주 공간은 거대한 주차장이고, 수많은 위성들이 차처럼 떠다닙니다. 이제 우리는 고장 난 위성 (쓰레기) 을 치우거나, 수리하기 위해 다른 위성 (서비스 차량) 을 보내야 합니다.

과거에는 지구에 있는 인간 조종사가 조이스틱을 잡고 위성을 조종했습니다. 하지만 위성이 너무 많아지고, 우주 쓰레기도 급증하자 인간이 하나하나 조종하는 건 불가능해졌습니다. 그래서 이 논문은 **"AI 가 스스로 운전해서 안전하게 주차 (도킹) 하는 기술"**을 개발하고 있습니다.

이 연구는 크게 세 가지 핵심 기술 (3 대 기둥) 로 이루어져 있습니다.

1. 눈 (Navigation): "안경을 쓴 AI 카메라"

위성이 상대방을 보려면 카메라가 필요합니다. 하지만 우주는 어둡고, 태양 빛이 너무 강해 눈이 부시며, 위성 모양도 다양합니다.

• 문제: 컴퓨터가 우주 사진을 보면 "저게 뭐지? 어디에 있지?"라고 헷갈릴 수 있습니다. (가상 데이터와 실제 데이터의 차이)
• 해결: 연구팀은 MobileNet이라는 가볍고 빠른 AI 모델을 사용했습니다. 마치 스마트폰 카메라 앱처럼, 위성이 찍은 사진만 보고도 "상대방이 내 왼쪽 10 미터, 위쪽 5 미터에 있고, 이 각도로 기울어져 있다"는 것을 정확히 계산해냅니다.
• 비유: 마치 운전 면허 시험장에서 연습할 때, 비, 눈, 안개, 강한 햇빛 등 모든 날씨를 시뮬레이션해서 AI 에게 훈련시킨 것과 같습니다. 그래야 실제 우주라는 험한 환경에서도 눈을 감지 않고 상대방을 찾을 수 있습니다.

2. 뇌 (Guidance): "스스로 배우는 운전 코치"

위성이 상대방을 찾았으면, 이제 "어떻게 움직여야 하지?"를 결정해야 합니다.

• 문제: 우주에서는 연료도 한정되어 있고, 너무 빨리 다가가면 부딪혀서 폭발할 수 있습니다.
• 해결: 연구팀은 **강화 학습 (Reinforcement Learning)**이라는 기술을 썼습니다. 이는 마치 바둑이나 알파고처럼, 수많은 실수를 통해 "어떤 행동을 하면 점수를 얻고, 어떤 행동을 하면 감점을 받는지" 스스로 배우는 방식입니다.
• 혁신: 기존에는 인간이 "너는 여기서 천천히 가라"고 직접 코드를 짜주면, AI 는 그 규칙만 따랐습니다. 하지만 이 연구는 **"자동 튜닝 (Bayesian Optimization)"**을 도입했습니다. AI 가 스스로 "어떤 학습 방법을 쓰면 가장 잘 배우지?"를 찾아내어, 인간이 일일이 손대지 않아도 최적의 운전 전략을 찾아냅니다.
• 특이점: 보통은 "빨리 가면 벌점"을 줍니다. 하지만 이 연구는 **"천천히 부드럽게 다가가면 보너스 점수"**를 주는 방식을 개발했습니다. 덕분에 AI 는 충돌 없이 부드럽게 접근하는 법을 배웠습니다.

3. 몸 (Control & Testbed): "실제 우주 환경을 재현한 실험실"

이론만으로는 부족합니다. 실제로 우주에서 작동할지 확인해야 합니다.

• 실험실: 연구팀은 Missouri 공과대학교에 실제 우주 환경을 모방한 거대한 실험실을 만들었습니다.
  • 로봇 팔: 실제 위성 대신 로봇 팔에 위성 모형을 달아 움직입니다.
  • 빛과 배경: 태양 빛을 비추는 강력한 램프와 지구 배경을 보여주는 커튼을 설치해, 우주처럼 눈이 부시고 배경이 어두운 환경을 완벽하게 재현합니다.
  • 목적: 여기서 AI 가 로봇 팔을 조종하며 "도킹" 연습을 합니다. 만약 여기서 실패하면 우주에서 실패하는 것이므로, 이 실험실은 AI 운전자의 최종 면허 시험장 역할을 합니다.

---

🌟 이 연구의 중요성과 미래

이 논문이 왜 중요한가요?

1. 우주 청소: 우주 쓰레기를 스스로 잡아서 치울 수 있습니다.
2. 위성 수리: 고장 난 위성을 우주에서 수리해 수명을 늘릴 수 있습니다.
3. 비용 절감: 인간이 조종할 필요가 없어지고, 더 작고 저렴한 위성 (큐브샛) 으로도 임무가 가능해집니다.

결론적으로,
이 논문은 **"우주라는 험한 도로에서, AI 가 스스로 눈을 뜨고 (카메라), 스스로 운전법을 배우고 (강화 학습), 실제 시험장에서 연습 (로봇 팔 실험) 하여, 안전하고 정확하게 다른 차와 합류하는 기술"**을 완성해 가는 과정입니다.

이 기술이 완성되면, 앞으로 우주 공간은 훨씬 더 안전하고 활발하게 활동할 수 있는 '우주 고속도로'가 될 것입니다.

기술 요약

이 논문은 근궤도 거주 우주 물체 (RSO) 의 증가에 따른 궤도 서비스, 우주 잔해 제거 (ADR), 궤도 수정 등의 임무에서 요구되는 자율적 랑데부 및 도킹 기술을 위한 통합 프레임워크인 MMEDR-Autonomous(Multi-Agent Multi-View Experimental and Digital Twin Rendezvous) 의 현재 상태를 보고합니다. 이 프레임워크는 학습 기반의 광학 항법 네트워크, 강화 학습 (RL) 기반의 유도 알고리즘, 그리고 하드웨어 인 더 루프 (HIL) 실험 환경을 통합하여 구성됩니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Statement)

• 배경: 우주 잔해 증가와 궤도 교통량 관리의 어려움으로 인해, 인간 개입을 최소화하고 확장 가능한 자율 도킹 기술이 필수적입니다. 특히 CubeSat 과 같은 소형 위성은 제한된 전력, 부피, 계산 자원을 가지므로 경량화되고 효율적인 GNC(유도, 항법, 제어) 시스템이 필요합니다.
• 도전 과제: 기존의 Clohessy-Wiltshire (CW) 동역학 기반 방법이나 칼만 필터링 등은 비선형 동역학, 다중 에이전트 상호작용, 열악한 센서 조건에서 성능이 저하될 수 있습니다. 또한, 학습 기반 방법 (RL, CNN 등) 을 실제 임무에 적용하기 위해서는 계산 효율성, 안정성, 그리고 시뮬레이션과 실제 우주 환경 간의 도메인 격차 (Domain Gap) 해결이 필요합니다.
• 목표: 단일 에이전트 및 다중 에이전트 랑데부 시나리오에서 안전하고 안정적인 자율 도킹을 가능하게 하는 통합 GNC 프레임워크 개발 및 검증.

2. 방법론 (Methodology)

MMEDR-Autonomous 프레임워크는 크게 세 가지 핵심 subsystem 으로 구성됩니다.

A. 유도 (Guidance) - 강화 학습 (RL) 기반

• 알고리즘: Deep Deterministic Policy Gradient (DDPG) 및 분산 분포 DDPG (D4PG) 를 활용합니다.
• 학습 전략:
  • 보상 함수 설계: 충돌 방지, 목표 도달, 그리고 접근 속도 제어를 위한 보상 함수를 설계했습니다. 특히, 기존 연구가 속도 초과에 대한 '페널티'를 주던 것과 달리, 저속 접근을 장려하는 **희소 속도 보상 (Sparse Velocity Reward)**을 도입하여 학습 안정성을 높였습니다.
  • 하이퍼파라미터 튜닝: 수동 튜닝의 비효율성을 극복하기 위해 **베이지안 최적화 (Bayesian Optimization)**를 자동화하여 학습률, 탐색률, 네트워크 구조 등을 최적화했습니다.
  • 안전 제약: 제어 장벽 함수 (Control Barrier Functions, CBF) 를 CW 동역학에 적용하여 충돌 방지, 센서 보호 (태양광 차단), 궤도 이탈 방지 등의 안전 제약을 강화 학습 과정에 통합했습니다.

B. 항법 (Navigation) - 광학 기반 포즈 추정

• 네트워크 아키텍처: MobileNetV3Large(가벼운 백본), Feature Pyramid Network (FPN)(다중 스케일 특징 융합), Deep-6DPose(직접 회귀 포즈 추정) 를 결합한 경량 CNN 을 개발했습니다.
• 학습 데이터 및 증강: 실제 우주 이미지 부족 문제를 해결하기 위해 Blender 를 이용한 합성 이미지와 실험실 시뮬레이션 이미지를 혼합하여 학습했습니다. 데이터 증강 (Data Augmentation) (밝기/대비 조절, 노이즈, 모션 블러, 태양 플레어 등) 을 적용하여 합성 데이터와 실제 데이터 간의 도메인 격차를 줄였습니다.
• 상태 추정: 지연 및 비동기 측정 데이터를 처리하기 위해 **무향 칼만 필터 (UKF)**를 적용하고, 다중 센서 (카메라) 데이터를 순서 가중 평균 (Ordered Weighted Averaging, OWA) 기법으로 융합하여 정밀도를 높였습니다.

C. 실험 환경 (Hardware-in-the-Loop Testbed)

• 설비: Missouri S&T 의 DCV-Space 실험실에는 2 개의 6-DOF 로봇 암 (Dobot CR20A), Vicon 모션 트래킹 카메라, Orbbec FemtoBolt 카메라 (RGB+Depth), Godox 태양광 시뮬레이션 램프 등이 구비되어 있습니다.
• 기능: 로봇 암을 통해 에이전트와 타겟의 상대 운동을 제어하고, 실제 우주 조명 환경을 재현하여 GNC 알고리즘의 폐루프 검증을 수행합니다.

3. 주요 기여 (Key Contributions)

1. RL 기반 유도 알고리즘의 학습 안정성 연구: 보상 함수 설계 (특히 속도 보상 vs 페널티), 상태 정의, 그리고 베이지안 최적화를 통한 자동 튜닝이 학습 성공률에 미치는 영향을 체계적으로 분석했습니다.
2. 단안 카메라 기반 위성 포즈 추정 네트워크 개발: MobileNetV3 와 FPN 을 활용한 경량 네트워크를 설계하여, CubeSat 에 탑재 가능한 수준의 계산 비용으로 6D 포즈 (위치 및 자세) 를 추정할 수 있음을 입증했습니다.
3. 다중 에이전트 랑데부용 HIL 테스트베드 구축: 실제 우주 환경을 모사한 실험실 환경을 조성하고, 다중 에이전트 협동 랑데부 시나리오를 검증할 수 있는 기반을 마련했습니다.

4. 결과 (Results)

• 유도 (Guidance):
  • 수동 튜닝은 목표 부근까지 도달할 수는 있으나, 정밀한 도킹 허용 오차 내 수렴에는 한계가 있었습니다.
  • 베이지안 최적화를 적용한 자동 튜닝은 95% 이상의 성공적인 도킹률을 달성했습니다.
  • 특히 **희소 속도 보상 (Sparse Velocity Reward)**을 도입한 경우, 에이전트가 목표에 접근할 때 충돌을 피하면서 적절한 속도로 접근하는 행동을 학습하여, 기존 페널티 기반 방법보다 훨씬 안정적인 수렴을 보였습니다.
• 항법 (Navigation):
  • SPEED+ 데이터셋에서 데이터 증강을 적용한 결과, 위치 오차 ($E_t$) 가 1.95m 에서 0.36m로, 각도 오차 ($E_q$) 가 76.25 도에서 45.65 도로 크게 개선되었습니다.
  • 제안된 네트워크는 SPEC 2021 대회 상위권 모델들과 비교했을 때, 열지도 (heatmap) 나 온라인 학습 없이도 경쟁력 있는 정확도를 보였으며, 추론 속도는 6.18Hz로 실시간 처리가 가능함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 학습 기반 GNC 기술이 실제 우주 임무에 적용되기 위한 핵심 요소들을 통합적으로 다뤘다는 점에서 의의가 큽니다.

• 실용성: CubeSat 과 같은 제한된 자원을 가진 플랫폼에서도 작동 가능한 경량화된 알고리즘과 하드웨어 통합을 제시했습니다.
• 안전성: 강화 학습의 불확실성을 제어 장벽 함수 (CBF) 를 통해 안전 제약 조건 하에 통제함으로써, 임무 실패 위험을 줄였습니다.
• 미래 전망: 현재는 단일 에이전트 및 초기 다중 에이전트 시나리오에 집중되어 있으나, 향후 D4PG 알고리즘의 완전한 적용, 온라인 학습 (Online Training) 기법 도입, 그리고 더 복잡한 다중 에이전트 협동 도킹 임무로 확장될 예정입니다.

결론적으로, MMEDR-Autonomous 프레임워크는 우주 잔해 제거 및 궤도 서비스 임무를 위한 차세대 자율 도킹 기술의 실현 가능성을 검증하고, 지상 실험을 통해 이를 고도화하는 중요한 발걸음입니다.