Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling

이 논문은 저궤도 다중 우주쓰레기 제거 임무 계획에 대해 공궤도 기동 프레임워크와 마스킹 PPO 기반의 심층 강화 학습을 도입하여, 기존 탐욕적 휴리스틱 및 MCTS 알고리즘보다 두 배 많은 쓰레기 제거와 우수한 계산 효율성을 달성함을 입증했습니다.

핵심

🚀 핵심 이야기: 우주 쓰레기 청소 대작전

우주에는 수만 개의 쓰레기 (파편) 가 떠다니고 있습니다. 이걸 치우지 않으면 우주선들이 부딪혀 더 많은 쓰레기가 생기는 'Kessler 증후군'이라는 재앙이 올 수 있어요. 그래서 우리는 **한 대의 우주선 (청소부)**을 보내서 여러 개의 쓰레기를 한 번에 찾아서 치워야 합니다.

하지만 여기서 문제는 연료와 시간입니다. 우주선은 연료가 한정되어 있고, 모든 쓰레기를 다 치우려면 너무 오래 걸릴 수 있죠. 그래서 **"어떤 순서로 쓰레기를 치우면 가장 많은 쓰레기를, 가장 적은 연료로 치울 수 있을까?"**를 찾는 것이 이 연구의 목표입니다.

🧩 세 가지 청소부 전략 비교

연구진은 이 문제를 해결하기 위해 세 가지 다른 '두뇌'를 가진 청소부들을 시험해 봤습니다.

1. 순간 판단형 (Greedy Heuristic)

• 비유: "가장 가까운 빵집부터 가자!"
• 설명: 이 청소부는 지금 내 바로 옆에 있는 쓰레기부터 찾습니다. 계산이 빠르고 간단하지만, "저기 저 쓰레기는 연료 아껴서 나중에 치울 수 있는데?" 같은长远적인 생각은 하지 못합니다.
• 결과: 연료를 아껴서 먼 곳까지 갈 수 있지만, 전체적으로 치우는 쓰레기 수는 가장 적었습니다. (단순히 눈앞의 것만 챙김)

2. 미리 시뮬레이션형 (MCTS - 몬테카를로 트리 탐색)

• 비유: "내일 날씨를 예측해서 100 가지 시나리오를 다 그려본다."
• 설명: 이 청소부는 "A 를 먼저 치우면 B 는 어떨까? C 는 어떨까?"라고 미래의 상황을 수천 번 시뮬레이션합니다. 그래서 가장 완벽한 경로를 찾습니다.
• 결과: 치우는 쓰레기 수는 꽤 많았지만, 계산하는 데 시간이 너무 오래 걸려서 (수천 초) 실제로 우주선에 탑재하기엔 너무 느렸습니다.

3. 학습형 AI (Masked PPO - 딥러닝)

• 비유: "수천 번의 실수를 통해 '요령'을 터득한 베테랑 청소부."
• 설명: 이 청소부는 처음엔 실수하지만, 수많은 시뮬레이션 (훈련) 을 통해 "어떤 순서로 가면 연료도 아끼고 시간도 절약되더라"는 **직관 (요령)**을 배웁니다. 특히 '마스크 (Masked)' 기능을 통해 이미 치운 쓰레기는 다시 선택하지 못하게 막아주어 실수를 줄였습니다.
• 결과: 가장 빠르고, 가장 많은 쓰레기를 치웠습니다. 계산 속도는 '순간 판단형'처럼 빠르면서, '미리 시뮬레이션형'처럼 똑똑한 결과를 냈습니다.

🌟 이 연구의 특별한 기술들 (우주 청소의 요령)

이 AI 가 어떻게 그렇게 잘했는지, 우주 청소의 구체적인 기술도 소개합니다.

1. 동일 궤도 이동 (Co-elliptic Transfers):
   • 쓰레기 하나하나마다 매번 완전히 다른 궤도로 날아다니면 연료가 너무 많이 듭니다. 대신, **중간 궤도 (안전 타원)**를 만들어서 쓰레기들이 모여 있는 '거리'를 따라 천천히 이동하며 쓰레기를 하나씩 줍는 방식입니다. 마치 버스가 정류장을 하나씩 들르면서 승객을 태우는 것과 비슷합니다.
2. 안전 접근 (Safety Ellipse):
   • 쓰레기에 너무 가까이 다가가면 부딪힐 위험이 있습니다. 그래서 마지막 순간에는 타원형 궤도를 그리며 천천히, 안전하게 접근합니다.
3. 연료 보급 (Refueling):
   • 연료가 떨어지면 다시 **연료 주유소 (우주 기지)**로 돌아가서 연료를 채웁니다. 하지만 주유소까지 가는 시간도 비용이므로, AI 는 "언제 주유를 하고 언제 계속 청소할지"를 스스로 판단합니다.

🏆 결론: 왜 이 연구가 중요한가요?

이 논문은 **"인공지능 (딥러닝)"**이 우주 쓰레기 청소 같은 복잡한 임무에서 기존 방법들보다 훨씬 빠르고 똑똑하게 일할 수 있음을 증명했습니다.

• 기존 방법: 너무 느리거나 (MCTS), 너무 단순해서 (Greedy) 비효율적임.
• 새로운 방법 (AI): 빠르고, 똑똑하며, 안전함.

미래에는 이 기술을 이용해 실제 우주선에 탑재하여, 사람이 개입하지 않아도 스스로 우주 쓰레기를 찾아서 치우는 완전 자동화된 우주 청소 시스템을 만들 수 있을 것입니다. 마치 우리가 스마트폰의 내비게이션이 교통 체증을 피해서 최적의 길을 찾아주듯, 우주선도 스스로 최적의 청소 경로를 찾아갈 날이 온다는 뜻입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 저지궤도 (LEO) 에 축적된 우주 쓰레기의 급증은 '케슬러 증후군 (Kessler Syndrome)'과 같은 연쇄 충돌 위험을 초래하여 우주 활동의 지속 가능성을 위협하고 있습니다.
• 목표: 자율 우주선 (Chaser) 이 제한된 연료 (∆V) 와 시간 제약 내에서 다수의 우주 쓰레기 (Debris) 를 순차적으로 방문하여 제거 (ADR, Active Debris Removal) 하는 임무 계획 수립.
• 핵심 과제:
  • 복잡한 궤도 역학 (궤도 경사각 변화, 위상 조정 등) 을 고려한 효율적인 이동 경로 최적화.
  • 연료 부족 시 연료 보급 스테이션으로의 복귀 및 재보급 로직 통합.
  • 안전 구역 (Keep-out zones) 및 충돌 회피를 위한 정밀 접근 (Terminal approach) 보장.
  • 기존 휴리스틱 방법의 한계 (단기적 최적화, 복잡한 제약 조건 반영 부재) 를 극복하고 확장 가능한 계획 알고리즘 개발.

2. 방법론 (Methodology)

2.1 통합 궤도 기동 프레임워크 (Unified Co-Elliptic Maneuver Framework)

논문은 실제 임무 환경을 반영하기 위해 다음과 같은 기동들을 통합한 모델을 제시합니다.

• 호만 전이 (Hohmann Transfer): 두 궤도 간의 최소 에너지 전이.
• 공타원 전이 (Co-elliptic Transfer): 목표물과 공통의 근일점 또는 원일점을 공유하는 중간 궤도를 사용하여 위상 (Phasing) 을 조정. 이는 여러 쓰레기를 연속적으로 방문할 때 ∆V 와 시간을 절감하는 데 핵심적입니다.
  • 1 단계: 차저 (Chaser) 가 목표물 고도의 75% 까지 전이.
  • 2 단계: 1km 이내로 접근 후 원형 궤도 진입.
• 안전 타원 기동 (Safety Ellipse Maneuver): Barbee 등 (2011) 의 제안에 따라, 최종 접근 단계에서 비협조적 목표물 (쓰레기) 에 대한 충돌 위험을 줄이기 위해 제어된 타원 궤도를 따라 접근.
• 연료 보급 로직 (Refueling Logic): ∆V 예산이 소진되거나 임무 효율을 높이기 위해 연료 보급 스테이션 (700km 고도) 으로 복귀하여 연료를 재충전하는 메커니즘을 명시적으로 모델링.

2.2 비교 대상 알고리즘

세 가지 다른 계획 알고리즘을 동일한 환경에서 비교 평가했습니다.

1. Greedy Heuristic (탐욕 알고리즘): 현재 상태에서 즉시 비용 (∆V + 시간) 이 가장 적은 미방문 쓰레기를 선택. 장기적 관점이 부족함.
2. Monte Carlo Tree Search (MCTS): 미래 시나리오를 시뮬레이션하여 누적 보상을 최적화하는 탐색 기반 알고리즘. UCB (Upper Confidence Bound) 공식을 사용.
3. Deep Reinforcement Learning (Masked PPO):
   • 알고리즘: Proximal Policy Optimization (PPO) 기반의 Masked PPO 사용.
   • Action Masking: 이미 방문한 쓰레기를 행동 공간에서 제외하여 비현실적인 행동을 방지.
   • 상태 공간 (Observation): 방문 이력, 잔여 ∆V, 잔여 시간, 현재 궤도 요소 (6 개), 모든 쓰레기의 궤도 요소.
   • 보상 함수: 성공적인 방문 (+1), 연료 보급/우회 (0), 조기 종료/위반 (-1).

2.3 실험 환경

• 시나리오: 700km 고도 원궤도에서 시작, 50 개의 무작위 분포된 쓰레기 (700~800km 고도, 다양한 경사각) 생성.
• 제약 조건: 최대 ∆V 3km/s, 최대 임무 기간 7 일.
• 평가 지표: 방문한 쓰레기 수, 계산 소요 시간.

3. 주요 기여 (Key Contributions)

1. 통합 기동 프레임워크: Hohmann 전이, 공타원 기동, 안전 타원 접근, 그리고 명시적인 연료 보급 로직을 하나의 일관된 시뮬레이션 환경에 통합하여 실제 ADR 임무에 더 가까운 모델을 구축.
2. Masked PPO 의 적용: 복잡한 궤도 역학 환경에서 방문 가능한 행동만 선택하도록 유도하는 'Action Masking'을 적용한 심층 강화학습 에이전트 개발.
3. 종합적 벤치마킹: 전통적인 휴리스틱 (Greedy) 과 고급 탐색 알고리즘 (MCTS) 을 포함하여 RL 에이전트의 성능을 정량적으로 검증.

4. 실험 결과 (Results)

100 개의 무작위 테스트 시나리오를 통해 다음과 같은 결과를 도출했습니다.

• 임무 효율성 (방문한 쓰레기 수):
  • Greedy: 평균 15~18 개 (단기적 최적화로 인해 도달 가능한 쓰레기들을 놓침).
  • MCTS: 평균 25~29 개 (미래 시뮬레이션으로 성능 향상).
  • Masked PPO: 평균 29~32 개 (가장 우수). RL 에이전트는 무작위 쓰레기 분포에 대한 일반화 능력과 장기적 보상 극대화 전략을 통해 Greedy 보다 최대 2 배 가까이 많은 쓰레기를 방문함.
• 계산 시간 (Computational Time):
  • Greedy & Masked PPO: 매우 빠름 (평균 1~2 초). 실시간 임무 계획에 적합.
  • MCTS: 매우 느림 (1,000~10,000 초). 광범위한 트리 확장과 롤아웃으로 인해 실시간 적용에 부적합.
• 종합 평가: Masked PPO 는 MCTS 와 유사하거나 더 나은 해결책 품질을 유지하면서, Greedy 와 유사한 빠른 계산 속도를 제공하여 해결책의 질과 계산 효율성 간의 최적 균형을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 기존 탐색 기반 알고리즘 (MCTS) 의 높은 계산 비용 문제를 해결하면서도, 단순 휴리스틱 (Greedy) 의 단점을 보완하는 RL 기반 접근법의 우수성을 입증.
• 확장성: 고차원적이고 불확실성이 큰 우주 환경에서 자율적인 의사결정을 위한 확장 가능한 프레임워크를 제시.
• 미래 전망: 본 연구는 차세대 ADR 임무의 자율성 향상에 중요한 발판을 마련하며, 향후 더 정교한 역학 모델 (J2 섭동 등) 통합 및 온보드 (On-board) 검증으로 이어질 수 있음을 시사함.

결론적으로, 이 논문은 Masked PPO를 활용한 심층 강화학습이 복잡한 다중 목표 우주 쓰레기 제거 임무에서 최적의 성능과 효율성을 동시에 달성할 수 있는 유망한 해법임을 입증했습니다.