Optimizing Mission Planning for Multi-Debris Rendezvous Using Reinforcement Learning with Refueling and Adaptive Collision Avoidance

본 연구는 다중 파편 능동 제거 임무를 수행하는 소형 위성을 위해 연료 효율적이고 적응적인 충돌 회피 및 재충전 전략을 최적화하는 마스크드 근사 정책 최 optimization(PPO) 강화 학습 프레임워크를 제안하며, 복잡한 궤도 환경에서 전통적인 휴리스틱 방식보다 우수한 성능을 입증한다.

핵심

지구의 궤도를 우주의 분주하고 혼란스러운 고속도로라고 상상해 보십시오. 수년에 걸쳐 수천 개의 오래된 인공위성과 금속 파편들(우주 쓰레기)이 쌓여 위험한 교통 정체를 만들어냈습니다. 만약 위성이 이 쓰레기와 충돌하면 더 많은 파편을 생성하게 되고, 이는 수십 년 동안 우주 여행을 불가능하게 만들 수 있는 연쇄 반응으로 이어질 수 있습니다. 이를 "케슬러 신드롬(Kessler Syndrome)"이라고 부릅니다.

이를 해결하기 위해 우리는 "능동적 파편 제거(Active Debris Removal, ADR)" 임무가 필요합니다. 이것을 이 공간의 쓰레기들을 붙잡아 길 밖으로 끌어내는 우주 견인차라고 생각하십시오. 하지만 문제는 고속도로는 빠르게 움직이고, 교통 상황은 예측 불가능하며, 견인차의 연료 탱크는 제한되어 있다는 점입니다.

이 논문은 이러한 임무를 계획하기 위한 새로운 방법인 **강화 학습(Reinforcement Learning, RL)**이라는 "스마트한 두뇌"를 제시합니다. 기존의 경직된 규칙 대신, 연구진은 컴퓨터 에이전트가 마치 비디오 게임 캐릭터가 레벨을 깨는 법을 배우는 것처럼 시행착오를 통해 이 우주 견인차를 운전하는 법을 배우도록 가르쳤습니다.

이 시스템이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하면 다음과 같습니다.

1. "스마트 드라이버" (AI 에이전트)

연구진은 미션 플래너 역할을 하는 디지털 에이전트를 만들었습니다. 이 에이전트는 미리 작성된 지도를 따르는 대신, 수백만 번의 게임을 플레이하며 학습합니다.

• 목표: 연료나 시간이 다 떨어지기 전에 가능한 한 많은 쓰레기 조각을 방문하는 것입니다.
• 도전 과제: "교통량"(다른 파편들)이 경로에 갑자기 나타나 위험 구역을 만들 수 있습니다. 에이전트는 "직진할 것인가, 우회할 것인가, 아니면 연료를 채우기 위해 멈출 것인가?"를 결정해야 합니다.

2. 세 가지 주요 동작

에이전트는 세 가지 유형의 결정을 내려야 하며, 이 모든 것을 동시에 수행합니다.

• 다음 목표 선정: 다음에 방문할 쓰레기 조각은 무엇인가? 에이 에이전트는 역행하지 않고 가장 효율적인 순서로 방문하는 법을 배웁니다. 이는 택배 기사가 물건을 되돌아가지 않고 가장 좋은 경로를 찾아내는 것과 비슷합니다.
• 연료 보급: 견인차는 영원히 갈 수 없습니다. 에이전트는 "주유소"(연료 보급 지점)에 들를 수 있다는 것을 배웠지만, 반드시 적어도 하나의 쓰레기 조각을 성공적으로 수거한 이후에만 가능합니다. 에이전트는 연료를 채우기 위해 멈추는 것(시간이 소요됨)과 연료가 바닥날 위험 사이에서 균형을 잡는 법을 배웠습니다.
• 위험 회피: 때때로 새로운 쓰레기 조각이 경로 바로 앞에 나타납니다. 에이전트는 즉시 "회피 기동"을 수행하도록 학습되었습니다. 에이전트는 안전 거리 5km를 유지하면서, 위험 구역을 피하기 위해 고속도로에서 차선을 변경하듯 약간 높거나 낮게 방향을 틀 수 있습니다.

3. "마스크 처리된" 두뇌 (The "Masked" Brain)

이 논문에서 사용된 영리한 기술 중 하나는 "마스크(Masked)" 알고리즘입니다.
당신이 게임을 하고 있는데, 오직 불이 들어온 버튼만 선택할 수 있다고 상상해 보십시오. 만약 어떤 버튼이 고장 났거나 불법적인 동작이라면, 그 버튼은 꺼져 있을 것입니다.

• 이 시스템에서 AI는 불법적인 움직임을 할 수 없도록 "마스크" 처리가 되어 있습니다. AI는 이미 수거한 쓰레기를 다시 방문하거나, 허용되지 않은 시점에 연료를 보급하려고 시도하는 등의 잘못된 선택을 물리적으로 할 수 없습니다. 이는 AI가 나쁜 습관을 배우느라 시간을 낭비하는 것을 방지하고 더 빠르게 학습하도록 돕습니다.

4. 결과: 성과는 어떠했는가?

연구진은 이 "스마트 드라이버"를 기존의 더 단순한 방식(예: 앞날을 생각하지 않고 가장 가까운 쓰레기를 집어 드는 로봇)과 비교 테스트했습니다.

• 기존 방식: 단순한 로봇들은 미래를 계획하지 못했기 때문에 교통 체증에 갇히거나, 연료가 바닥나거나, 충돌 사고를 일으키곤 했습니다.
• 새로운 방식: 강화 학습 에이전트는 훨씬 뛰어났습니다. 더 많은 쓰레기를 방문했고, 충돌을 더 자주 피했으며, 연료를 훨씬 효율적으로 관리했습니다. 또한 새로운 위험이 나타났을 때 경로를 즉각적으로 변경하는 유연성을 배웠습니다.

핵심 요약

이 논문은 우리가 기존의 경직된 규칙보다 컴퓨터를 더 나은 우주 교통 관리자로 가르칠 수 있음을 보여줍니다. AI가 연습을 통해 학습하게 함으로써, 우리는 더 안전하고 효율적으로 우주 쓰레기를 청소할 수 있는 민첩한 소형 위성을 보낼 수 있습니다.

이 논문이 주장하지 않는 것:

• 이 기술이 내일 당장 실제 위성에 탑재되어 비행한다는 것이 아닙니다.
• 이 기술이 즉시 모든 우주 문제를 해결할 것이라고 주장하지 않습니다.
• 이 연구는 엄격하게 컴퓨터 시뮬레이션 내에서의 계획과 시뮬레이션에 집중하며, 이 "스마트한 두뇌" 접근 방식이 전통적인 수학 기반 계획보다 더 효과적임을 증명하는 데 목적이 있습니다.

요컨대, 저자들은 AI가 숙련된 우주 청소부가 될 수 있는 가상 훈련장을 구축했으며, 그것이 기존의 방식보다 훨씬 더 똑똑하다는 것을 입증했습니다.

기술 요약

기술 요약: 강화 학습을 이용한 다중 파편 랑데부 미션 계획 최적화

1. 문제 정의

본 논문은 저궤도(LEO) 내 등록된 물체의 밀도 증가와 센티미터 미만 크기의 파편들로 인해 발생하는 궤도 내 충돌 위험에 대응하기 위한 **능동적 파편 제거(ADR)**의 핵심 과제를 다룹니다. 구체적인 문제는 수정된 동적 외판원 문제(Dynamic Traveling Salesman Problem, TSP)와 유사한 불확실성 하에서의 순차적 의사결정 문제로 정식화됩니다.

목표는 단일 소형 위성이 엄격한 제약 조건을 준수하면서 여러 파편 목표물과 랑데부하기 위한 최적의 기동 시퀀스를 결정하는 것입니다:

• 제한된 자원: 유한한 연료 및 시간 예산.
• 동적 위험 요소: 전이(transfer) 중에 나타날 수 있는 확률적 충돌 위험(직육면체 형태의 위험 구역으로 모델링됨).
• 운용 복잡성: 미션 수명을 연장하지만 비용이 발생하는 연료 보급 전략과 적응형 충돌 회피(궤적 재계획 필요)를 통합해야 하는 필요성.

브루트 포스(Brute-force) 열거법이나 탐욕적 휴리스틱(Greedy heuristics)과 같은 전통적인 접근 방식은 불충분한 것으로 간주됩니다. 브루트 포스 방식은 복잡한 미션에 대해 계산적으로 불가능하며, 탐욕적 휴리스틱은 미래의 제약 조건이나 동적 충돌 위험을 예측하지 못해 차선책(suboptimal)을 내놓는 경우가 많습니다.

2. 방법론

저자들은 마스크드 근사 정책 최적화(Masked Proximal Policy Optimization, PPO) 알고리즘을 사용하는 강화 학습(RL) 프레임워크를 제안합니다. 이 문제는 마르코프 결정 과정(MDP)으로 모델링됩니다.

A. 상태 및 행동 공간

• 상태 표현 ($s_t$): 우주선의 위치, 속도, 정규화된 연료 레벨; 방문 여부를 나타내는 이진 마스크; 모든 파편 목표물의 상대적 케플러 요소; 연료 보급소까지의 거리; 연료 보급 적격 플래그; 충돌 위험 근접 벡터를 포함합니다.
• 행동 공간 ($A$): 다음과 같은 이진 마스크드(masked) 행동 공간을 가집니다:
  • 랑데부(Rendezvous): 현재 위험 구역 밖에 있는 미방문 파편 목표물($d_j$)을 선택.
  • 연료 보급(Refueling): (최소 하나 이상의 파편을 방문한 경우에만 허용되는) 연료 보급 행동 수행.
  • 충돌 회피(Collision Avoidance, CA): 계획된 전이 궤적이 확률적으로 발생한 위험 구역을 통과할 경우, "CA 상단(Above)" 또는 "CA 하단(Below)" 기동을 선택.

B. 핵심 알고리즘: Masked PPO

프레임워크는 연속 제어 영역에서의 안정성을 위해 PPO를 채용합니다. 주요 혁신은 **무효 행동 마스킹(invalid action masking)**의 적용입니다. 소프트맥스(softmax) 레이어 이전에, 무효한 행동(예: 이미 방문한 파편을 다시 방문하거나, 자격 없이 연료 보급을 시도하는 경우)에 대한 로짓(logits) 값을 $-\infty$로 설정합니다. 이는 각 타임스텝에서 행동 공간을 동적으로 제한하여, 에이전트가 현재 미션 상태에 따라 실행 가능한 행동만을 고려하도록 보장합니다.

C. 시뮬레이션 환경

• 역학(Dynamics): 연료 효율적인 랑데부를 위한 호만 전이(Hohmann transfer) 궤적과 충돌 회피를 위한 패치드 코닉(patched-conic) 근사법을 사용합니다.
• 충돌 모델링: 목표물을 선택할 때 33%의 확률로 위험 구역(5×5×5 km)이 트리거됩니다. 궤적이 해당 구역을 통과하면, 에이전트는 5 km의 이격 거리를 유지하며 타원형 우회 경로("CA 상단" 또는 "CA 하단")를 사용하여 재계획해야 합니다.
• 연료 보급 로직: 에이전트는 최소 하나 이상의 파편을 방문한 후에만 연료를 보급할 수 있습니다. 조기 연료 보급은 페널티를 받습니다.
• 학습: 에이전트는 분산 샘집(distributed sampling)과 엔트로피 정규화를 사용하여 Stable-Baselines3를 통해 1,000만 단계(steps) 동안 학습됩니다. 시나리오는 Iridium 33 파편 데이터셋에서 추출되었습니다.

D. 보상 함수

에이전트는 다음으로 정의된 장기 누적 보상을 최대화합니다:
$$r_t = \delta_{visit} - C_t - T_{penalty}$$
여기서 $\delta_{visit}$은 새로운 파편 방문에 대한 보상, $C_t$는 충돌에 대한 페널티, $T_{penalty}$는 연료 또는 시간 고갈에 대한 페널티입니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

1. 적응형 충돌 회피: 에이전트가 최소 5 km의 이격 거리를 두는 우회 기동을 통해 재계획하도록 강제하는, 확률적으로 트리거되는 입방체 형태의 위험 구역 구현.
2. 통합 연료 보급 로직: 미션 수명을 연장하지만 조기 사용 시 페널티를 받는 학습 가능한 의사결정 체크포인트로서 연료 보급을 삽입.
3. 연료 효율적 전이: 궤적 생성을 위한 호만 기동 및 타원 기반 회피 궤적 활용.
4. 맞춤형 보상 형성(Reward Shaping): 미션 효율성, 안전성 및 완전한 파편 커버리지 사이의 균형을 맞추는 보상 구조.

4. 결과 및 평가

프레임워크는 100개의 고유한 테스트 케이스에 대해 네 가지 별도의 계획 모드를 대상으로 평가되었습니다:

1. RL-RL: RL이 시퀀싱과 충돌 회피를 모두 처리.
2. RL-Greedy: RL이 시퀀싱을 처리하고, 결정론적 탐욕 플래너가 회피를 처리.
3. Greedy-RL: 탐욕적 휴리스틱이 시퀀싱을 처리하고, RL이 회피를 처리.
4. Greedy-Greedy: 시퀀싱과 회피 모두 휴리스틱이 처리.

주요 결과:

• 성능: RL-RL 구성이 (테스트 케이스 기준) 미션당 평균 약 30.4개의 파편 커버리지를 달성하여, 하이브리드 및 탐욕적 베이스라인(19.3 ~ 29.5 범위)보다 높은 성능을 보였습니다.
• 강건성: RL 에이전트는 동적 위험 요소에 적응하는 능력을 입증했습니다. 사례 연구에서 에이전트는 충돌 위험이 트리거되었을 때 경로를 성공적으로 재계획하여 제약 조건 내에서 미션을 완수했습니다.
• 수렴성: 학습 과정에서 초기 1~2백만 단계에서 급격한 보상 상승을 보였으며, 8백만 단계 이후 안정화되어 정책 수렴을 나타냈습니다.
• 비교: 시퀀싱에 탐욕적 휴리스틱을 사용하는 하이브리드 전략은 미래의 제약 조건을 예측하지 못해 성능이 떨어졌습니다. 반면, 회피를 위해서만 RL을 사용하는 경우(Greedy-RL) 전체적인 RL 성능에 미치지 못했는데, 이는 방문 시퀀스를 전역적으로 학습하는 것의 중요성을 강조합니다.

5. 의의 및 주장

본 논문은 이 연구가 여러 파편을 대상으로 하는 복잡한 ADR 미션 계획을 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다.

• 휴리스틱을 넘어서: 본 연구는 RL 기반 의사결정이 안전 준수 및 미션 완수(파편 커버리지) 측면에서 전통적인 휴리스틱 접근 방식보다 우수함을 입증합니다.
• 일반화 가능성: ADR에 초점을 맞추고 있으나, 저자들은 이 프레임워크가 궤도 내 서비스(on-orbit servicing), 협력적 검사, 소행성 샘플 귀환 캠페인과 같은 다른 다중 목표 랑데부 시나리오에도 폭넓게 적용될 수 있다고 명시합니다.
• 자율성: 본 연구는 RL이 실시간으로 자원 제약 및 확률적 환경 위험을 처리할 수 있는 차세대 자율 우주 운용을 위한 유효한 방법임을 검증합니다.

저자들은 방문 시퀀스, 연료 보급 로직, 충돌 회피를 공동으로 학습할 수 있는 이 프레임워크의 능력이 점점 더 혼잡해지는 궤도 환경에서 미래 미션을 위한 강력한 도구가 될 것이라고 결론짓습니다.