Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

이 논문은 능동적 파편 제거를 위한 세 가지 미션 계획 접근 방식을 평가하며, 도메인 무작위화 강화 학습이 속도와 적응성 사이의 견고한 균형을 제공하는 반면, 몬테카를로 트리 탐색은 상당한 계산 시간의 비용을 치르고 우수한 제약 조건 처리 능력을 제공한다는 점을 입증함으로써, 학습된 정책의 효율성과 탐색 기반 유연성 사이의 결정적인 트레이드오프를 강조한다.

핵심

당신이 우주 공간의 쓰레기(우주 파편)를 치우는 임무를 맡은 우주선의 선장이라고 상상해 보세요. 당신에게는 제한된 양의 연료(가스 탱크와 같은)와 엄격한 마감 기한(통금 시간과 같은)이 있습니다. 당신의 임무는 가능한 많은 쓰레기를 방문하고, 필요하다면 연료를 채우기 위해 주유소에 들렀다가, 제시간에 돌아오는 것입니다.

이 논문은 최적의 경로를 찾아내기 위해 경쟁하는 세 가지 서로 다른 "두뇌" 사이의 경주에 관한 것입니다. 연구진은 규칙이 그대로 유지될 때 각 두뇌가 얼마나 잘 작동하는지, 그리고 규칙이 갑자기 변할 때(예: 예상보다 연료가 빨리 떨어지거나 시간이 줄어드는 경우) 이를 어떻게 처리하는지를 테스트했습니다.

다음은 세 명의 경쟁자를 간단한 비유를 사용하여 비교한 결과입니다.

세 명의 경쟁자

1. "전문가" (Nominal PPO)

• 정체: 이 로봇은 오직 하나의 완벽한 시나리오를 위해 훈련되었습니다. 이는 특정 연습 시험의 답을 통째로 외운 학생과 같습니다.
• 작동 방식: 표준 미션(7일, 연료 가득)에 대한 정확한 최적의 움직임을 알 때까지 시행착오를 거치며 학습합니다.
• 함정: 매우 빠릅니다. 눈 깜짝할 사이에 결정을 내립니다. 하지만 시험 문제(예: "이제 연료가 절반뿐이야")가 바뀌면 패닉에 빠집니다. 외워둔 똑같은 움직임을 사용하려다 보니 연료가 바닥나고 처참하게 실패합니다. 계획대로 진행될 때는 매우 훌륭하지만, 상황이 나빠지면 매우 취약합니다.

2. "범용가" (Domain-Randomized PPO)

• 정체: 이 로봇은 많은 다양한 시나리오를 통해 훈련되었습니다. 이는 단순히 한 번의 시험을 외운 것이 아니라, 매일 무작위 연료량과 무작위 시간 제한을 가지고 연습한 학생과 같습니다.
• 작동 방식: 유연함을 배웠습니다. 연료가 많을 때는 공격적으로 행동하고, 연료가 적을 때는 보수적으로 행동하는 법을 압니다.
• 함정: (전문가와 마찬가지로) 여전히 매우 빠릅니다. 규칙이 변할 때 전문가보다 훨씬 더 잘 적응합니다. 완벽한 시나리오에서 전문가만큼 완벽하게 수행하지는 못할 수도 있지만, 상황이 어려워졌다고 해서 무너지지는 않습니다. 좋은 절충안입니다.

3. "계산기" (MCTS)

• 정체: 이것은 미리 훈련된 로봇이 아닙니다. 단 하나의 움직임을 하기 전에 모든 가능한 미래를 생각하는 슈퍼컴퓨터입니다. 이는 체스 그랜드마스터가 말을 움직이기 전 머릿속으로 200가지의 다른 게임을 시뮬레이션하는 것과 같습니다.
• 작동 방식: 매 단계마다 "내가 여기로 가면 다음에 어떤 일이 일어날까? 저기로 가면 그다음엔 어떻게 될까?"라고 묻습니다. 현재 상황에 따라 끊임없이 계획을 다시 세웁니다.
• 함정: 놀라운 상황을 처리하는 데 가장 똑똑합니다. 연료가 절반으로 줄어들면, 즉시 최적의 경로를 재계산하여 임무를 완수합니다. 하지만 느립니다. 다른 두 모델이 1초도 안 되어 결정을 내리는 동안, 이 모델은 단 하나의 움직임을 결정하는 데 4분 이상 걸립니다. 실제 우주선에서의 비상 상황에서 방향을 틀기 위해 4분을 기다리는 것은 너무 길 수도 있습니다.

경주 결과

연구진은 다양한 조건 하에서 누가 승리하는지 확인하기 위해 300번의 테스트를 실시했습니다.

• "완벽한 날" 테스트 (정상 연료 및 시간):
  전문가가 아주 근소한 차이로 승리했습니다. 경로를 완벽하게 알고 있었습니다. 범용가는 거의 대등한 수준이었고, 계산기는 약간 뒤처졌지만 여전히 훌륭한 성과를 냈습니다.

• "시간 부족" 테스트 (7일 대신 3일):
  시계가 더 빠르게 돌아갔기 때문에 모두가 고전했습니다. 범용가가 가장 잘 적응하여 가장 많은 쓰레기를 치웠습니다. 전문가는 혼란에 빠져 더 적은 양을 치웠습니다. 계산기는 잘 해냈지만 범용가보다 반응이 다소 느렸습니다.

• "연료 부족" 테스트 (연료 1/3 수준):
  이것은 큰 충격이었습니다. 전문가는 처참하게 무너졌습니다. 평소의 경로를 따르려다 즉시 연료가 바닥났고, 쓰레기는 거의 치우지 못했습니다. 범용가는 훨씬 더 잘 해내어 전문가보다 두 배 이상의 쓰레기를 치웠지만, 여전히 계산기를 이기지는 못했습니다. 계산기가 명백한 승자였는데, 연료를 매우 아껴 써야 한다는 것을 즉각 파악하고 실시간으로 계획을 변경했기 때문입니다.

핵심 교훈

이 논문은 속도와 유연성 사이의 트레이드오프(상충 관계)에 대해 결론을 내립니다:

• 규칙이 변하지 않을 것이라고 확신한다면, 전문가를 사용하세요. 빠르고 효율적입니다.
• 규칙이 조금 변할 수도 있다고 생각한다면, 범용가를 사용하세요. 빠르면서도 어느 정도의 놀라움은 처리할 수 있는 스마트한 절충안입니다.
• 규칙이 혼란스럽고 어떤 상황에서도 반드시 최선의 계획이 필요하다면, 계산기를 사용하세요. 하지만 생각하는 데 시간이 오래 걸린다는 점을 명심하십시오.

저자들은 우주 청소의 미래가 이러한 접근 방식들을 혼합하는 데 있다고 제み합니다. 즉, 로봇을 "범용가"(두 번째 로봇)처럼 훈련시켜서 똑똑하고 빠르게 만들되, 상황이 정말 미친 듯이 돌아갈 때 계획을 재점검할 수 있는 "계산기"의 능력을 조금 더 부여하는 방식입니다.

기술 요약

기술 요약: 능동적 파편 제거를 위한 학습 기반 미션 계획의 강건성 및 적응성 평가

문제 정의
저지구 궤도(LEO)에서의 능동적 파편 제거(ADR)는 자율 우주선이 엄격한 운용 제약 조건 하에서 여러 파편 객체와 순차적으로 랑데부하는 것을 요구한다. 핵심 과제는 우주선이 총 미션 시간과 누적 $\Delta v$(연료 예산)에 대한 엄격한 한계를 준수하면서 제거할 파편의 수를 최대화해야 하는 제약된 순차적 의사결정 문제이다. 우주선은 700–800 km 고도 대역에서 운용되며, 공궤도 호만 전이(co-elliptic Hohmann transfers)와 종단 안전 타원 궤도 기동을 활용한다. 주요한 복잡 요소는 배포 조건(예: 감소된 연료 또는 단축된 미션 시간)이 학습된 정책의 매개변수와 다를 때 발생하는 "분포 변화(distributional shift)"의 가능성이다. 이 문제는 미션 중간의 연료 재보급(연료 예산은 초기화되지만 미션 시간은 소비됨) 필요성으로 인해 더욱 복잡해진다.

방법론
저자들은 50개의 무작위 생성 파편 표적이 포함된 고충실도 궤도 시뮬레이션 환경(SpaceDebrisStressTestEnv) 내에서 세 가지 구별된 계획 전략을 평가하고 비교한다. 모든 방법은 실행 가능성 제약(남은 $\Delta v$, 시간, 방문 상태)을 강제하기 위해 액션 마스킹(action masking)을 사용한다.

1. Nominal Masked PPO: 고정된 명목 미션 매개변수(7일 기간, 3 km/s $\Delta v$)로 훈련된 근사 정책 최적화(PPO) 에이전트이다. 두 개의 은닉층(각 256 유닛)을 가진 다층 퍼셉트론(MLP)을 사용하며, 100만 타임스텝 동안 훈련된다.
2. Domain-Randomized Masked PPO: 동일한 PPO 아키텍처를 사용하지만, 미션 매개변수(기간 및 $\Delta v$ 예산)를 각 에피소드 시작 시 무작위화하여 550만 타임스텝 동안 훈련된다. 이 접근 방식은 분포 변화에 대한 강건성을 향상시키는 것을 목표로 한다.
3. Plain Monte Carlo Tree Search (MCTS): 트리 적용 상한 바운스(UCT) 알고리즘을 사용하는 온라인 탐색 기반 베이스라인이다. 결정 단계마다 200회의 시뮬레이션을 수행하며, 롤아웃(rollout)을 위해 균등 무작위 정책을 사용한다. 사전 훈련 없이 매 단계마다 동적으로 재계획을 수행한다.

주요 결과
방법론들은 명목 조건, 연료 감소(1 km/s), 미션 시간 감소(3일)를 포함하는 300개의 케이스(시나리오당 100개)를 통해 테스트되었다.

• 명목 성능(Nominal Performance): 훈련 조건과 일치하는 조건에서, Nominal PPO는 가장 높은 평균 파편 제거 수(29.1개)를 기록하며 Domain-Randomized PPO(28.2)와 MCTS(27.1)를 근소하게 앞질렀다. 두 PPO 변형 모두 1초 미만의 추론 시간을 보여주었다.
• 미션 시간 감소(Reduced Mission Time): 기간이 3일로 단축되었을 때, Domain-Randomized PPO가 가장 우수한 적응성(14.1개)을 보였으며, 이는 Nominal PPO(12.6)와 MCTS(11.9)보다 뛰어난 성능이었다.
• 연료 감소($\Delta v$): 심각한 연료 제약(1 km/s) 하에서, Nominal PPO는 조기 연료 고갈로 인해 평균 3.2개의 파편만을 제거하며 급격히 성능이 저하되었다. Domain-Randomized PPO는 유의미하게 개선되었으나(8.1개), 여전히 MCTS(15.0개)에는 뒤처졌다.
• 계산 비용(Computational Cost): MCTS는 반복적인 환경 복제 및 롤아웃으로 인해 테스트 케이스당 평균 4분 이상의 막대한 계산 페널티를 발생시켰다. 반면, 두 PPO 변형은 에피소드당 1초 미만이 소요되었다.

의의 및 주장
본 논문은 학습된 정책의 속도와 탐색 기반 방법의 적응성 사이에 근본적인 트레이드오프가 존재한다고 상정한다.

• 학습된 정책(Learned Policies): 실시간 온보드 실행에 적합한 빠른 추론을 제공하지만, 배포 조건이 훈련 분포에서 벗어날 경우 취약하다.
• 탐색 기반 방법(MCTS): 온라인 재계획을 통해 변화하는 제약 조건에 대해 우수한 적응성을 제공하지만, 실시간 실행을 하기에는 계산량이 지나치게 많다.
• 도메인 무작위화(Domain Randomization): 본 연구는 다양한 미션 매개변수로 훈련하는 것이 이 간극을 부분적으로 메울 수 있음을 입증한다. 이는 명목 성능의 완만한 손실과 훨씬 더 많은 훈련 단계(5.5M vs 1M)를 필요로 하지만, 명목 정책에 비해 제약 변화에 대해 현저히 개선된 강건성을 가진 정책을 산출한다.

저자들은 현재 단일 방법론이 최적의 속도와 적응성을 모두 제공하지는 못하지만, 훈련 시의 다양성(도메인 무작위화)을 온라인 계획 전략과 결합하는 것이 회복 탄력성이 있는 미래 ADR 시스템을 위한 유망한 경로라고 결론짓는다. 그들은 신경망 정책 예측과 트리 탐색을 혼합하는 방식(예: AlphaZero 또는 MuZero)과 같은 하이브리드 프레임워크가 효율성과 적응성을 모두 달성하기 위한 유효한 방향이 될 수 있다고 제안한다.