Learning-Based Planning for Improving Science Return of Earth Observation Satellites

1. 문제 정의 (Problem Definition)

지구 관측 위성은 지질학, 기상학, 기후 과학 등 다양한 분야에서 중요한 과학 데이터를 수집하지만, 다음과 같은 물리적 제약으로 인해 데이터 수집 효율성이 제한됩니다.

• 궤도 제약: 위성은 미리 정해진 궤도 경로에서 쉽게 이탈할 수 없습니다.
• 센서 제약: 센서의 시야각 (Field of View) 이 제한적이며, 센서를 조향하고 작동시키는 데 많은 자원 (전력, 시간) 이 소모됩니다.
• 자원 관리: 위성의 배터리 용량이 한정되어 있어, 모든 지점을 관측할 수 없습니다.

이러한 제약 하에서 **동적 타겟팅 **(Dynamic Targeting) 개념이 도입되었습니다. 이는 위성이 미래 경로를 미리 감지하는 '선행 센서 (Lookahead sensor)'의 데이터를 활용하여, 주 센서 (Primary sensor) 를 지향할 위치를 지능적으로 재구성하는 방식입니다. 기존 연구에서는 탐욕 알고리즘 (Greedy), 국소 탐색, 제약 프로그래밍, 동적 프로그래밍 (DP) 등을 사용했으나, DP 는 미래 상태에 대한 완전한 정보를 가정하므로 실제 임무에는 적용하기 어렵고, 기존 탐욕 알고리즘들은 최적의 과학적 성과를 내지 못했습니다.

이 연구의 핵심 목표는 전력 소모 제약을 고려하면서도 가장 유익한 과학적 데이터를 수집할 수 있도록 동적 타겟팅을 최적화하는 **학습 기반 **(Learning-based) 을 개발하는 것입니다.

2. 방법론 (Methodology)

저자들은 동적 타겟팅 문제를 **마르코프 결정 과정 **(MDP)으로 모델링하고, 이를 해결하기 위해 두 가지 학습 기반 접근법을 제안합니다. 두 방법 모두 동적 프로그래밍 (DP) 의 개념을 기반으로 합니다.

A. 강화 학습 (Reinforcement Learning - Q-Learning)

• 개념: 에이전트가 환경과 상호작용하며 보상을 최대화하는 정책을 학습합니다.
• **상태 **(State) Q-테이블의 크기를 줄이기 위해 이미지 전체를 입력하지 않고, 7 가지 특징 벡터를 사용합니다.
  • 위성 배터리 잔량 (SOC).
  • 주 센서 범위 내 3 가지 구름/강수 유형 (맑음, 중간, 구름/폭풍) 의 유무 (이진 변수).
  • 선행 센서 범위 내 3 가지 구름/강수 유형의 유무 (이진 변수).
• **행동 **(Action) 샘플링을 수행할지 (1) 아니면 하지 않을지 (0) 의 이진 결정. (어디를 관측할지는 주 센서 범위 내 가장 높은 보상 값을 가진 지점을 자동으로 선택하는 방식으로 결정됨)
• 학습 전략: 일반적인 Q-학습은 모든 상태를 탐색하기 어렵다는 한계가 있습니다. 이를 극복하기 위해 DP 의 역방향 탐색 전략을 차용하여, 저장된 훈련 데이터의 마지막 타임스텝부터 역으로 진행하며 모든 SOC 상태와 이미지 조합을 경험하도록 하여 Q-테이블을 효율적으로 학습시켰습니다.

B. 모방 학습 (Imitation Learning - Behavioral Cloning)

• 개념: 전문가 (Expert) 의 행동을 모방하는 지도 학습 방식입니다.
• 전문가: 동적 프로그래밍 (DP) 알고리즘이 생성한 최적의 행동 시퀀스를 '전문가'로 간주합니다.
• 모델: 다층 퍼셉트론 (MLP) 신경망을 사용하여 상태 벡터 (정규화된 특징) 를 입력받아 관측을 수행할 확률을 출력합니다.
• 특징: Q-학습과 달리 상태 공간의 이산화 제약이 없으며, 더 풍부한 상태 정보를 신경망에 입력할 수 있습니다.

3. 실험 설정 (Experiments)

두 가지 시나리오에서 시뮬레이션을 수행하여 알고리즘을 평가했습니다.

1. **구름 회피 **(Cloud Avoidance) MODIS 데이터를 사용하여 지표를 관측할 때 구름을 피하는 시나리오 (보상: 맑음=100, 중간=10, 구름=1).
2. **폭풍 추적 **(Storm Hunting) GPM 데이터를 사용하여 과학적으로 가치 있는 강수 유형을 포착하는 시나리오 (보상: 대류성 핵=100, 비 안vil=10, 무폭풍=1).

비교 대상:

• 무작위 (Random)
• 탐욕 나디르 (Greedy Nadir), 탐욕 측면 (Greedy Lateral), 탐욕 레이다 (Greedy Radar), 탐욕 윈도우 (Greedy Window)
• 동적 프로그래밍 (DP, 최적 상한선 기준)

4. 주요 결과 (Key Results)

A. 데이터 효율성

• 두 학습 방법 모두 소량의 데이터로도 효과적으로 훈련될 수 있음을 확인했습니다.
  • 구름 회피 시나리오: 약 20,000 장의 이미지로 성능이 수렴.
  • 폭풍 추적 시나리오: 약 3,000 장의 이미지로 성능이 수렴.
• 이는 실제 임무에서 제한된 데이터로 모델을 훈련할 수 있음을 시사합니다.

B. 성능 비교 (최적 보상 대비 달성률)

학습 기반 방법이 기존 탐욕 알고리즘 (Greedy Window) 을 크게 능가했습니다.

방법	구름 회피 (Cloud Avoidance)	폭풍 추적 (Storm Hunting)
**Greedy Window **(기존 최선)	87.50%	82.57%
**모방 학습 **(Behavioral Cloning)	95.84%	91.27%
**강화 학습 **(Q-Learning)	98.67%	94.66%
**DP **(최적 상한선)	100.00%	100.00%

• **강화 학습 **(Q-Learning) 평균적으로 기존 최선 방법 (Greedy Window) 보다 13.7% 더 높은 과학적 성과를 거두었습니다.
• **모방 학습 **(Behavioral Cloning) 평균적으로 10.0% 더 높은 성과를 거두었습니다.
• 구체적 행동: 학습 기반 방법들은 보상 가치가 낮은 샘플 (예: 구름, 무폭풍) 을 줄이고, 보상 가치가 높은 샘플 (맑음, 대류성 핵) 을 훨씬 더 빈번하게 선택했습니다. 특히 Q-학습은 전력 소모를 아끼기 위해 저보상 구간에서는 관측을 아예 수행하지 않는 전략을 학습했습니다.

C. 실시간성

• 모든 학습 기반 방법 (DP 제외) 은 마이크로초 단위로 샘플링 계획을 수립할 수 있어, 위성의 실시간 운영 (초당 1 회 샘플링) 에 충분히 적합합니다.

5. 기여 및 의의 (Contributions & Significance)

1. 학습 기반 동적 타겟팅의 유효성 입증: 기존 탐욕 알고리즘보다 훨씬 높은 과학적 데이터 수집 효율을 달성하여, 위성의 제한된 자원으로 최대의 과학적 가치를 창출할 수 있음을 증명했습니다.
2. 소량 데이터 학습 가능성: 실제 위성 임무에서 수집 가능한 제한된 데이터 양으로도 고성능 모델을 훈련할 수 있음을 보여주었습니다.
3. 실용적인 아키텍처 제안:
   • Q-학습: 미래 상태의 보상을 고려하여 장기적인 관점에서 최적의 결정을 내립니다.
   • 모방 학습: DP 의 최적 정책을 신경망으로 근사화하여, 온보드 (On-board) 에서 실시간 추론이 가능하도록 합니다.
4. 미래 임무 적용 가능성: 이 연구는 SMICES(Smart Ice Cloud Sensing) 와 같은 차세대 소형 위성 및 자율성 위성에 적용될 수 있는 기반을 마련했습니다.

6. 결론 및 향후 과제

이 논문은 강화 학습과 모방 학습을 활용하여 지구 관측 위성의 과학적 성과를 극대화하는 새로운 동적 타겟팅 전략을 제시했습니다. 시뮬레이션 결과, 두 방법 모두 기존 방법론을 압도하는 성능을 보였습니다.

향후 연구 방향:

• 더 현실적인 위성 제약 조건 (센서 이동 시간, 전력 소모 등) 과 복잡한 보상 모델 반영.
• 수동으로 설계된 상태 벡터 대신 **원본 이미지 **(Full Images)를 입력으로 사용하는 딥러닝 모델 (DQN, PPO 등) 적용.
• 실제 위성 플랫폼 (특히 딥러닝을 지원하는 flight processor 가 탑재된 플랫폼) 에 알고리즘을 배포하고 검증.

이 연구는 인공지능 기술이 우주 탐사 및 지구 관측 임무의 효율성을 혁신적으로 높일 수 있음을 보여주는 중요한 사례입니다.