TinyML Enhances CubeSat Mission Capabilities

1. 연구 배경 및 문제 정의 (Problem)

• 전통적 Earth Observation (EO) 의 한계: 기존 지구 관측 임무는 위성에서 원시 데이터를 지상국으로 전송한 후, 지상에서 대규모 컴퓨팅 자원을 이용해 분석하는 방식을 취합니다.
• CubeSat 의 제약 조건: 큐브위성 (10x10x10 cm 단위) 은 크기, 무게, 전력 (2~8W), 그리고 통신 대역폭 (지상국 통과 시간 단 10 분 내외, 데이터 전송량 제한) 에 극심한 제약을 받습니다.
• 핵심 문제: 모든 데이터를 지상으로 전송하는 것은 대역폭 부족과 지연 시간으로 인해 비현실적입니다. 또한, 기존 최첨단 딥러닝 모델은 큐브위성 탑재 컴퓨터 (보통 16~64MB 메모리) 의 제한된 자원으로는 실행이 불가능합니다.
• 해결 방향: "데이터를 지상으로 보내는 것"이 아니라 "계산을 데이터가 있는 곳 (위성 onboard) 으로 가져오는 것" 으로 패러다임을 전환해야 합니다. 즉, 위성 내에서 실시간으로 이미지를 분류하고 불필요한 데이터를 필터링하여 하향 링크 (Downlink) 부하를 줄여야 합니다.

2. 제안된 방법론 (Methodology)

이 논문은 STM32N6 마이크로컨트롤러 (MCU) 를 타겟으로 한 TinyML 기반의 ConvNet 최적화 및 배포 파이프라인을 제안합니다. 이 파이프라인은 다음 세 가지 핵심 단계를 통합합니다.

• 구조적 반복 가지치기 (Structured Iterative Pruning):
  • 모델의 중요도가 낮은 필터나 뉴런을 제거하여 모델 크기와 연산량을 줄입니다.
  • 한 번에 공격적으로 제거하는 대신, 3 단계에 걸쳐 점진적으로 가지치기 (10% → 5% → 5%) 하고 각 단계마다 미세 조정 (Fine-tuning) 을 수행하여 성능 저하를 최소화합니다.
• INT8 사후 학습 양자화 (Post-training INT8 Quantization):
  • 부동 소수점 (Float32) 가중치와 활성화를 8 비트 정수 (INT8) 로 변환합니다.
  • 소규모 대표 데이터셋을 사용한 보정 (Calibration) 단계를 거쳐 최적의 스케일 (Scale) 과 영점 (Zero-point) 을 결정하여 메모리 사용량과 계산 비용을 획기적으로 줄입니다.
• 하드웨어 인식 연산자 매핑 (Hardware-aware Operator Mapping):
  • STM32N6 플랫폼의 이종 컴퓨팅 아키텍처 (Arm Cortex-M55 CPU + Neural-ART NPU) 를 활용합니다.
  • ST Edge AI 도구 체인을 사용하여 ONNX 그래프를 분석하고, 합성곱 (Conv2D) 등 NPU 가 최적화한 연산은 NPU 로, 나머지 제어 흐름 연산은 CPU 로 분배합니다.
  • 파이프라인 스케줄링, 버퍼 재사용, 연산자 융합 (Fusion) 등을 통해 지연 시간과 메모리 발자국을 최소화합니다.

3. 실험 설정 및 데이터셋

• 하드웨어: STM32N6570-DK (Arm Cortex-M55, 800MHz, 4.2MB SRAM, Neural-ART NPU 탑재). 이는 큐브위성 온보드 컴퓨터의 현실적인 프로토타입으로 간주됩니다.
• 데이터셋: 3 가지 지구 관측 벤치마크 데이터셋
  • EuroSAT: 64x64 해상도, 토지 피복 분류.
  • RS_C11: 128x128 해상도, 원격 감지 장면 분류.
  • MEDIC: 224x224 해상도, 위험 평가 분석.
• 모델: SqueezeNet, MobileNetV3, EfficientNet, MCUNetV1 (4 가지 모델 평가).

4. 주요 결과 (Key Results)

• 메모리 최적화:
  • RAM 사용량: 최적화 후 평균 89.55% 감소 (예: EfficientNet 의 경우 16.79MB → 0.12MB). 모든 모델이 STM32N6 의 4.2MB SRAM 제한 내에 성공적으로 배포되었습니다.
  • Flash 메모리: 평균 70.09% 감소.
• 정확도 (Accuracy):
  • Float32 기준 모델 대비 정확도 하락은 0.4 ~ 8.6%p 수준으로 제한되었습니다.
  • 특히 MEDIC 데이터셋에서는 가지치기 과정이 정규화 효과를 주어 오히려 정확도가 향상되는 현상도 관찰되었습니다.
• 에너지 및 지연 시간:
  • 에너지 소비: 추론당 0.68mJ ~ 6.45mJ (매우 낮은 전력 소모).
  • 지연 시간: 3.22ms ~ 30.38ms (약 33 FPS ~ 312 FPS). 이는 저궤도 위성 영상 처리의 실시간 요구사항 (5 FPS) 을 충족합니다.
• 통신 효율성 (하향 링크 감소):
  • 온보드 추론을 통해 낮은 신뢰도 (Confidence < 95%) 를 가진 이미지만 지상으로 전송하는 하이브리드 방식을 적용했습니다.
  • EuroSAT 데이터셋 기준, 전체 데이터 전송 대비 85.77% 의 통신 부하 감소를 달성했습니다.
  • 불확실한 데이터만 지상에서 재처리함으로써, 온보드 모델 단독 성능 (90.08%) 보다 높은 시스템 전체 정확도 (95.20%) 를 달성했습니다.

5. 기여 및 의의 (Significance)

• 시스템적 파이프라인 제시: 가지치기, 양자화, 하드웨어 인식 매핑을 결합한 체계적인 TinyML 배포 파이프라인을 "New Space(새로운 우주)" 분야에 처음 적용했습니다.
• 실제 제약 조건 검증: 기존 연구들이 고성능 SoC 나 싱글보드 컴퓨터를 사용한 것과 달리, 실제 큐브위성 수준의 극도로 제한된 자원 (메모리, 전력, 대역폭) 환경에서 모델이 실행 가능함을 입증했습니다.
• 임무 효율성 증대: 위성에서 불필요한 데이터를 선별하여 전송함으로써 통신 비용을 절감하고, 실시간 의사결정 능력을 부여하여 재난 대응 및 정밀 농업 등 다양한 EO 임무의 효율성을 극대화합니다.
• 확장성: 제안된 방법은 이미지 분류를 넘어 시맨틱 세그멘테이션이나 객체 탐지 등 다른 EO 작업으로도 확장 가능함을 시사합니다.

결론적으로, 이 논문은 TinyML 기술을 활용하여 CubeSat 의 물리적 제약을 극복하고, 온보드 지능형 데이터 처리를 통해 지구 관측 임무의 효율성과 자율성을 혁신적으로 향상시킬 수 있음을 입증했습니다.