1. 문제 정의 (Problem Statement)

• 배경: 지구 관측 (Earth-observation) 작업이 온보드 (onboard) 및 엣지 처리로 이동함에 따라, 위성 이미지 분할 (segmentation) 모델은 엄격한 지연 시간 (latency) 및 에너지 제약 하에서 작동해야 합니다.
• 도전 과제:
  • 원격 감지용 분할 모델은 세밀한 지역 디테일과 광범위한 문맥적 추론을 모두 필요로 하므로 매우 무겁습니다.
  • 최근의 하이브리드 모델 (CNN-Mamba, Transformer 기반 등) 은 정확도는 높지만, 리소스가 제한된 위성 엣지 하드웨어 (예: NVIDIA Jetson Orin Nano) 에 배포하기에는 비용이 너무 큽니다.
  • 기존의 신경 아키텍처 탐색 (NAS) 방법은 수많은 후보 모델을 훈련하고 프로파일링해야 하므로 계산 비용이 매우 높고 비효율적입니다.

2. 제안 방법: SatReg (Methodology)

저자들은 SatReg라는 경량 위성 이미지 분할을 위한 회귀 기반 하드웨어 인식 튜닝 프레임워크를 제안합니다.

• 핵심 아이디어: 전체 아키텍처 공간을 탐색하는 대신, 성능과 하드웨어 비용에 가장 큰 영향을 미치는 두 가지 주요 변수로 탐색 공간을 축소합니다.
  1. 인코더 기본 너비 ($b$): ResNet 스타일 인코더의 채널 차원, MSAA 및 퓨전 모듈, 디코더 외부 채널 너비를 스케일링합니다.
  2. 디코더 병목 너비 ($h$): CSMamba 블록 내의 잠재적 병목 (latent bottleneck) 너비를 정의합니다. 이는 SS2D 연산의 비용과 직접적인 연관이 있습니다.
• 작동 원리:
  1. 데이터 수집: $b$와 $h$의 조합으로 정의된 소수의 학생 모델 (student models) 을 샘플링하여 NVIDIA Jetson Orin Nano 에서 프로파일링합니다 (mIoU, 지연 시간, 전력 측정).
  2. 지식 증류 (Knowledge Distillation): 사전 훈련된 가중치를 직접 재사용할 수 없는 폭이 조정된 모델의 경우, 채널 단위 지식 증류 (CWD) 를 사용하여 교사 모델 (Teacher) 의 성능을 학생 모델에 전이합니다.
  3. 서로게이트 모델링 (Surrogate Modeling): 샘플링된 데이터를 기반으로 2 차 다항식 (지연 시간, 전력) 및 유리형 (rational-form) 회귀 (mIoU) 모델을 학습시킵니다.
     • 지연 시간/전력: $\hat{L}(b,h), \hat{P}(b,h)$
     • 정확도: $\hat{m}(b,h)$
  4. 최적화: 학습된 서로게이트 모델을 사용하여 지연 시간, 전력, mIoU 를 균형 있게 최적화하는 $(b, h)$ 조합을 연속 공간에서 찾습니다. 이후 이를 가장 가까운 유효한 이산 (discrete) 구성으로 매핑합니다.

3. 주요 기여 (Key Contributions)

1. 압축된 설계 공간 정의: CM-UNet 아키텍처에 대해 인코더 너비 ($b$) 와 디코더 병목 너비 ($h$) 만을 변수로 하는 2 차원 설계 공간을 제안하여 엣지 환경에서의 정확도 - 지연 시간 - 에너지 트레이드오프를 효율적으로 탐색할 수 있게 했습니다.
2. 효율적인 서브rogate 모델링: 소수의 샘플링된 구성만으로도 mIoU, 지연 시간, 전력 추세를 정확하게 포착하는 서로게이트 모델을 구축할 수 있음을 입증했습니다.
3. 실용적인 배포 전략: 탐색 없이도 서로게이트 분석을 통해 임베디드 하드웨어에 적합한 근사 최적 (near-optimal) CM-UNet 구성을 선택할 수 있음을 시연했습니다. 이는 미래의 우주 엣지 시스템에 하이브리드 CNN-Mamba 모델을 적응시키는 실용적인 전략입니다.

4. 실험 결과 (Results)

• 데이터셋 및 하드웨어: LoveDA 및 ISPRS Vaihingen 데이터셋을 사용하며, NVIDIA Jetson Orin Nano Super 에서 평가 수행.
• 성능 향상 (LoveDA 및 Vaihingen 기준):
  • 지연 시간: 기준 모델 (Baseline CM-UNet) 대비 32.9% ~ 38.6% 감소.
  • 에너지 소비: 기준 모델 대비 43.3% ~ 51.0% 감소.
  • 처리 속도 (Throughput): LoveDA 에서 5.60 FPS → 9.11 FPS, Vaihingen 에서 8.35 FPS 로 증가.
  • 정확도 (mIoU): 대부분의 분할 정확도를 유지하면서 (LoveDA: 50.21% → 47.54%, Vaihingen: 84.64% → 80.48%), 하드웨어 효율성이 크게 개선됨.
• 모델 크기: SatReg 를 통해 선택된 모델은 파라미터 수가 크게 감소하여 (예: LoveDA 기준 51.56MB → 12.36MB) 메모리 효율성이 향상되었습니다.
• 관찰:
  • mIoU 는 주로 인코더 너비 ($b$) 에 더 민감하게 반응하는 반면, 지연 시간과 전력은 디코더 병목 너비 ($h$) 에 더 민감하게 반응함.
  • 따라서 SatReg 는 인코더 용량은 유지하면서 CSMamba 병목 구조를 축소하는 전략을 취하여 큰 배포 이득을 얻음.

5. 의의 및 결론 (Significance & Conclusion)

• 우주 엣지 AI 에 대한 실용적 솔루션: 기존 NAS 의 높은 계산 비용을 회귀 기반의 효율적인 탐색으로 대체하여, 제한된 자원 환경 (위성 등) 에서도 고성능 분할 모델을 배포할 수 있는 길을 열었습니다.
• 하이브리드 모델 적응: CNN 과 Mamba 를 결합한 최신 모델들을 하드웨어 제약이 있는 엣지 디바이스에 맞게 조정 (Adaptation) 하는 새로운 패러다임을 제시했습니다.
• 미래 지향성: 본 연구는 향후 우주 기반 엣지 컴퓨팅 시스템에서 AI 모델의 자동 최적화 및 배포를 위한 중요한 기초를 제공하며, 에너지 효율성과 실시간 처리가 필수적인 원격 감지 분야에서 큰 의미를 가집니다.