VAD4Space: Visual Anomaly Detection for Planetary Surface Imagery

1. 문제 정의 (Problem Statement)

우주 탐사 임무는 달 궤도선 (LROC) 및 화성 탐사 로버 (Curiosity, Perseverance) 를 통해 고해상도 이미지와 대량의 데이터를 생성합니다. 그러나 이러한 데이터는 인간이 수동으로 검토할 수 있는 양을 훨씬 초과하며, 다음과 같은 근본적인 한계가 존재합니다.

• 레이블 데이터의 부족: 희귀한 과학적 현상 (신선한 충돌구, 암석 낙하, 광맥 등) 은 데이터의 극히 일부분을 차지하므로, 지도 학습 (Supervised Learning) 에 필요한 레이블된 데이터를 수집하는 것은 비용이 많이 들고 비현실적입니다.
• 폐쇄적 세계 가정 (Closed-world Assumption): 기존 지도 학습은 훈련 시점에 모든 카테고리를 알고 있어야 하지만, 우주 탐사의 핵심 목표 중 하나는 훈련 시 예상하지 못했던 '새로운 발견'을 하는 것이므로 이 접근법은 부적합합니다.
• 통신 대역폭 및 시간 제약: 지구와 우주선 간의 통신은 제한된 창 (window) 만 존재하며, 모든 데이터를 전송할 수 없습니다. 따라서 우주선 탑재체 (Onboard) 에서 자동으로 중요한 데이터를 선별하여 전송해야 합니다.

이러한 문제를 해결하기 위해 저자들은 **시각적 이상 탐지 (Visual Anomaly Detection, VAD)**를 우주 탐사 분야에 적용하여, 정상 데이터만으로 학습하고 훈련 중 이상 샘플을 보지 않아도 새로운 이상 현상을 탐지할 수 있는 '개방형 세계 (Open-world)' 시스템을 제안합니다.

2. 방법론 (Methodology)

A. 새로운 벤치마크 구축

이 연구는 실제 우주 임무 데이터를 기반으로 두 가지 새로운 벤치마크를 소개했습니다.

1. 달 (Lunar) 벤치마크: Lunar Reconnaissance Orbiter Camera (LROC) 의 Narrow Angle 이미지에서 추출된 데이터입니다.
   • 정상 클래스: 일반적인 지형 (None).
   • 이상 클래스: 신선한 충돌구 (Fresh craters, 분출물 포함), 노후화된 충돌구 (Degraded craters).
2. 화성 (Mars) 벤치마크: Curiosity 로버의 Mastcam(M-100) 에서 촬영한 6 대역 멀티스펙트럼 이미지 기반 데이터입니다.
   • 정상 클래스: 일반적인 화성 지질 (먼지, 암석 등).
   • 이상 클래스: 운석, 드릴 구멍, 광맥, 깨진 암석 등 8 가지 지질학적 신기한 현상.
   • 참고: 사전 학습된 백본 (Backbone) 을 사용하므로 RGB 3 채널만 사용하며, 원본 6 대역 스펙트럼 정보는 제외했습니다.

B. 평가 프로토콜

현실적인 배포 시나리오를 반영하기 위해 3 단계의 평가 설정을 도입했습니다.

1. 균형 잡힌 테스트 세트 (Setting 1): 원본 데이터셋의 비율을 유지 (정상/비정상 균형).
2. 희귀 이상 설정 (Setting 2): 테스트 세트에서 이상 샘플을 5% 로 제한 (VAD 의 표준 가정).
3. 오염된 학습 데이터 설정 (Setting 3): 가장 현실적인 설정. 학습 데이터에 5% 의 이상 샘플이 섞여 있는 경우를 가정합니다. 우주 탐사에서는 완벽한 '정상' 데이터만 선별하기 어렵기 때문입니다.

C. 적용된 VAD 모델 및 최적화

복잡한 재구성 기반 (Reconstruction-based) 모델 대신, 엣지 디바이스 (우주선 탑재체) 에 적합한 경량화된 특징 기반 (Feature-based) VAD 모델 7 가지를 평가했습니다.

• 모델: PatchCore, PaDiM, CFA, STFPM, RD4AD, SimpleNet, FastFlow.
• 백본 최적화: 일반적인 WideResNet50 대신 MobileNetV2를 사용하여 메모리 및 연산량을 대폭 줄였습니다.

3. 주요 기여 (Key Contributions)

1. 우주 이미지 기반 VAD 의 첫 번째 실증 평가: 실제 달 및 화성 데이터에 대한 7 가지 최신 VAD 방법론의 체계적인 벤치마크를 수행했습니다.
2. 새로운 벤치마크 및 프로토콜: 달 (LROC) 과 화성 (Curiosity) 데이터를 기반으로 한 표준화된 평가 프로토콜을 공개했습니다.
3. 현실적인 평가 설정 도입: 학습 데이터에 이상 샘플이 섞여 있는 '오염 (Contamination)' 시나리오를 포함하여 모델의 견고성 (Robustness) 을 평가했습니다.
4. 엣지 배포 가능성 입증: MobileNetV2 를 사용하여 제한된 자원 환경에서도 고성능을 달성할 수 있음을 보였습니다.

4. 실험 결과 (Results)

A. 성능 비교

• 달 데이터셋:
  • PaDiM이 가장 우수한 성능을 보였습니다.
  • 훈련 시 레이블 없이도 기존 지도 학습 모델 (VGG-11, 정확도 82%) 과 비교해 10% 미만의 오차 (PaDiM 정확도 73%) 를 보이며, **Rockfalls(암석 낙하)**와 같이 훈련에 포함되지 않은 클래스도 탐지할 수 있었습니다.
  • 모델 크기가 10.7MB 로 기존 모델 (507MB) 에 비해 압도적으로 작습니다.
• 화성 데이터셋:
  • PatchCore가 가장 뛰어난 성능을 보였습니다 (IMG-ROC 0.81).
  • 원본 연구에서 사용된 6 대역 스펙트럼 대신 3 채널 RGB 만 사용했음에도 불구하고, 재구성 기반 모델 (CAE-MSE, IMG-ROC 0.705) 보다 훨씬 높은 성능을 기록했습니다.
  • 모델 크기는 17.4MB 로 매우 경량화되었습니다.

B. 오염된 학습 데이터 (Setting 3) 에 대한 견고성

• 달 데이터: 이상 샘플이 섞여 있어도 PatchCore가 가장 덜 영향을 받아 성능 저하가 미미했습니다.
• 화성 데이터: PatchCore는 학습 데이터에 이상 샘플이 섞이면 성능이 급격히 떨어졌습니다 (IMG-ROC 0.80 → 0.40). 이는 화성의 이상 현상이 전역적 (Global) 인 특징을 가지고 있어 메모리 뱅크 (Memory Bank) 를 오염시키기 때문입니다. 반면 PaDiM 등 다른 모델들은 상대적으로 견고했습니다.

C. 정성적 결과 (Qualitative Results)

• VAD 모델들은 픽셀 단위 레이블 없이도 이미지 내 이상 영역을 시각화 (Anomaly Map) 할 수 있었습니다.
• 달 이미지에서는 충돌구 구조를 정확하게 국소화 (Localization) 했습니다.
• 화성 이미지에서는 이상 영역이 이미지 전체에 퍼져 있어 국소화가 어렵지만, 과학적으로 중요한 관측 대상 (예: 드릴 구멍, 광맥) 을 식별하는 데 유용한 시각적 가이드를 제공했습니다.

D. 계산 효율성

• 모든 모델은 MobileNetV2 백본을 사용하여 메모리 풋프린트 (1018MB) 와 추론 지연 시간 (1841ms) 이 매우 낮아, 우주선 탑재체 (Onboard) 에 배포하기에 적합함이 입증되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **시각적 이상 탐지 (VAD)**가 우주 탐사 분야에서 지도 학습의 한계를 극복할 수 있는 실용적인 대안임을 입증했습니다.

• 과학적 발견 지원: 훈련 시 예상하지 못한 새로운 지질학적 현상 (예: 운석, 새로운 균열) 을 자동으로 탐지하여 과학적 발견의 기회를 확대합니다.
• 임무 운영 최적화: 제한된 통신 대역폭 내에서 가장 과학적 가치가 높은 데이터만 선별하여 전송함으로써, 로버의 작전 계획 (Tactical Planning) 효율을 극대화합니다.
• 실제 배포 가능성: 경량화된 모델과 낮은 메모리 요구 사항은 위성 및 로버와 같은 자원 제약이 심한 플랫폼에 VAD 를 탑재하는 것을 현실적으로 가능하게 합니다.

향후 연구에서는 RGB 채널의 한계를 극복하기 위해 멀티스펙트럼 정보를 활용한 융합 전략과, 태양전지판, 로켓 노즐 등 우주선 구조물 결함 탐지로의 적용 범위를 확장할 계획입니다.