On-Orbit Real-Time Wildfire Detection Under On-Board Constraints

기술 요약: 궤도 내 제약 하의 실시간 산불 탐지

문제 제기
본 논문은 극한의 운영 제약 하에서 우주에서 산불을 탐지하는 중대한 과제를 다룬다. 위성 기반 모니터링은 글로벌 산불 관리에 필수적이지만, 기존 아키텍처는 근본적인 트레이드오프에 직면해 있다: 정지궤도 플랫폼은 높은 시간적 재방문 주기를 제공하지만 공간 해상도가 낮아 (2~3 km) 작은 산불을 놓치고, 저궤도 (LEO) 센서는 더 정밀한 해상도를 제공하지만 일일 통과 횟수가 제한되어 종종 산불 활동의 정점 시기를 놓친다. OroraTech 의 OTC-P1 임무는 9 개 위성의 열적외선 군집으로 이 격차를 메우려 시도하지만, 현재 최첨단 모델들이 충족할 수 없는 고유한 일련의 결합 제약을 부과한다:

1. 엄격한 지연 시간: 위성 통과부터 통신까지 10 분 이내로 작동해야 하는 엔드투엔드 경고 파이프라인이 필요하며, 이는 다운링크 후 처리 아키텍처가 아닌 온보드 추론을 요구한다.
2. 자원 제약: 추론은 10 W 모드인 NVIDIA Jetson Xavier NX 에서 실행되어야 하며, 모델 크기는 1 MB 미만이어야 하고 배치당 추론 지연 시간은 150 ms 미만이어야 한다.
3. 데이터 특성: 시스템은 보정되지 않은 단일 밴드 중파적외선 (MWIR) 영상 (지상 샘플링 거리 200 m) 에서 작동한다. 산불은 종종 서브픽셀 또는 단일 픽셀 열 이상으로 나타나 극단적인 클래스 불균형을 초래한다 (화재 픽셀은 유효 픽셀의 약 0.018% 를 차지함).
4. 노이즈: 지연 시간을 최소화하기 위해 파이프라인은 방사선 보정이 없는 원시 디지털 숫자 (DN) 를 사용하며, 이는 센서 노이즈와 아티팩트에 대한 취약성을 증가시킨다.

현재 운영 파이프라인 (예: MODIS, VIIRS) 은 휴리스틱, 문맥적 열 임계값 방법에 의존하는데, 이는 특히 초기 산불의 서브픽셀 특성과 다중 스펙트럼 보정의 부재와 같은 특정 제약 조건에서 어려움을 겪는다.

방법론
저자들은 보정되지 않은 MWIR 영상에 대한 밀집 분할에 맞춘 경량 자기지도 학습 접근법인 DenseMAE(Dense Masked Autoencoder) 를 중심으로 한 배포 지향적 딥러닝 파이프라인을 제안한다.

• 아키텍처: DenseMAE 는 완전히 합성곱 기반의 마스크된 오토인코더이다. 이미지를 토큰화하는 표준 비전 트랜스포머 (ViT) 와 달리, DenseMAE 는 단일 초기 다운샘플링 단계 ($H/2 \times W/2$) 를 가진 단계별 합성곱 인코더를 사용하며, 이후 수용 영역을 효율적으로 증가시키기 위해 확장 합성곱 블록을 따른다. 이는 글로벌 이미지 토큰이 아닌 밀집된 픽셀별 임베딩을 생성한다.
• 사전 학습 목적: 모델은 마스크된 재구성 목적을 사용하여 사전 학습된다. 입력의 무작위 블록이 마스크되고, 인코더 - 디코더 쌍은 주변 문맥으로부터 누락된 열 패턴을 재구성하도록 학습한다. 손실은 마스크된 유효 픽셀에 대해서만 계산되며, "데이터 없음" 영역은 명시적으로 제외된다.
• 하이브리드 제거 실험: 저자들은 마스크된 재구성과 지수 이동 평균 (EMA) 교사 - 학생 일관성 손실을 결합한 하이브리드 변형을 조사했다. 그러나 경험적 결과는 이것이 미미하고 일관성 없는 개선만 제공함을 보여, 저자들은 재구성 전용 접근법을 선호하게 되었다.
• 하류 전이: 사전 학습 후 디코더는 폐기된다. 인코더는 경량 헤드를 사용하여 산불 분할 작업으로 전이된다. 두 가지 전이 전략이 평가되었다:
  1. 동결된 인코더: 고정된 임베딩 위에 경량 헤드로만 학습 (선형 프로브 또는 작은 문맥 헤드로).
  2. 전체 미세 조정: 인코더와 헤드를 엔드투엔드로 공동 최적화.
• 정제: 산불의 서브픽셀 특성을 해결하기 위해 고해상도 (HR) 정제 헤드가 사용된다. 이 모듈은 최종 예측 단계로 인코더 스템의 고해상도 특징을 재주입하여 단일 픽셀 이상을 정교하게 위치시킨다.
• 학습 전략: 극단적인 클래스 불균형을 처리하기 위해 학습 배치는 양의 패치로 편향된다. 시스템은 이진 교차 엔트로피 손실, AdamW 옵티마이저, 혼합 정밀도를 사용한다.

주요 기여

1. 배포 파이프라인: 엄격한 지연 시간 (<150 ms) 과 크기 (<1 MB) 제약 하에서 보정되지 않은 단일 밴드 MWIR 영상으로 작동하는 온궤도 산불 탐지를 위한 딥러닝 파이프라인 도입.
2. DenseMAE: 밀집 MWIR 표현을 학습하는 경량 단계별 합성곱 마스크된 오토인코더 제안으로, 가지치기나 압축 없이 서브메가바이트 배포 모델을 가능하게 함.
3. 경험적 연구: 극단적인 클래스 불균형 하에서 자기지도 사전 학습 (MAE 대 하이브리드 EMA) 과 전이 학습 (동결 대 전체 미세 조정) 의 체계적 평가. 전체 테스트 분포에 대한 픽셀 단위 평균 정밀도 (AP) 사용.
4. 파레토 프론티어 달성: 밀집 자기지도 표현이 지연 시간 - 정확도 파레토 프론티어에 위치한 컴팩트한 모델을 가능하게 하여, 동등한 제약 하에서 감독 기반선보다 우월함을 입증.

결과
시스템은 OroraTech 의 OTC-P1 임무에서 839 개의 주석 장면으로 구성된 데이터셋 (학습/검증/테스트 70/15/15% 분할) 에서 평가되었다.

• 기반선 대비 성능: 가장 성능이 좋은 DenseMAE 구성 (임베딩 차원 64, 전체 미세 조정, DW-Res 헤더 + HR 정제) 은 0.699 테스트 AP와 0.744 Fire-F1을 달성했다. 이는 유사한 제약 하에서 0.650 AP를 달성한 강력한 감독 기반선 (HR 정제가 포함된 U-Net++) 보다 우수하다.
• 지연 시간 및 크기:
  • 가장 빠른 구성 (임베딩 차원 32, TRT-Head) 은 0.640 AP를 달성했으며, 지연 시간은 65.34 ms(TensorRT FP16, 배치 크기 8) 이었고 모델 엔진 크기는 0.52 MB였다.
  • 가장 높은 정확도 구성은 1 MB(0.91 MB) 미만이며 지연 시간은 141 ms였다.
• 제거 실험 결과:
  • 임베딩 차원을 32 에서 64 로 증가시키는 것이 AP 를 일관되게 향상시켰다.
  • 전체 미세 조정이 동결된 인코더 전이 (emb64 기준 0.689 대 0.612 AP) 보다 일관되게 우월하여, SSL 초기화가 하류 모델이 엔드투엔드로 적응할 때 가장 유익함을 시사한다.
  • 하이브리드 EMA 증류는 재구성 전용 사전 학습보다 전체 분포에 걸쳐 일관된 이점을 제공하지 않았다.
• 외부 검증: 모델은 동시 관측에서 VIIRS 375 m 활성 화재 제품 (표준 운영 참조) 과 비교되었다. 연구는 강한 센서 간 일치를 발견했으며, 모델은 103 개의 공동 화재 클러스터를 탐지했다. 모델은 VIIRS 가 놓친 33 개의 클러스터 (종종 탐지 한계 근처의 약한 열 신호) 와 모델만 탐지한 3 개의 클러스터를 확인하여 VIIRS 임계값 이하의 작거나 수명이 짧은 산불을 찾을 수 있는 능력을 시사한다.

의의 및 주장
본 논문은 경량 자기지도 표현이 하드웨어 및 데이터 제약으로 인해 기존 방법이 실패하는 곳에서 정확하고 효율적인 온궤도 화재 탐지를 가능하게 한다고 주장한다. 엣지 하드웨어에서 서브메가바이트 모델 크기와 100 ms 미만의 추론 지연 시간을 달성함으로써, 이 시스템은 위성 통과 후 수 분 내에 점화를 탐지할 수 있는 엔드투엔드 경고 파이프라인을 가능하게 한다. 이는 화재 발생과 운영 대응 사이의 격차를 줄이는 중요한 단계이다. 저자들은 겸손하게도 시스템이 일반적인 센서 아티팩트에 대한 견고성을 향상시키지만, 태양 반사 (sunglint) 와의 혼란은 여전히 과제이며, 향후 작업은 이러한 엣지 케이스를 해결하기 위해 다중 채널 입력 또는 물리 기반 특징이 필요할 수 있다고 지적한다. 본 연구는 밀집 SSL 사전 학습이 극단적인 클래스 불균형과 자원 제약이 있는 원격 탐사 작업에 대한 실현 가능하고 우월한 전략임을 검증한다.