Post-Disaster Affected Area Segmentation with a Vision Transformer (ViT)-based EVAP Model using Sentinel-2 and Formosat-5 Imagery

본 논문은 손실된 지상 데이터가 부족한 재해 상황에서 TASA 의 EVAP 제품을 보완하기 위해 Sentinel-2 와 Formosat-5 영상을 활용하고 PCA 기반 약지도 학습을 통해 확장된 라벨로 훈련된 비전 트랜스포머 (ViT) 기반 모델을 제안하여 재해 피해 지역 분할의 정확성과 공간적 일관성을 향상시켰음을 보여줍니다.

핵심

1. 문제 상황: "요리사가 너무 바빠요!"

태국 우주청 (TASA) 은 재난이 발생하면 위성 사진을 보고 "어디가 불에 탔는지", "어디가 물에 잠겼는지"를 찾아내는 시스템 (EVAP) 을 운영합니다.

하지만 기존 시스템은 **비유하자면 '초보 요리사'**와 같습니다.

• 작동 원리: 요리사 (분석가) 가 손으로 "여기는 불났어"라고 작은 영역을 몇 개만 표시해 주면, 컴퓨터가 그 모양을 보고 주변을 비슷하게 추정합니다.
• 한계:
  1. 요리사가 너무 바빠서 손으로 표시할 시간이 부족합니다.
  2. 추정 방식이 단순해서 복잡한 지형에서는 실수가 많습니다.
  3. 사진이 너무 크면 컴퓨터가 계산하느라 시간이 너무 오래 걸려서, 재난 대응이 늦어집니다.

2. 새로운 솔루션: "명품 요리 학교 (ViT) + 똑똑한 보조교사 (PCA)"

이 연구팀은 **Vision Transformer(ViT)**라는 최신 인공지능 기술과 **PCA(주성분 분석)**라는 통계 기법을 섞어서, 적은 노력으로도 완벽한 결과를 내는 시스템을 만들었습니다.

A. Vision Transformer (ViT): "전체 그림을 보는 명품 요리사"

기존 컴퓨터는 사진을 작은 조각 (픽셀) 단위로만 봐서 전체적인 흐름을 놓치는 경우가 많았습니다.

• 비유: ViT 는 사진을 조각조각 뜯어보는 게 아니라, **한눈에 전체 그림을 훑어보는 '명품 요리사'**입니다.
• 효과: "저기 불이 난 것 같은데, 주변 나무들도 다 타봤네?"라고 **맥락 (Context)**을 이해해서, 끊어지지 않고 자연스럽게 피해 지역을 찾아냅니다.

B. PCA 기반 라벨 확장: "적은 샘플로 많은 것을 배운다"

재난 현장에서는 전문가가 손으로 모든 피해 지역을 표시할 시간이 없습니다.

• 기존 방식: 전문가가 10 개만 표시하면, 컴퓨터는 그 10 개만 보고 나머지 99% 를 찍어맞춥니다. (정확도 낮음)
• 이 연구의 방식 (PCA):
  1. 전문가가 아주 작은 영역 (씨앗) 만 표시합니다.
  2. 컴퓨터는 이 '씨앗'들의 특징을 분석해서 (PCA), **"이런 색깔과 모양을 가진 곳들은 모두 피해 지역일 확률이 99% 이상이야!"**라고 자동으로 주변을 넓혀줍니다.
  3. 비유: 마치 수업 시간에 선생님이 '핵심 개념' (씨앗) 만 가르쳐 주면, 학생 (컴퓨터) 이 그 원리를 깨우쳐서 시험지 전체를 스스로 풀게 되는 것과 같습니다. 이를 '약한 지도 (Weak Supervision)' 학습이라고 합니다.

3. 실제 실험 결과: "더 매끄럽고 정확한 지도"

연구팀은 두 가지 실제 재난 사례로 이 시스템을 테스트했습니다.

1. 2023 년 그리스 로도스 섬 산불: 위성 사진으로 산불이 번진 지역을 찾았습니다.
2. 2022 년 중국 포양호 가뭄: 물이 말라버린 호수 지역을 찾았습니다.

결과:

• 기존 시스템 (EVAP): 피해 지역이 마치 조각난 퍼즐처럼 여기저기 끊어져서 나옵니다. (실수 많음)
• 새로운 시스템 (ViT + PCA): 피해 지역이 매끄러운 물감으로 칠한 것처럼 자연스럽게 나옵니다.
• 성능: 전문가가 직접 손으로 다듬은 정답 (Ground Truth) 과 비교해도, 이 새로운 시스템이 훨씬 정확하고 빠릅니다.

4. 왜 이것이 중요한가요? (핵심 요약)

• 시간 절약: 전문가가 손으로 표시할 시간을 90% 이상 줄여줍니다. (씨앗 몇 개만 심으면 됨)
• 정확도 향상: 끊어지지 않고 매끄러운 피해 지도를 만들어서, 구조대나 구호팀이 어디로 가야 할지 더 명확하게 알 수 있습니다.
• 유연성: 위성 사진의 종류 (유럽의 Sentinel-2, 대만의 Formosat-5) 가 달라도 잘 작동합니다.

마치며

이 연구는 **"재난이 났을 때, 우리는 더 이상 손으로 일일이 지도를 그릴 필요가 없다"**는 것을 보여줍니다. 적은 노력으로 인공지능이 스스로 학습하고, 더 정확하고 빠른 피해 지도를 만들어내어, **인명 구조와 복구 작업을 돕는 '초고속 엔진'**이 된 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 재난 발생 시 피해 지역을 신속하고 정확하게 식별하는 것은 응급 대응과 추가 피해 방지에 필수적입니다. 대만 우주국 (TASA) 은 '긴급 부가 가치 제품 (EVAP)' 시스템을 운영 중이며, 이는 NDVI, NDWI 와 같은 스펙트럼 지수와 변화 벡터 분석을 활용하여 반자동으로 피해 지역을 매핑합니다.
• 현행 시스템의 한계:
  • 수동 의존성: EVAP 는 분석가가 소수의 피해 다각형 (보통 10 개 미만) 을 수동으로 라벨링해야 하며, 이를 기반으로 가우시안 분포를 가정하여 전체 이미지를 분류합니다. 이는 복잡한 환경에서 적응력이 떨어질 수 있습니다.
  • 확장성 부족: 딥러닝 기반의 일반화 능력이 부족하여 다양한 재난 시나리오에 적용하기 어렵습니다.
  • 계산 비용: 픽셀 단위 통계 분류 방식은 대규모 위성 이미지 처리 시 계산 비용이 높고 처리 시간이 길어 실시간 대응에 제약이 됩니다.
  • 데이터 제약: 재난 현장에서는 고해상도 완전 지도 (Ground Truth) 라벨을 구하기 어렵고, 제한된 라벨 (Weak Supervision) 로만 학습해야 하는 경우가 많습니다.

2. 제안된 방법론 (Methodology)

이 연구는 비전 트랜스포머 (Vision Transformer, ViT) 기반의 딥러닝 프레임워크를 도입하여 EVAP 시스템을 개선하고, 제한된 라벨링 데이터로 고품질의 피해 지역 분할을 수행하는 것을 목표로 합니다.

가. 데이터 소스 및 전처리

• 다중 위성 데이터 활용: 중해상도 다중 스펙트럼 데이터인 Sentinel-2(유럽우주국) 와 고해상도 광학 데이터인 Formosat-5(대만 우주국) 이미지를 결합합니다.
• 입력 구성: 재해 전 (Pre-disaster) 과 재해 후 (Post-disaster) 이미지를 각각 4 개 밴드 (R, G, B, NIR) 로 추출하여 채널 차원에서 연결 (Stack) 한 8 채널 입력 텐서를 생성합니다.

나. 라벨 확장 전략 (Label Expansion Strategy)

제한된 수동 라벨을 효율적으로 활용하기 위해 PCA(주성분 분석) 와 신뢰 구간 (Confidence Interval) 기반의 확장 기법을 도입했습니다.

1. 시드 (Seed) 라벨링: 소수의 수동으로 라벨링된 피해 영역 (Seed) 을 설정합니다.
2. PCA 차원 축소: 8 차원 스펙트럼 벡터를 PCA 를 통해 저차원 공간으로 투영합니다.
3. 마할라노비스 거리 (Mahalanobis Distance) 기반 확장: 시드 라벨의 분포를 가우시안 클러스터로 가정하고, 마할라노비스 거리를 계산하여 특정 신뢰 수준 (예: 99%) 내의 픽셀들을 추가적인 양수 (Positive) 라벨로 자동 할당합니다.
   • 이를 통해 수동 라벨링 없이도 대규모의 확장된 학습 데이터 (Weakly Supervised Set) 를 생성합니다.

다. 모델 아키텍처

• Encoder: 표준 Vision Transformer (ViT) 를 사용하여 입력 이미지를 패치 단위로 분할하고 전역 문맥 (Global Context) 을 포착합니다.
• Decoder: ViT 인코더의 특징을 기반으로 세 가지 다른 디코더 구조를 비교 평가했습니다.
  • Decoder A: 단일 컨볼루션 블록 (가벼운 베이스라인).
  • Decoder B: 4 층 CNN 디코더.
  • Decoder C: U-Net 스타일 디코더 (스킵 연결 및 대칭 업샘플링 포함, 세부 공간 정보 보존에 최적).
• 손실 함수 (Loss Functions):
  • 이진 교차 엔트로피 (BCE).
  • BCE-Dice Loss.
  • 2 단계 BCE-IoU Loss: 먼저 BCE 로 수렴시킨 후, IoU 손실로 미세 조정 (Fine-tuning) 하는 전략을 사용하여 공간적 구조를 더 잘 학습하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 약한 감독 하의 ViT 적용: 중해상도 다중 소스 위성 이미지 (Sentinel-2, Formosat-5) 환경에서 제한된 라벨 (Weak Supervision) 로 ViT 기반 분할 모델을 적응시켰습니다.
2. PCA 기반 라벨 확장 전략: 저해상도 EVAP 출력물에서 파생된 약한 감독 신호를 PCA 와 신뢰 구간을 기반으로 확장하여, 수동 라벨링 비용을 줄이면서도 학습 데이터의 밀도를 높이는 새로운 전략을 제시했습니다.
3. 실증적 검증: 2022 년 중국 포양호 가뭄과 2023 년 그리스 로도스 산불 사례를 통해 제안된 방법이 기존 EVAP 시스템보다 공간적 일관성 (Spatial Coherence) 과 추론 효율성이 뛰어나다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 2022 년 포양호 가뭄 (Sentinel-2 전, Formosat-5 후) 과 2023 년 로도스 산불 (Sentinel-2 전, Formosat-5 후) 데이터를 사용했습니다.
• 정량적 평가 지표: 사용자 정확도 (UA), 생산자 정확도 (PA), 교차율 (IoU) 을 대만 우주국 (TASA) 이 제공한 전문가 정제 지도 (Ground Truth) 와 비교했습니다.
• 성능:
  • 가장 좋은 모델 (ViT + U-Net Decoder + 2-stage Loss):
    • 산불 (그리스): PA 0.924, UA 0.804, IoU 0.754 (기존 EVAP 대비 IoU 0.734 → 향상).
    • 가뭄 (중국): PA 0.951, UA 0.884, IoU 0.845 (기존 EVAP 대비 IoU 0.815 → 향상).
  • 기존 SVM, K-means 등 전통적 방법론 및 완전 지도 학습 (Fully Supervised) 베이스라인과 비교했을 때, 제한된 라벨링 조건에서도 경쟁력 있는 성능을 보였습니다.
• 정성적 평가:
  • 제안된 모델은 EVAP 결과에 비해 경계가 더 매끄럽고 (Smoothness), 단편화 (Fragmentation) 가 적으며, 실제 피해 지역의 연속성을 더 잘 반영합니다.
  • 오검출 (Commission Error) 과 누락 (Omission Error) 이 모두 감소했습니다.

5. 의의 및 결론 (Significance)

• 실무 적용 가능성: 이 프레임워크는 센서와 재난 유형에 구애받지 않으며 (Sensor/Hazard agnostic), 최소한의 수동 라벨링으로 대규모 피해 지역을 자동으로 분류할 수 있어 실제 재난 대응 시스템 (Operational Systems) 에 통합하기 용이합니다.
• 기술적 혁신: 기존 CNN 기반 방법론의 국소적 특징 추출 한계를 넘어, ViT 의 전역 문맥 파악 능력을 약한 감독 환경에서 성공적으로 활용하여 재난 매핑의 정확도와 확장성을 동시에 개선했습니다.
• 미래 전망: 능동 학습 (Active Learning) 도입, SAR 데이터 등 추가 데이터 소스 통합, 그리고 실시간 운영 시스템 배포 등을 통해 향후 발전 가능성이 큽니다.

이 연구는 제한된 자원과 데이터 조건 하에서도 딥러닝과 전이 학습 (Transfer Learning) 개념을 활용하여 재난 대응의 효율성을 극대화할 수 있는 강력한 솔루션을 제시합니다.