Clay-CNN Hybrids: Leveraging Geo-Foundational Models as Auxiliary Context for Landslide Detection

기술 요약: 산사태 탐지를 위한 Clay-CNN 하이브리드 모델

문제 정의
사건 발생 후 신속한 산사태 매핑은 재난 대응에 매우 중요하지만, 두 가지 주요 기술적 장애물로 인해 자동화가 여전히 어렵다. 첫째는 산사태 흔적(landslide scars)과 노출된 토양 사이의 분광 유사성이고, 둘째는 극심한 클래스 불균형(데이터셋에서 산사위 픽셀이 약 2%만을 차지함)이다. 전통적인 딥러닝 접근 방식, 특히 U-Net 아키텍처는 작업 특화된 학습 데이터에 크게 의존하는데, 이는 활발한 재난 상황 중에는 가용하지 않은 경우가 많다. 방대한 양의 다양한 위성 영상으로 사전 학습된 일반화된 표현을 제공하는 Clay v1.5와 같은 지형 공간 파운데이션 모델(GFM)이 존재하지만, 데이터가 부족한 환경에서 산사태 탐지를 최적화하기 위해 이러한 모델을 컨볼루션 아키텍처와 어떻게 결 가장 잘 통합할지에 대한 체계적인 평가는 이루어지지 않았다.

방법론
본 연구는 Landslide4Sense(L4S) 벤치마크를 사용하여 Clay v1.5(지형 공간 Vision Transformer, ViT)를 CNN과 통합하는 방식을 평가한다. 데이터셋은 14개 채널(12개의 Sentinel-2 광학 밴드와 2개의 지형 밴드인 DEM 및 경사도)을 포함하는 3,799개의 학습 칩(128×128 픽셀)으로 구성된다. 본 연구는 공간적 누수(spatial leakage)를 방지하기 위해 지리적으로 계층화된 "위치 제외(leave-out-location)" 전략을 채택하였다.

세 가지 아키텍처 전략을 비교하였다:

1. 베이스라인 (U-Net): 4개의 인코더 단계, 전체 스킵 연결(skip connections) 및 14개 입력 밴드를 갖춘 표준 U-Net으로, CNN 전용 참조 모델 역할을 한다.
2. 아키텍처 1 (Clay 백본): Clay v1.5가 12개 광학 밴드를 위한 주요 인코더 역할을 수행하여 단일 16×16 특징 맵을 생성한다. 지형 데이터는 별도의 "TerrainPyramid"를 통해 처리되며, 학습 가능한 스칼라 $\alpha$를 사용하여 거친(coarse) 디코더 스케일에서 잔차(residual) 방식으로 융합된다. 이 아키텍처는 인코더 스킵 연결이 없다.
3. 아키텍처 2 (Hybrid U-Net + Clay): U-Net 백본이 14개 밴드를 통해 4단계 다운샘플링 과정을 거친다. Clay v1.5는 12개 광학 밴드를 독립적으로 처리한다. Clay 출력은 투영(projection)되어 8×8로 다운샘플링된 후 U-Net 병목(bottleneck) 부분에 결합(concatenation)된다. 융합된 표현은 표준 U-Net 스킵 연결을 사용하여 디코딩된다.

학습 및 최적화
모든 모델은 학습을 안정화하기 위해 2단계 학습 프로토콜을 활용하였다:

• 1단계: Clay 인코더를 고정(frozen)한 상태에서 디코더, 지형 브랜치 및 융합 레이어를 학습시킨다.
• 2단계: Clay 트랜스포머 블록(Q/K/V 프로젝션 및 MLP 대상)에 저차원 적응(Low-Rank Adaptation, LoRA) 어댑터를 삽입하여 더 낮은 학습률로 인코더를 미세 조정(fine-tuning)한다.
• 손실 함수: 불균형 문제를 해결하기 위해 양의 가중치(25)를 부여한 이진 교차 엔트로피(Binary Cross-Entropy)와 Lovász hinge loss를 결합하여 사용하였다.
• 평가: 심각한 클래스 불균형을 고려하여 검증 세트에서 최적화된 분류 임계값을 적용한 후, 픽셀 단위 F1 점수로 모델을 평가하였다.

주요 기여

• 새로운 아키텍처: 두 가지 하이브리드 설계 도입: 하나는 다중 스케일 지형 융합을 사용하는 Clay 기반의 주요 인코더 방식이며, 다른 하나는 U-Net의 병목 구간 내에 보조적인 컨텍스트로 Clay를 사용하는 방식이다.
• 체계적 절제 실험(Ablation): 인코더 고정, LoRA 미세 조정, 2단계 학습 전략, 손실 함수 구성 및 지형 통합에 대한 포괄적인 분석을 수행하였다.
• 해석 가능성 및 불확실성: 불확실성 정량화를 위한 몬테카를로 드롭아웃(MC Dropout) 적용 및 집계된 메트릭을 넘어 모델의 동작과 특징 기여도를 진단하기 위한 Grad-CAM 적용.

결과

• 성능: Hybrid U-Net + Clay 모델(아키텍처 2)이 테스트 F1 점수 64.5 ± 1.8%(3개 시드 기준)를 달성하여, U-Net 베이스라인(59.9%)과 Clay 전용 백본(55.2 ± 3.6%)을 모두 능가하였다.
• 아키텍처의 한계: Clay가 단독 인코더로 사용될 경우 U-Net 베이스라인보다 성능이 낮게 나타났으며, 이는 스킵 연결이 없는 ViT의 단일 스케일 출력이 정밀한 픽셀 수준 세그멘테이션에는 불충분함을 확인시켜 준다.
• 하이브리드의 이점: Clay의 사전 학습된 표현을 병목 구간의 보조 컨텍스트로 주입하는 것이 성능을 크게 향 향상시켰다. 하이브리드 모델은 재현율(recall)의 소폭 감소를 대가로 정밀도(precision)를 대폭 높였으며, 이를 통해 분광학적으로 유사한 노출된 토양에서의 오탐(false positives)을 줄였다.
• 불확실성 분석: MC Dropout 분석 결과, 모델의 불확실성이 오류가 빈번한 영역(오탐 및 미탐 지역)과 산사태 경계부에 정확히 집중됨을 확인하였으며, 이는 모델이 자신의 한계를 인지하고 있음을 나타낸다.
• Grad-CAM 결과: 분석 결과, Clay 컨텍스트의 융합이 교정적 사전 확률(corrective prior)로 작용하여, 지형학적으로 불가능한 영역(예: 평탄한 농경지)에서의 오탐을 억제함으로써 산사지 내부를 넘어선 기여 범위를 넓히는 동시에, CNN 디코더가 픽셀 수준의 국소화(localization)를 담당함을 보여주었다.

의의 및 주장
본 논문은 지형 공간 파운데이션 모델(GFM)이 공간적으로 상세한 컨볼루션 아키텍처를 대체하기보다는 보완할 때 산사태 탐지에서 가장 효과적이라는 결론을 내린다. 본 연구는 GFM이 분광적 일반화를 제공하는 반면, CNN은 세그멘테이션에 필요한 공간적 정밀도를 제공한다는 것을 입증한다. 이러한 하이브리드 접근 방식은 데이터가 부족한 환경에서 광범적한 작업 특화 레이블 데이터에 의존하지 않고도 신속한 사후 이벤트 매핑을 위한 확장 가능한 솔루션을 제공하며, 기존의 CNN 및 단독 GFM보다 우수한 성능을 보인다. 이 결과는 '분광적 일반화와 공간적 정밀성의 결합'이라는 원칙이 다른 지질 재해 및 행성 표면 매핑 작업에도 적용 가능함을 시사한다.