기술 요약: WATCH – 변화 탐지를 위한 광역 고고학 유적지 추적

문제 정의

전 지구적 규모에서 고고학 유적지를 모니터링하는 것은 약탈, 규제되지 않은 건설, 분쟁으로부터 문화유산을 보호하는 데 필수적입니다. 그러나 교란이 발생한 정확한 시기를 파악하는 것은 여전히 중요한 과제입니다. 약탈의 시각적 단서 (예: 교란된 토양, 분광 이상) 는 종종 미묘하며 침식이나 계절적 농경 주기 같은 자연적 과정과 쉽게 혼동됩니다. 또한, 약탈 사건의 구체적인 시기에 대한 현장 검증 데이터는 극히 희소하며 종종 시간적으로 부정확합니다.

기존의 자동화 시스템은 교란이 발생한 '언제'를 국지화하는 데 어려움을 겪는데, 그 이유는 다음과 같습니다:

1. 레이블 부족: 고품질의 시간적으로 정밀한 레이블은 드뭅니다.
2. 시각적 미묘함: 변화는 이질적이며 계절적 효과와 센서 노이즈에 의해 가려집니다.
3. 확장성: 수천 개의 유적지를 모니터링하려면 제한된 계산 및 주석 예산으로 효율적으로 운영되어야 합니다.

현재의 원격 탐사 변화 탐지 방법은 일반적으로 밀집된 주석이나 짝지어진 영상을 요구하는 완전 감독식 이시점 (bi-temporal) 프로토콜에 의존하는데, 이는 약한 감독 하의 긴 시계열에서 월별 시간적 국지화 작업에 직접 적용하기 어렵습니다.

방법론: WATCH 프레임워크

저자들은 PlanetScope 위성 모자이크 (4.7m/px, 2017–2024) 를 사용하여 월 단위 변화 사건 국지화를 위해 설계된 WATCH(광역 고고학 유적지 추적 및 변화 탐지) 프레임워크를 소개합니다. 이 시스템은 유적지별 시계열 지리공간 특징 임베딩을 처리하며 세 가지 보완적인 점수 산출 방식을 사용합니다:

1. 특징 추출

이 프레임워크는 아프가니스탄의 1,943 개 고고학 유적지에 대한 마스킹된 1km² 월별 모자이크에서 특징 벡터를 추출합니다 (시리아, 터키, 파키스탄, 이집트의 유적지에서도 검증됨). 이는 여섯 가지 지리공간 기반 모델의 임베딩과 수작업 베이스라인을 활용합니다:

• 기반 모델: CLIP, GeoRSCLIP, SatMAE, Prithvi-EO-2.0, DINOv3, Satlas-Pretrain.
• 수작업 베이스라인: 학습된 모델 없이 이미지에서 직접 계산된 60 개의 통계적, 분광 지수, 및 질감 특징 (예: NDVI, NDWI, GLCM, LBP).
• 정규화: 계절적 효과를 제거 (달력 월 통계로 표준화) 하고 전역 규모 불일치를 해소하는 2 단계 정규화 과정.

2. 점수 산출 방식

WATCH 는 월별 변화 확률을 생성하기 위한 세 가지 고유한 전략을 지원합니다:

• 시간적 임베딩 거리 (TED): 학습이 불필요한 비지도 방법입니다. 대상 달의 임베딩과 이전 $R=3$ 개월의 견고한 기준 벡터 (좌표별 중앙값) 간의 거리 (L2 또는 코사인) 를 계산합니다. 이는 국지적 시간적 역사에서의 편차를 탐지하도록 설계되었습니다.
• 자기지도 학습 변화 탐지 (SSCD): 세 가지 신호를 결합하는 비지도 앙상블 방법입니다:
  1. 재구성 오차 (마스킹 오토인코더).
  2. 예측 오차 (다음 달 예측기).
  3. 잠재적 신규성 (잠재 공간에서 역 k-NN 밀도).
     이러한 신호들은 가중치를 부여하여 집계되어 변화 점수를 생성합니다.
• 약한 감독 (WS) 국지화: 희소하고 단편화된 사건-월 레이블로 훈련된 감독식 시간 분류기 (LSTM 기반) 입니다. 알려진 사건 달 주변의 가우시안 평활화 타겟을 활용하여 레이블 불확실성을 처리하며, 각 달에서 변화 사건 발생 확률을 예측합니다.

3. 평가 프로토콜

저자들은 Recall@K(가장 높은 변화 확률을 가진 상위 K 개 달) 를 기반으로 한 시간적 허용 평가 지표를 도입합니다. 다음과 같이 정의됩니다:

• 대칭 마진 ($m$): 상위 K 개 예측이 기준 진실로부터 $m$ 개월 이내에 있을 때 정답으로 간주합니다.
• 방향성 마진:
  • 양수 마진 ($h^+$): 사건 이후에 탐지됨 (확인 지향적).
  • 음수 마진 ($h^-$): 사건 이전에 탐지됨 (조기 경보 지향적).

주요 기여

1. 정립: 사이트 중심 위성 시계열에 대한 월별 변화 사건 탐지 문제로 고고학 유적지 모니터링을 재정의했습니다.
2. 프레임워크: 비지도 (TED, SSCD) 및 약한 감독 (WS) 점수 산출 체계를 통합한 WATCH 를 제안했습니다.
3. 벤치마킹: 수작업 특징에 대해 여섯 가지 기반 모델 임베딩을 체계적으로 평가하여, 기반 모델이 일반적으로 월 단위 국지화를 위해 더 강력한 신호를 제공함을 입증했습니다.
4. 평가 프로토콜: 조기 경보 능력과 사후 사건 확인을 구분하기 위해 방향성 마진 분석을 포함한 시간적 허용 평가를 도입했습니다.

결과

이 프레임워크는 아프가니스탄의 1,943 개 유적지 (약탈된 898 개, 보존된 1,045 개) 에서 벤치마킹되었으며, 약탈된 유적지 중 약탈 시기가 신뢰할 수 있게 알려진 곳은 117 개뿐이었습니다.

• 성능: 비지도 접근법 (TED 및 SSCD) 은 약한 감독 대안보다 일관되게 우수한 성능을 보였습니다.
  • SatMAE를 사용한 TED는 정확한 달 회수율 ($m=0$) 에서 **55.0%**로 가장 높은 수치를 기록했습니다.
  • GeoRSCLIP, CLIP, 또는 Satlas-Pretrain을 사용한 TED는 3 개월 허용 범위 ($m=3$) 내에서 **92.5%**의 회수율에 도달했습니다.
  • Satlas-Pretrain을 사용한 SSCD도 $m=3$에서 92.5%, $m=6$에서 100% 에 도달했습니다.
• 기반 모델 vs 수작업 특징: 기반 모델은 엄격한 마진에서 수작업 특징보다 일관되게 우수했습니다 (예: TED 하에서 $m=0$일 때 GeoRSCLIP 은 수작업 특징보다 10 퍼센트 포인트 초과). 그러나 수작업 특징은 약한 감독 하의 정확한 달 탐지에서 특히 경쟁력 있었습니다 (WS 에서 $m=0$일 때 Satlas-Pretrain 대비 45.0% 대 35.0%).
• 방향성 편향:
  • SSCD와 GeoRSCLIP 또는 Prithvi-EO-2.0의 조합은 기록된 사건 전에 이상을 탐지하는 가장 강력한 조기 경보 프로파일(음수 방향성 마진) 을 보였습니다.
  • TED는 변화가 현실화된 후 반응하는 확인 지향적 탐지(양수 방향성 마진) 를 선호했습니다.
• 일반화: 재훈련 없이 시리아, 터키, 파키스탄, 이집트의 유적지에 적용되었을 때, 비지도 접근법 (TED, SSCD) 은 효과적으로 이전되어 시간적으로 구조화된 점수 궤적을 생성했습니다. WS 모델은 아프간 훈련 도메인 밖에서는 거의 0 에 머무르며 일반화에 실패했습니다.

중요성 및 주장

이 논문은 위성 이미지와 기반 모델 임베딩을 결합하면 최소한의 감독 하에 확장 가능하고 의사결정에 유의미한 유산 모니터링이 가능하다고 주장합니다.

• 운영 지침: 방향성 마진 분석은 실무자에게 실행 가능한 통찰력을 제공합니다. 조기 개입을 우선시하는 practitioners 은 사전 이상 탐지를 활용하기 위해 SSCD와 지리공간 기반 모델 (GeoRSCLIP, Prithvi-EO-2.0) 을 짝지어야 합니다. 사후 사건 포렌식 확인이 필요한 경우 더 간단한 학습 불필요 TED 접근법에 의존할 수 있습니다.
• 견고성: TED 와 SSCD 의 비지도적 성격은 레이블 데이터가 희소한 전 세계 유산 모니터링에서 중요한 이점인 재훈련 없이 분포 외 (out-of-distribution) 지역 (다른 지역) 으로 일반화할 수 있게 합니다.
• 향후 작업: 저자들은 현재 알려진 월이 있는 117 개 유적지로 제한된 현장 검증 범위 확대를 향후 연구의 가장 시급한 방향으로 지목하며, 능동 학습이 감독식 훈련 및 평가 신뢰성을 모두 강화할 수 있음을 시사합니다.

재현성 증진과 이 분야의 추가 연구를 촉진하기 위해 코드베이스는 공개되어 있습니다.