Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

이 논문은 아프가니스탄의 1,943 개 고고학 유적지를 대상으로 PlanetScope 위성 영상을 활용하여, 사전 학습된 CNN 과 공간 마스크를 결합한 방법이 손으로 제작된 특징이나 지리 공간 기반 모델보다 월등히 높은 정밀도 (F1 점수 0.926) 로 약탈된 유적지를 탐지할 수 있음을 입증했습니다.

핵심

이 논문은 고고학 유적지가 도둑질당하는지 (약탈당하는지) 를 위성 사진으로 인공지능 (AI) 이 찾아내는 방법에 대한 연구입니다.

마치 수천 개의 작은 보물상자를 가진 감시원이 있다고 상상해 보세요. 이 상자들은 아프가니스탄이라는 거대한 땅에 흩어져 있고, 그중 일부는 도둑이 와서 파헤쳐서 망가뜨렸고, 나머지는 그대로 잘 보존되어 있습니다. 문제는 이 상자가 너무 많고, 멀리 떨어져 있어서 사람이 직접 가서 확인하기가 불가능하다는 점입니다.

이 연구팀은 AI 를 훈련시켜서 위성 사진만 보고 "어디가 도둑맞았는지"를 자동으로 찾아내는 시스템을 만들었습니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

1. 문제 상황: 거대한 모래밭에서 바늘 찾기

고고학 유적지는 수천 개나 되는데, 도둑들은 밤낮없이 땅을 파헤쳐서 유물을 훔쳐갑니다. 사람이 직접 가서 확인하려면 비용도 너무 많이 들고, 전쟁 지역이라 위험하기도 합니다. 그래서 연구팀은 위성 사진을 사용하기로 했습니다. 하지만 위성 사진은 너무 넓고, 도둑이 파낸 자국은 흙의 질감이나 색깔이 아주 미세하게 변하는 정도라 눈으로 구별하기 매우 어렵습니다. 마치 거대한 모래밭에서 발자국 하나를 찾아내는 것과 비슷합니다.

2. 해결책: 두 가지 다른 탐정 팀

연구팀은 이 문제를 해결하기 위해 두 가지 다른 방식의 AI 팀을 만들어 경쟁시켰습니다.

• 팀 A (딥러닝 탐정): 이 팀은 **위성 사진 그 자체 (RGB 이미지)**를 통째로 AI 에게 보여줍니다. 마치 어린아이가 그림을 보고 "이건 도둑이 판 자리야!"라고 직관적으로 배우는 것과 같습니다. 이 팀은 **이미지넷 (ImageNet)**이라는 거대한 사진 도서관에서 미리 공부해 온 AI(사전 학습) 를 사용했습니다.
• 팀 B (전통적 분석가): 이 팀은 사진의 숫자 데이터를 분석합니다. 흙의 색깔, 빛의 반사율, 표면의 거칠기 등을 직접 계산해서 만든 '수학적 특징'을 AI 에게 줍니다. 또한 최신의 거대 AI 모델들이 만든 '지식 요약본 (임베딩)'도 사용했습니다.

3. 놀라운 결과: "직관"이 이겼다!

경쟁 결과, **팀 A(딥러닝 탐정)**가 압도적으로 이겼습니다.

• 팀 A (ResNet-50 모델): 정확도 92.6% 달성!
• 팀 B (전통적 분석가): 정확도 71.0% 수준.

왜 팀 A 가 이겼을까요?
도둑이 파낸 자국은 아주 미세하고 복잡합니다. 사람이 직접 "이게 무슨 숫자야?"라고 계산하는 것보다, AI 가 사진을 직접 보고 "아, 이 모양은 도둑이 판 거야!"라고 패턴을 기억하는 것이 훨씬 효과적이었습니다.

4. 핵심 비결: "초점 렌즈" (공간 마스크)

이 연구에서 가장 중요한 발견 중 하나는 **'공간 마스크 (Space Mask)'**의 역할입니다.

• 비유: 유적지 주변에는 도로, 집, 농장 같은 잡다한 것들이 많습니다. 도둑이 유적지 안을 파냈는데, AI 가 옆에 있는 농장 사진을 보고 혼란을 겪으면 안 됩니다.
• 해결: 연구팀은 **유적지 모양만 잘라낸 '가림막 (마스크)'**을 씌워주었습니다. 마치 현미경으로 유적지 부분만 확대해서 보는 것처럼, AI 가 주변 잡다한 배경을 무시하고 유적지 내부의 흙 질감에만 집중하게 한 것입니다.
• 효과: 이 가림막을 씌우니 AI 의 성능이 30~45%나 급상승했습니다.

5. 시간의 함정: "올해 사진"이 더 좋다

흥미로운 점은 여러 해의 사진을 다 합치기보다, 특정 한 해 (2023 년) 의 사진으로만 학습했을 때 더 잘했다는 것입니다.

• 이유: 도둑질은 시간이 지나면 흙이 다시 덮이거나 비에 씻겨 자국이 사라질 수 있습니다. 2016 년에 도둑질한 흔적이 2023 년에는 이미 사라졌을 수도 있는데, AI 에게 "이건 도둑맞은 곳이야 (2023 년 기준)"라고 가르치면 AI 가 혼란을 겪게 됩니다 (레이블 노이즈). 그래서 가장 최신의, 상태가 명확한 사진으로 학습하는 것이 더 정확했습니다.

6. 결론: 무엇을 배웠나요?

1. AI 가 그림을 보는 게 낫다: 복잡한 수학적 계산보다, AI 가 사진을 직접 보고 패턴을 배우는 것이 도둑질 탐지에 더 강력합니다.
2. 주변을 가려라: 유적지 주변을 잘라내고 유적지 내부만 보여주면 AI 가 훨씬 잘 찾습니다.
3. 텍스처 (질감) 가 핵심: 도둑이 파낸 자국은 색깔보다는 흙의 거칠기와 질감에서 가장 뚜렷하게 나타납니다.

요약

이 연구는 **"위성 사진으로 고고학 유적지의 도둑질을 막기 위해, AI 에게 유적지 부분만 잘라내서 보여주고, 최신 사진으로 가르치는 것이 가장 효과적이다"**라는 것을 증명했습니다. 이제 이 기술을 전 세계 다른 지역 (시리아, 이집트 등) 으로 확장하여 문화재를 보호하는 데 사용하려는 계획입니다.

마치 수천 개의 보물상자를 지키는 똑똑한 감시 카메라가 생긴 것과 같은 셈입니다.

기술 요약

논문 요약: 머신러닝을 활용한 위성 기반 유적지 약탈 탐지

1. 문제 정의 (Problem Statement)

• 배경: 전 세계적으로, 특히 중동 및 북아프리카와 같은 분쟁 지역이나 외진 곳에서 고고학 유적지의 약탈 (Looting) 이 심각한 문화유산 위협이 되고 있습니다.
• 과제: 수천 개의 원격 지역을 모니터링하는 것은 인력 소모가 크고 비용이 많이 들며, 전통적인 지상 기반 감시로는 확장성이 부족합니다.
• 기술적 난제: 유적지 약탈로 인한 지표면 변화 (흙 질감 교란, 불규칙한 미세 지형, 국소적 분광 이상) 는 매우 미묘하고 공간적으로 확산되어 있어, 침식이나 농업 활동과 구별하기 어렵습니다. 기존 수동 분석이나 단순 이미지 처리로는 대규모 및 장기적인 감시가 불가능했습니다.

2. 데이터셋 (Dataset)

• 규모: 아프가니스탄 내 1,943 개의 고고학 유적지 (약탈된 곳 898 개, 보존된 곳 1,045 개) 를 포함하는 현재까지 가장 큰 규모의 데이터셋입니다.
• 이미지 소스: PlanetScope 월별 모자이크 이미지 (RGB+NIR, 해상도 4.7m/pixel) 를 2016 년부터 2023 년까지 (96 개월) 활용했습니다.
• 주석 (Annotation):
  • 라벨: 2023 년 12 월 기준 '약탈됨' 또는 '보존됨'으로 분류되었으며, 고고학 전문가 팀이 검증했습니다.
  • 공간 마스크 (Spatial Masks): 각 유적지의 발자국 (footprint) 을 다각형으로 수동 주석하여 이진 마스크로 변환했습니다. 이는 도로, 현대적 정착지, 농지 등 유적지와 무관한 배경 정보를 제거하고 약탈 흔적이 있는 영역에 집중할 수 있도록 합니다.

3. 방법론 (Methodology)

연구팀은 두 가지 주요 접근 방식을 비교 평가했습니다.

A. 종단간 (End-to-End) CNN 기반 접근법

• 모델: Raw RGB 패치 (원본 이미지) 를 직접 학습하는 딥러닝 모델 (ResNet-18/34/50, EfficientNet-B0/B1).
• 학습 전략:
  • 전이 학습 (Transfer Learning): ImageNet 에서 사전 훈련된 가중치를 사용하거나 무작위 초기화 (Random Initialization) 를 적용하여 비교.
  • 공간 마스크 적용: 입력 이미지에 수동 주석된 마스크를 곱하여 배경 노이즈를 제거하고 유적지 내부에 집중하도록 함.

B. 전통적 머신러닝 (Traditional ML) 기반 접근법

• 특징 추출:
  1. 수작업 특징 (Handcrafted Features): 분광 지수 (식생, 수분), GLCM(회색조 공발생 행렬) 기반의 질감 특징, LBP(국소 이진 패턴) 등 42 차원의 특징 벡터.
  2. 기반 모델 임베딩 (Foundation Model Embeddings): SatMAE, SatCLIP, DINOv3, Prithvi-EO, GeoRSCLIP, Satlas-Pretrain 등 최신 원격 감지 기반 모델에서 추출한 임베딩.
• 분류기: 로지스틱 회귀 (LR), 랜덤 포레스트 (RF), 그래디언트 부스팅 (GB), XGBoost (XGB).
• 시간적 집계 (Temporal Aggregation): 월별 데이터를 처리하기 위해 평균 (Mean), 중앙값 (Median), 연결 (Concatenation), PCA(주성분 분석) 압축 등 다양한 전략을 적용.

4. 주요 결과 (Key Results)

• 성능 비교:
  • 최고 성능: ImageNet 사전 훈련된 ResNet-50에 공간 마스크를 적용한 모델이 F1 점수 0.926을 기록하여 가장 우수한 성능을 보였습니다.
  • 전통적 ML 최고 성능: SatCLIP-V 임베딩 + 랜덤 포레스트 + 평균 집계 (SatCLIP-V+RF+Mean) 조합이 F1 점수 0.710으로, CNN 기반 모델보다 성능이 현저히 낮았습니다.
• 전이 학습 및 마스크의 효과:
  • ImageNet 사전 훈련은 모든 백본 모델에서 F1 점수를 6~14% 향상시켰습니다.
  • 공간 마스크 적용은 CNN 모델의 F1 점수를 **30~45%**까지 획기적으로 높였습니다 (예: ResNet-50 의 경우 마스크 미적용 시 0.565 → 적용 시 0.926).
  • 반면, 일부 기반 모델 임베딩 (DINOv3, SatMAE 등) 의 경우 마스크 적용이 오히려 성능을 저하시켰으며, 이는 이러한 모델이 더 넓은 장면의 문맥에 의존할 수 있음을 시사합니다.
• 시간적 일관성 (Temporal Consistency):
  • 단일 연도 (2023 년) 이미지로 학습하는 것이 다년 (2016-2023) 데이터를 학습하는 것보다 더 높은 정확도를 보였습니다. 이는 약탈이 누적되는 과정이며, 초기 라벨이 시간이 지남에 따라 시각적 흔적이 희미해지면서 발생하는 '시간적 라벨 노이즈'를 줄이기 때문입니다.
• 특징 중요도 (Feature Importance):
  • SHAP 분석 결과, **질감 기반 특징 (Texture-based features)**이 약탈 탐지에 가장 강력한 신호를 제공했습니다. 특히 NIR(근적외선) 밴드의 Sobel 엣지 강도와 GLCM 기반의 대비 (Contrast), 엔트로피 (Entropy) 특징이 가장 중요했습니다.

5. 주요 기여 (Key Contributions)

1. 체계적 비교 프레임워크: 원본 이미지 기반 CNN 과 전통적 ML(수작업 특징 및 기반 모델 임베딩) 을 대규모 고고학 데이터셋에서 최초로 체계적으로 비교 평가했습니다.
2. 최대 규모 데이터셋 공개: 1,943 개의 유적지와 다년 (2016-2023) 이미지, 수동 주석 공간 마스크를 포함한 대규모 데이터셋을 구축 및 공개했습니다.
3. 실용적 통찰:
   • 공간 마스크의 중요성: 배경 노이즈를 제거하고 유적지 발자국에 집중하는 것이 약탈 탐지 성능 향상에 결정적임을 입증했습니다.
   • 단일 연도 학습의 효율성: 누적 약탈 과정의 특성상, 시간적 라벨 노이즈를 줄이기 위해 특정 시점 (2023 년) 의 일관된 데이터로 학습하는 것이 더 효과적임을 보였습니다.
   • 전이 학습의 우위: 도메인 시프트 (Domain Shift) 가 있음에도 ImageNet 기반 전이 학습이 고고학 문맥에서도 강력한 베이스라인임을 확인했습니다.

6. 의의 및 결론 (Significance & Conclusion)

이 연구는 위성 원격 감지와 머신러닝을 결합하여 문화유산 보호를 위한 확장 가능한 솔루션을 제시합니다.

• 기술적 의미: 미세하고 국소적인 약탈 흔적을 탐지할 때, 수동으로 설계된 특징이나 최신 기반 모델 임베딩보다 종단간 학습된 CNN 표현 (Representation) 과 공간적 주의 메커니즘 (Spatial Masking) 의 결합이 훨씬 효과적임을 입증했습니다.
• 실용적 가치: 이 프레임워크는 중동, 북아프리카 등 분쟁 지역을 포함한 전 세계 유적지의 약탈을 실시간으로 모니터링하고, 문화유산 보호 기관이 신속한 개입을 할 수 있도록 지원합니다.
• 향후 과제: 더 높은 해상도의 이미지 활용, 다른 지질학적 조건 (시리아, 수단, 이집트 등) 으로 확장, 그리고 전문가 주석 의존도를 낮추기 위한 활성 학습 (Active Learning) 및 반지도 학습 방법론 연구가 필요합니다.

이 논문은 고고학 유적지 보호를 위한 AI 기반 감시 시스템의 새로운 표준을 제시하며, 문화유산 보존에 있어 기술의 중요한 역할을 보여줍니다.