Spatially honest validation of machine-learning prospectivity maps for karst bauxite in Kazakhstan

기술 요약: 카자흐스탄 카르스트 보크사이트의 머신러닝 잠재력 지도에 대한 공간적 정직성을 갖춘 검증

문제 제기
광상 잠재력 매핑(MPM)은 지질, 지화학 및 원격 탐사 데이터를 통합하기 위해 머신러닝(ML)에 점점 더 의존하고 있다. 그러나 모델 검증에는 결정적인 격차가 존재한다. 표준적인 무작위 교차 검증(Random Cross-Validation, CV)은 종종 과도하게 높은 성능 지표(예: ROC-AUC > 0.95)를 산출하는데, 이는 광상의 공간적 클러스터링과 래스터 데이터의 내재적 자기상관성을 고려하지 못하기 때문이다. 이러한 설계에서는 테스트 픽셀이 훈련 픽셀과 공간적으로 인접하게 되어, 모델이 전이 가능한 광화 작용 기준을 학습하는 대신 국지적 질감을 "암기"하게 만든다. 이는 모델이 알려진 지형에서는 잘 작동하지만, 실제로 보지 못한 클러스터링된 광상 체계에 적용될 때는 실패하게 만드는 "공간적 낙관주의(spatial optimism)"를 초과한다. 이러한 문제는 복잡한 고지형 및 피복물에 의해 제어되는 희소하고 길쭉하며 불연속적인 렌즈 형태로 나타나는 카르스트 보크사이트의 경우 특히 심각하다. 따라서 겉으로 보이는 픽셀 수준의 식별 능력과 전이 가능한 광상 규모의 기술(skill)을 구분하는 것이 필수적이다.

방법론
본 연구는 겉으로 보이는 식별 능력과 전이 가능한 기술을 분리하기 위해 설계된 "선 분할, 선 감사(split-first, audit-first)" 워크플로우를 제안한다. 저자들은 Sentinel-2 표면 반사율(2019–2024), 9개의 분광 지수, 3개의 지형 파생 변수(고도, 경사, 사면 방향)를 사용하여 카자흐스탄 전역 약 6,500 km²에 걸쳐 카르스트 보크사이트 잠재력을 매핑하였다. 민감한 탐사 데이터를 보호하기 위해 절대 좌표는 제외되었으며, 위상과 거리를 보존하는 로컬 이동 UTM 시스템에서 분석이 수행되었다.

핵심 혁신은 운영 중인 Random Forest 모델(700개 트리)에 적용된 **4단계 검증 사다리(four-rung validation ladder)**이며, 여기에는 Logistic Regression, XGBoost, LightGBM 베이스라인이 포함된다:

1. 무작위 교차 검증(Random CV): 겉으로 보이는 픽셀 수준의 식별 능력을 위한 베이스라인 역할을 한다.
2. 공간 블록 교차 검증(Spatial-Block CV): 공간적 누수(spatial leakage)를 완화하기 위해 훈련 및 테스트 데이터를 지리적으로 분리한다(기본 5 km 블록).
3. k-최근접 이웃 거리 매칭(kNNDM): 실제 예측 설정과의 거리 분포를 일치시켜 현실성을 테스트한다.
4. 광상 클러스터 제외 검증(LOCO-CV): 가장 엄격한 테스트로, 알려진 광상의 전체 클러스터(DBSCAN을 통해 정의됨)와 그 주변 배경을 훈련에서 제외하여 새로운 광상을 찾아내는 모델의 능력을 평가한다.

추가적인 방법론적 구성 요소는 다음과 같다:

• 양의 미표기(Positive-Unlabelled, PU) 민감도: "배경" 픽셀이 확인된 불모지가 아니라 검증되지 않은 지형임을 인정한다.
• 컨포멀 예측(Conformal Prediction): 비대칭적 불확실성을 정량화하여, 신뢰할 수 있는 배경 제거와 이질적인 보크사이트 확인을 구분한다.
• 적용 가능 영역(Area-of-Applicability, AOA): 예측 변수의 조합이 훈련 분포를 벗어나는(외삽) 지역을 식별하는 마스크이다.
• 잔차 자기상관 분석: 베리오그램과 Moran's I를 사용하여 검증을 위한 최적의 블록 크기(약 20 km)를 결정한다.

주요 결과
검증 사다리는 겉으로 보이는 식별 능력과 전이 가능한 기술 사이의 상당한 격차를 드러냈다:

• 무작위 CV: 모델은 ROC-AUC 0.984, PR-AUC 0.941을 달성하였으며, 이는 공간적 누수로 인한 "낙관주의"를 반영한다.
• 공간 블록 CV: 5 km 블록 적용 시 성능이 ROC-AUC ≈ 0.84로 하락하였다. 블록 크기가 잔차 자기상관 범위(~20 km)를 향해 커짐에 따라 성능은 ROC-AUC ≈ 0.78에서 안정화되었다.
• 엄격한 예측 지향 스킴: kNNDM과 LOCO-CV 모두 ROC-AUC ≈ 0.77–0.78로 수렴하였으며, LOCO-CV는 PR-AUC 0.507을 기록했다.
• 광상 수준의 기술: 17개의 홀드아웃(held-out) 광상 클러스터에 대한 부트스트래핑 결과, 평균 ROC-AUC는 0.72(95% CI: 0.64–0.80)로 나타났으며, 이는 모델이 실제 신호를 학습하되 서로 다른 광상 체계에 따라 이질적임을 나타낸다.

불확실성 및 적용 가능성

• 컨포멀 예측: 비대칭적 불확실성을 보여주었다. 모델은 배경과 유사한 지형은 신뢰성 있게 제거(9 coverage 90%)했으나, 보이지 않는 클러스터 내의 보크사이트와 유사한 지형을 확인하는 데는 어려움(41% coverage)을 겪었다.
• AOA 스크리닝: 상위 1%의 잠재력 표면에서 식별된 69개의 고득점 후보 타겟 중 20개가 외삽적(AOA 외부)인 것으로 분류되었다. 이는 해당 지역의 예측 변수 조합이 훈련 데이터에 제대로 표현되지 않았음을 의미한다.
• 예측 변수 중요도: 고도가 지배적인 예측 변수였으며, 습도/SWIR 및 식생 지수가 그 뒤를 이었다. 저자들은 이를 모델이 직접적인 지하 광화 작용보다는 지표 표현 및 지형적 위치(잔여 릴리프, 보존 상태)를 포착하고 있는 것으로 해석한다.

의의 및 주장
본 논문은 완벽한 분류기나 새로운 알고리즘을 만들었다고 주장하지 않는다. 대신, 이 논문의 주요 기여는 겉으로 보이는 픽셀 수준의 식별 능력과 전이 가능한 광상 규모의 기술를 엄격하게 구분하는 감사 가능한 검증 및 배포 프로토콜이다.

저자들은 희소하고 클러스터링된 레이블과 미검증된 배경을 가진 광물 시스템의 경우, 단일 교차 검증 점수를 보고하는 것은 오해의 소지가 있다고 주장한다. 본 연구는 "정직한" 검증(LOCO-CV 및 공간 블록)이 무작위 CV에 비해 성능 추정치를 약 20 퍼센트 포인트 감소시킨다는 것을 입증한다. 결과적으로, 생성된 잠재력 지도는 발견 확률 표면으로 해석되어서는 안 된다. 대신, 이는 교정되고, 불확실성을 인지하며, 적용 가능성이 스크리닝된 탐사 우선순위 선정 제품이다. 이는 모델이 어디서 외삽하고 있는지, 그리고 어디에서 불확실성이 높은지를 명시적으로 표시함으로써 현장 검증을 위한 타겟 순위를 정하는 의사결정 지원 도구 역할을 하며, 탐사 타겟팅에서의 과도한 확신을 방지한다.