A transferable explainable and uncertainty-aware machine learning framework for water quality classification in data-scarce regions

기술 요약: 데이터 희소 지역의 수질 분류를 위한 전이 가능한 설명 가능 및 불확실성 인지 머신러닝 프레임워크

문제 정의
데이터 희소 지역에서의 수질 평가는 파편화된 모니터링 네트워크, 이질적인 데이터셋, 가변적인 라벨 품질, 그리고 결정 임계값의 불확실성을 포함한 심각한 과제에 직면해 있다. 수질 지수(WQI)는 단순화된 소통 도구를 제공하지만, 특히 서로 다른 맥락에서 전이된 임계값을 사용할 때 지역적 수화학적 복잡성과 불확실성을 가리는 경우가 많다. 기존의 머신러닝(ML) 접근 방식은 종종 작업 정의보다 예측 정확도를 우선시하며, 독립적인 분류 문제와 지수 유도 라벨에 기반한 규칙 회복(rule-recovery) 연습을 혼동하곤 한다. 또한, 이러한 모델들은 설명 가능성과 불확실성 추정 기능이 부족하여, 물리화학적 매개변수가 수질 클래스를 완전히 분리하지 못할 수 있는 환경에서 과도하게 확신에 찬 예측을 내놓는 경향이 있다. 본 연구는 데이터 희소성, 작업 이질성, 그리고 정보 누출(information leakage)의 위험을 명시적으로 다루는 신중하고 재현 가능한 의사결정 지원 프레임워크의 필요성을 다룬다.

방법론
저자들은 오픈 액세스 데이터셋, WQI 추론, 누출 방지형 작업 구성, 지도 학습, 설명 가능한 AI(XAI), 그리고 불확실성 추정을 통합하는 전이 가능한 프레임워크를 제안한다. 워크플로우는 다음 단계들을 통해 진행된다:

1. 데이터 큐레이션 및 조화(Harmonization): 5개의 오픈 액세스 데이터셋을 검토하고 조화시켰다. 여기에는 열 이름 표준화, 변수의 수치 형식 변환, (훈련 세트 통계만을 사용한) 중앙값 대체법을 통한 결측치 처리, 중복 레코드 제거가 포함되었다. 결정적으로, 순환 논리를 방지하기 위해 타겟 라벨이나 WQI 점수를 직접 인코딩하는 변수들을 예측 행렬에서 제외하는 누출 방지 프로토콜을 강제하였다.
2. 작업 정의: 모델 성능을 오해하는 것을 방지하기 위해 세 가지 뚜렷한 작업군을 명시적으로 분리하였다:
   • 이진 수질 적합성 분류 (Binary Water Potability Classification): 물리화학적 기술자를 사용하여 음용 가능 여부를 구분하는 것을 목표로 하는 주요 "어려운" 작업이다.
   • 구조화된 지하수 수질 분류 (Structured Groundwater Quality Classification): 염도 및 나트륨 함량과 같은 매개변수에 기반한 수화학적 분류 작업이다.
   • WQI 규칙 회복 (WQI Rule-Recovery): 모델이 WQI 로직으로부터 도출된 분류를 재현하려고 시도하는 보조 작업으로, 이는 독립적인 현장 검증이 아닌 규칙 근사의 테스트 역할을 한다.
3. 라벨 구축: WQI 작업의 경우, 다양한 공식(등가 가중치, 가중 산술, 엔트로피 가중, CRITIC 가중, 하이브리드 엔트로피-CRITIC)을 사용하여 라벨을 생성하였다. 이들은 엄격하게 규칙 회복 작업에만 사용되었으며, 적합성에 대한 독립적인 현장 검증(ground truth)으로 사용되지 않았다.
4. 모델링 및 최적화: 광범적인 알고리즘 세트(Random Forest, Extra Trees, HistGradientBoosting, XGBoost, LightGBM, SVM, KNN, MLP)를 평가하였다. 하이퍼파라미터 최적화는 클래스 불균형을 해결하기 위해 F1-macro와 균형 정확도(balanced accuracy)에 초점을 맞추었다. 리샘플링 기법(SMOTE, ADASYN)은 정보 누출을 방지하기 위해 오직 훈련 폴드 내에서만 적용되었다.
5. 설명 가능성 및 불확실성:
   • 설명 가능성: SHAP(Shapley Additive Explanations)과 순열 중요도(permutation importance)를 사용하여 물리화학적 동인을 식별하였다.
   • 불확실성: 프레임워크는 확률 교정(probability calibration), 신뢰도 점수, 결정 마진, 엔트로피 분석, 그리고 분할-컨포멀 예측(split-conformal prediction)을 채택한다. 이를 통해 시스템은 증거가 강력할 때는 단일 클래스를 출력하고, 불확실성이 높을 때는 가능한 클래스 집합을 출력하거나 전문가 검토 플래그를 표시할 수 있다.

주요 결과

• 작업별 성능:
  • 이진 적합성: Random Forest 모델은 적절한 성능(정확도: 0.6890, 균형 정확도: 0.6627, F1-macro: 0.6655, ROC-AUC: 0.6902)을 달성했다. 이는 가용한 물리화학적 기술자들이 음용 가능 및 불가능 샘플을 부분적으로만 분리할 수 있음을 확인시켜 준다.
  • 지하수 분류: 텔랑가나(Telangana) 데이터셋에서 모델들이 완벽에 가까운 점수(정확도: 1.0000)를 기록했는데, 이는 큐레이션된 데이터셋 내의 수화학적 클래스들이 매우 구조화되어 있고 분리 가능하다는 것을 나타낸다.
  • WQI 규칙 회복: 모델들이 매우 높은 성능(정확도 > 0.98)을 달성하여, ML이 지수 기반 결정 규칙을 효과적으로 근사할 수 있음을 확인하였다. 그러나 저자들은 이것이 독립적인 현장 검증이 아닌 규칙 회복을 반영하는 것임을 경고한다.
• 불확실성 분석: 어려운 적합성 작업의 경우, 불확실성 레이어는 약 6.25%의 예측만이 매우 신뢰할 수 있음을 드러냈다. 그러나 이 신뢰할 수 있는 하위 집합은 약 0.8780의 정확도를 달성했다. 반대로, 약 63.11%의 샘플은 전문가 검토 대상으로 분류되어 모호한 데이터에 대한 과도한 확신을 방지하였다.
• 설명 가능성: 모델은 과학적으로 의미 있는 동인들을 식별하였다. 적합성의 경우 주요 변수는 황산염, pH, 고형물, 클로라민 및 경도였다. 지하수의 경우 전기 전도도, 나트륨 흡착비(SAR), 총 경도가 지배적이었다.

핵심 기여

1. 방법론적 구별: 본 연구는 독립적인 분류 작업과 WQI 규칙 회복 작업을 비판적으로 분리함으로써, 예측에 사용된 특징과 동일한 특징으로부터 라벨이 유도될 때 발생할 수 있는 모델 능력의 과대평가를 방지한다.
2. 불확실성 인지 의사결정 지원: "맹목적인 자동 분류기"로 작동하는 대신, 이 프레임워크는 불확실한 샘플을 전문가 검토를 위해 명시적으로 표시하는 의사결정 지원 도구로서 기능하며, 이는 데이터 희소 지역에서 매우 중요한 기능이다.
3. 전이 가능한 프레임워크: 이 워크플로우는 현장 데이터가 확보되었을 때 지역적 맥락에 적응할 수 있도록 수질 데이터를 감사, 정제 및 모델링하는 재현 가능한 방법론을 제공한다.
4. 신중한 해석: 본 논문은 보편적 일반화를 주장하기보다는, 현지 캘리브레이션(calibration)을 위한 기초 단계로서 본 연구를 위치시킨다.

의의 및 주장
저자들은 이 프레임워크가 확정적인 자동 분류기가 아니라 "신중하고 재현 가능한 의사결정 지원 프레임워크"를 제공한다고 주장한다. 이 연구의 주요 의의는 (특히 데이터가 제한적이거나 파편화된 기니의 맥락을 언급하며) 데이터 희소 지역에 대한 적용 가능성에 있다. 설명 가능성과 불확실성 추정을 통합함으로써, 프레임워크는 예측에 신뢰도 평가를 동반하도록 하여, 필수적인 실험실 확인을 대체하지 않으면서도 공중 보건 및 환경 관리를 지원한다.

본 논문은 현재의 결과가 오픈 액세스 데이터셋에 기반한 것이며, 기니 수계에 대한 직접적인 운영적 예측을 구성하지 않는다는 점을 명시적으로 밝히고 있다. 이 프레임워크는 현장 데이터(우물, 시추공, 지표수)와 확장된 변수(미생물 지표, 중금속, 계절적 영향)를 사용하여 2단계에서 적응, 재교정 및 검증되도록 설계되었다. 이 작업은 아프리카 환경에서 현장 구현 전 단계로서, 견고하고 투명하며 불확실성을 인지하는 모델링이 요구되는 상황을 위한 방법론적 토대로서 기능한다.