Evaluation of decision tree algorithms for predictive machine learning modelling of potable water quality

깨끗한 물은 인류 건강의 기초이며, 공동체가 번영하고 경제가 성장할 수 있게 하는 기본적 필수 요소입니다. 그러나 이 물의 원천인 강, 호수, 그리고 지하 대수층은 변화하는 기후의 이동하는 패턴에 따라 점점 더 취약해지고 있습니다. 기온이 상승하고 날씨가 더욱 극단적으로 변함에 따라, 이러한 수역의 화학적 균형이 변화하여 오염 물질을 유입시키거나 물을 마시기에 안전하게 만드는 속성 자체를 변화시킬 수 있습니다. 수십 년 동안 과학자들은 이러한 변화를 모니터링하기 위해 물리적 테스트와 화학적 분석에 의존해 왔지만, 데이터의 엄청난 양과 환경적 요인의 복잡성으로 인해 미래의 위험을 속도와 정밀함을 갖추어 예측하는 데 어려움을 겪어 왔습니다. 최근 몇 년 동안, 이를 돕기 위한 새로운 도구인 머신러닝이 등장했습니다. 이 접근 방식은 컴퓨터 알고리즘을 사용하여 대규모 데이터 세트에서 숨겨진 패턴을 찾아내며, 연구자들이 실시간으로 모든 개별 변수를 이해할 필요 없이 복잡한 시스템에 대해 예측할 수 있도록 해줍니다. 컴퓨터에게 안전한 물과 안전하지 않은 물의 징후를 인식하도록 가르침으로써, 과학자들은 위기가 발생하기 전에 공중 보건을 보호할 수 있는 조기 경보 시스템을 구축하기를 희망하고 있습니다.

최근 한 연구에서 연구진은 어떤 컴퓨터 학습 방법이 물이 마시기에 안전한지를 예측하는 데 가장 적합한지 테스트하기 위해 착수했습니다. 그들은 산도(pH), 미네랄 함량, 그리고 수처리 과정 중 생성되는 특정 부산물의 존재를 포함하여 수질을 정의하는 특정 화학적 및 물리적 측정치에 집중했습니다. 연구팀은 확립된 건강 기준에 따라 각각 '안전' 또는 '불안전'으로 분류된 대규모의 실제 수질 샘사 데이터를 수집했습니다. 그런 다음 이 데이터를 정보를 범주로 분류하도록 설계된 컴퓨터 프로그램인 일곱 가지 유형의 서로 다른 의사 결정 알고리즘에 입력했습니다. 이 프로그램들은 단순한 단일 결정 모델부터 최종 결론에 도달하기 위해 수백 개의 작은 결정 트리를 구축하는 복잡한 시스템에 이르기까지 다양했습니다. 연구진은 특수 소프트웨어 도구를 사용하여 이 모델들을 수질 데이터에 실행하여, 안전한 샘플과 안전하지 않은 샘플을 올바르게 식별하는 능력을 테스트했습니다.

이 비교 결과는 명확했습니다. 모든 컴퓨터 모델이 어느 정도의 정확도를 제공했지만, 하나의 방법이 가장 신뢰할 수 있는 것으로 나타났습니다. 많은 작은 결정 트리들의 예측을 결합하여 작동하는 랜덤 포레스트(Random Forest)라고 알려진 알고리즘이 가장 높은 전체 성공률을 달ей했습니다. 이 알고리즘은 수질 샘플의 약 70%를 올바르게 분류했는데, 이는 테스트된 다른 모델들보다 높은 수치였습니다. 연구진이 이 최상위 모델의 성능을 더 깊이 조사했을 때, 이 모델이 안전한 물과 건강 위험을 초래하는 물 사이를 구별하는 데 특히 뛰어나다는 것을 발견했습니다. 이 모델은 물의 안전성을 예측하는 데 강력한 능력을 보여주었으며, 통계적 척도는 이 모델이 더 단순한 트리 기반 모델이나 다른 변형의 의사 결정 소프트웨어를 포함한 다른 방법들보다 더 일관되고 정확하다는 것을 나타냈습니다.

또한 이 연구는 컴퓨터 모델들이 판단을 내리는 데 사용한 구체적인 요인들을 강조했습니다. 데이터에는 pH, 경도, 용존 고형물, 그리고 소독제가 물속의 유기물과 반응할 때 형성될 수 있는 클로라민 및 트리할로메탄과 같은 다양한 화학 화합물에 대한 측정치가 포함되었습니다. 모델들은 이러한 값들이 함께 나타날 때 물이 불안전할 가능성이 높다는 것을 학습했습니다. 예를 들어, 특정 소독 부산물의 높은 수준은 수질이 저하되었음을 나타내는 강력한 지표였습니다. 이러한 패턴을 식합함으로써, 랜덤 포레스트 모델은 복잡한 화학 데이터를 걸러내는 강력한 필터로서 작용하여 '안전' 또는 '불안전'이라는 명확한 답을 제공할 수 있음을 입증했습니다.

이 연구는 수자원 관리자와 공중 보건 관계자들에게 실질적인 경로를 제시합니다. 수자원이 부족하거나 전통적인 테스트 방법이 너무 느리거나 비용이 많이 드는 지역에서, 이와 같은 컴퓨터 모델은 수질 안전에 대한 신속한 평가를 제공할 수 있습니다. 이 연구는 랜덤 포레스트 방식을 사용함으로써 당국이 특히 고인 물이나 영양염류 축적과 같은 문제에 직면한 지역에서 수원을 더 잘 모니터링할 수 있다고 제안합니다. 이 모델이 완벽하지 않고 여전히 오류의 여지가 남아 있지만, 이는 기술을 사용하여 근본적인 인권을 보호하기 위한 중요한 진전을 의미합니다. 이번 연구 결과는 사용 가능한 다양한 도구 중에서 이 특정 유형의 머신러닝이 수질을 예측하는 가장 신뢰할 수 있는 방법을 제공하며, 모두를 위한 깨끗한 물을 보장하기 위한 미래 노력의 견고한 토대를 제공한다는 점을 확인시켜 줍니다.