A Distributed CatBoost Approach with Weighted Aggregation for STI/HIV Risk Prediction

당신이 거대한 글로벌 미스터리를 풀려고 노력하고 있다고 상상해 보십시오. HIV나 다른 성매개 감염병(STI)처럼 소리 없이 찾아오는 보이지 않는 적의 위험에 누가 처해 있는지를 밝혀내는 일입니다. 이러한 감염병은 증상을 나타내지 않고 조용히 숨어 있다가 너무 늦기 전에 퍼지는 까다로운 특성이 있습니다. 이를 조기에 포착하기 위해 의사와 과학자들은 사람들이 실제로 아프기 전부터 누가 병에 걸릴지 예측해야 합니다. 보통 이러한 예측을 하기 위해 컴퓨터(특히 머신러닝 모델)에는 수백만 명의 데이터를 한데 섞은 거대한 그릇이 입력됩니다. 하지만 여기에는 문제가 있습니다. 모든 사람의 사적인 의료 비밀을 하나의 거대한 그릇에 섞는 것은 심각한 개인정보 보호 문제를 일으킵니다. 마치 패턴을 찾아내기 위해 모든 사람에게 자신의 일기장을 중앙 사무실에 제출하라고 요구하는 것과 같습니다.

여기서 영리한 새로운 아이디어가 등장합니다. 데이터를 모두 섞는 대신, 각 나라가 자신만의 일기를 간직하고 자신만의 탐정을 훈련시킨다면 어떨까요? "분산 학습(distributed learning)"이라고 불리는 이 접근 방식은 컴퓨터가 원본 비밀 데이터를 중앙 서버로 보내지 않고도 로컬 데이터를 통해 학습할 수 있게 해줍니다. 당신이 읽게 될 논문은 이 아이디어의 고도로 기술적인 버전을 탐구합니다. 이 방식은 "CatBoost"(목록 형태의 사실들에서 패턴을 찾는 데 매우 능숙한 슈퍼 탐정이라고 생각하십시오)라는 스마트한 알고アル고리즘과 "Leave-One-Country-Out(한 국가 제외)" 검증법을 사용합니다. 이 검증법은 탐정이 단순히 과거의 것을 암기하는 것이 아니라, 새로운 장소에서도 실제로 미스터리를 해결할 수 있는지 증명하기 위해, 7개국에서 훈련받고 본 적 없는 8번째 국가를 대상으로 시험을 치르는 최종 시험과 같습니다.

탐정단과 프라이버시 퍼즐

이 연구에서 연구진은 큰 과제에 직면했습니다. 8개국 168,459명의 데이터를 보유하고 있었지만, 개인정보 보호 규칙을 어기지 않으면서 HIV 및 STI 위험을 예측하고 싶었습니다. 모든 데이터를 한꺼번에 집어삼키는 하나의 거대한 중앙 집중형 모델을 구축하는 대신(연구진은 이것이 위험하며 지역적 특성을 놓칠 수 있다고 주장합니다), 그들은 "분산된" 탐정 팀을 구축했습니다.

이 시스템이 어떻게 작동하는지 재미있는 비유를 들어 설명하겠습니다. 8개의 서로 다른 마을이 있고, 각 마을마다 자체적인 지역 탐정 사무소가 있다고 상상해 보십시오. 마을의 모든 파일을 중앙 본부로 보내는 대신, 각 마을은 연령, 교육, 행동과 같은 지역적 단서를 바탕으로 위험 징후를 포착하기 위해 자신만의 탐정 팀(CatBoost 알고리즘 사용)을 훈련시킵니다.

하지만 반전이 있습니다. 모든 마을이 동일한 양의 증거를 가지고 있는 것은 아니며, 모든 탐정 팀의 예리함도 동일하지 않습니다. 어떤 마을은 수천 개의 파일을 가지고 있고, 다른 마을은 적게 가지고 있습니다. 어떤 탐정들은 본래 진실을 포착하는 데 더 뛰어납니다. 그래서 연구진은 단순히 모든 마을이 똑같은 크기로 대답을 외치도록 내버려 두지 않았습니다. 그들은 "가중치 합산(weighted aggregation)" 시스템을 만들었습니다. 이것을 데이터가 많고 더 날카로운 탐정을 보유한 마을의 투표가 더 큰 비중을 갖는 투표 시스템이라고 생각하십시오. 만약 특정 마을의 로컬 모델이 매우 확신이 있고 이를 뒷받침할 데이터가 많다면, 그 예측은 최종 결정에서 더 큰 목소리를 갖게 됩니다. 반대로 마을의 모델이 불안정하거나 데이터가 매우 적다면, 그 목소리는 작아집니다.

로컬 탐정들이 정말 신뢰할 수 있는지 확인하기 위해, 연구진은 마을당 단 한 명의 탐정만을 고용한 것이 아닙니다. 그들은 각각 약간씩 다르게 훈련된(서로 다른 랜덤 시드를 사용하여) 탐정 부대를 고용했고, 그들의 의견을 평균 냈습니다. 이 "로컬 앙상블(local ensemble)"은 만약 한 명의 탐정이 운이 나쁘거나 단서를 놓치더라도, 부대의 다른 탐정들이 이를 잡아낼 수 있도록 보장합니다.

결과: 지역의 마음을 가진 글로벌 팀

연구진이 이 분산된 팀을 테스트했을 때, 결과는 놀라울 정도로 강력했습니다. 그들은 "Leave-One-Country-Out (LOCO)"이라는 엄격한 테스트 방법을 사용했습니다. 즉, 시스템을 7개국에 대해 훈련시킨 다음, 한 번도 본 적 없는 8번째 국가의 위험을 예측하도록 요청한 것입니다. 이 과정을 순환시켜 모든 국가가 "테스트 학생"이 되는 기회를 가졌습니다.

HIV를 예측하는 데 있어 팀은 믿을 수 없을 정도로 정확했습니다. 평균적으로 그들은 0.9850(1.0이 완벽함)의 "AUC" 점수와 0.9537의 정확도를 달랐습니다. 이는 시스템이 95%의 확률로 정답을 맞혔음을 의미합니다. STI의 경우에도 성능은 매우 높았으며, 평균 AUC는 0.9396, 정확도는 0.9117이었습니다.

하지만 논문은 모든 국가가 모델과 완벽하게 일치하는 것은 아니라는 점도 발견했습니다. 예를 들어, STI를 예측할 때 모델은 정확도가 0.7775로 떨어지고 AUC가 0.8275가 된 인도 데이터에서 다소 어려움을 겪었습니다. 연구진은 데이터의 구조를 살펴보기 위해 t-SNE라는 시각적 도구를 사용했는데, 일부 국가에서는 "위험군"과 "비위험군"의 패턴이 매우 뒤섞여 있어 구분하기가 더 어렵다는 것을 발견했습니다. 반면 기니의 HIV 데이터와 같은 다른 국가에서는 구분이 매우 명확하여 완벽에 가까운 점수를 기록했습니다.

또한 연구는 모델이 왜 그런 결정을 내렸는지 조사했습니다. 그들은 가장 중요한 "단서"가 국가마다 달라진다는 것을 발견했습니다. 어떤 곳에서는 교육 수준이 가장 큰 예측 변수였고, 다른 곳에서는 결혼 여부나 콘돔 사용과 같은 특정 행동이 중요했습니다. 이는 "원 사이즈(one-size-fits-all)" 모델이 이러한 지역적 차이를 놓칠 수 있음을 입증하며, 그들의 분산 접근 방식이 각 국가 데이터의 독특한 풍미를 성공적으로 포착했음을 보여줍니다.

이것이 중요한 이유 (그리고 주장하지 않는 것)

핵심적인 결론은 모든 사람의 사적인 데이터를 하나의 큰 통에 섞지 않고도 강력한 글로벌 건강 예측 도구를 구축할 수 있다는 것입니다. 저자들은 그들의 방법이 전통적인 중앙 집중식 모델에 대한 강력한 대안이며, 개인정보를 존중하면서도 높은 정확도를 제공한다고 주장합니다. 그들은 좋은 결과를 얻기 위해 반드시 모든 데이터를 하나로 모아야 한다는 생각에 명시적으로 반대하며, 스마트하고 가중치가 부여된 로컬 예측을 결합하는 것이 그만큼 혹은 그보다 더 잘 작동한다는 것을 보여주었습니다.

그러나 논문은 이것이 모든 상황에 적용되는 마법의 탄환이라고 주장하지 않도록 주의를 기울였습니다. 그들은 이 시스템이 계산적으로 더 많은 자원을 요구한다는 점(하나의 큰 팀을 훈련시키는 것보다 8개의 서로 다른 팀을 훈련시키는 것이 더 많은 컴퓨터 성능을 필요로 함)과, "보정(calibration, 예측된 확률이 실제 발생 가능성과 얼마나 잘 일치하는지)"이 모든 국가에 대해 완벽하지 않았다는 점을 인정했습니다. 예를 들어, 모델은 누가 위험에 처해 있는지를 구별하는 데는 탁월했지만, 일부 국가(인도 등)에 대해 제시한 정확한 확률 수치는 다른 국가(기니 등)보다 신뢰도가 낮았습니다.

궁극적으로, 이 연구는 데이터를 하나의 거대한 뇌가 아닌 로컬 전문가들의 팀으로 취급함으로써, 높은 정확도와 함께 개인정보 보호를 훨씬 더 존중하면서 복잡한 건강 퍼즐을 풀 수 있음을 시사합니다. 저자들은 다양한 인구 집단의 차이를 다루는 방식을 계속해서 개선해 나간다면, 이 방식을 미래의 건강 모니터링을 위한 실행 가능한 경로로 제안합니다.