POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification

당신이 특정 목적지에 도달하기 위해 빽빽하고 안개가 자욱한 숲속에서 최적의 경로를 찾으려 한다고 상상해 보세요. 컴퓨터 과학의 세계에서 이것은 알고리즘이 데이터를 바탕으로 똑똑한 추측을 시도하는 "머신러닝(기계 학습)"과 비슷합니다. k-최근접 이웃(k-nearest neighbors, kNN)이라고 불리는 방법은 이 과정의 한 가지 인기 있는 방식입니다. kNN을 주변 사람 5명에게 길을 묻는 관광객이라고 생각해 보세요. 만약 그 5명 중 대부분이 "왼쪽으로 가세요"라고 말한다면, 관광객은 왼쪽으로 돕니다. 이 방식은 탁 트인 들판에서는 단순하면서도 잘 작동하지만, 굽이진 길이 있는 숲에서는 혼란을 겪을 수 있습니다. 만약 "왼쪽으로 가라"고 말하는 사람들이 긴 곡선 형태로 줄지어 서 있다면, 단순히 직선 거리로 가장 가까운 사람들만 찾는 관광객은 그 집단 전체를 놓치고 길을 잃을 수도 있습니다.

이 논문은 바로 이 문제를 다룹니다. 우리가 어떻게 데이터라는 숲속에서 구불구불하고 까다로운 경로를 헤매지 않고 항해할 수 있도록 도울 것인가 하는 문제입니다. 연구진은 이 "이웃에게 묻기" 전략의 더 나은 버전을 구축하고 있습니다. 그들은 단순히 가장 가까운 사람들을 찾는 것이 아니라, 마치 시냇가에 놓인 디딤돌처럼 논리적인 사슬로 연결된 사람들을 찾습니다. 또한 그들은 "아웃 오브 백(Out-of-Bag, OOB)" 스크리닝이라는 영리한 기술을 사용하는데, 이는 탐사대원들이 실제 여정을 시작하기 전에 연습용 지도로 자신의 지도를 테스트해보는 것과 같습니다. 길을 잃게 만든 지도들은 제외하고 남겨두는 것이죠.

논문의 이야기: 경로를 찾는 더 나은 방법

연구자 Zardad Khan과 그의 팀은 POSSE-kNN이라는 새로운 방법을 소개했습니다. 이것을 퍼즐을 풀기 위해 노력하는 탐험가들의 슈퍼팀이라고 생각할 수 있습니다. 단 한 명의 탐험가가 지도를 보는 대신, 그들은 500개의 서로 다른 "후보" 탐험가들을 만듭니다. 각 탐험가는 조금씩 다릅니다. 그들은 약간씩 다른 렌즈(무작위 특징 부분 공간)를 통해 숲을 바라보고, 고유한 경로를 따라 이웃을 찾습니다.

이들의 특별한 "경로 기반(Pathwise)" 방식은 다음과 같이 작동합니다. 당신이 쿼리 포인트(결정을 내려야 하는 지점)에 서 있는 탐험가라고 가정해 봅시다.

1. 첫 번째 단계: 당신은 주변을 둘러보고 당신과 가장 가까운 단 한 명의 사람을 찾습니다.
2. 연쇄 반응: 다음으로 가까운 사람을 당신에게서 찾는 대신, 방금 찾은 첫 번째 사람에게 가장 가까운 사람을 찾습니다. 그다음에는 그 사람에게 가장 가까운 사람을 찾습니다.
3. 경로: 이렇게 하여 $k$명의 사람이 연결된 "사슬"을 만들 때까지 이 과정을 반복합니다. 이는 군중이 구부러져 있거나 뒤틀려 있더라도, 군중의 국소적인 형태를 따르는 "경로"를 만들어냅니다. 이는 단순히 직선 거리로 가장 가까운 5명을 뽑는 것보다 훨씬 똑똑한 방식입니다. 왜냐하면 직선으로 가장 가까운 사람들은 이상하고 도움이 되지 않는 무리에 모여 있을 수도 있기 때문입니다.

하지만 탐험가가 500명이나 되면 노이즈가 너무 많을 수 있습니다. 어떤 탐험가는 길을 찾기에 서툴 수 있습니다. 그래서 팀은 아웃 오브 백(OOB) 스크리닝을 사용합니다. 최종 경주를 하기 전, 그들은 500명의 탐사대원 각각을 훈련에 사용하지 않았던 데이터 세트를 사용하여 연습 주행에 보냅니다. 만약 연습 중에 길을 잃은 탐사대원이 있다면 팀에서 탈락시킵니다. 연구진은 500명 중 상위 25%(가장 뛰어난 125명)를 선발하여 최종 답변에 투표하게 했습니다. 이는 심사위원들이 도전을 실패한 참가자들을 탈락시켜 승자를 결정하기 위해 챔피언들만 남기는 리얼리티 쇼와 같습니다.

연구 결과

연구팀은 이 새로운 POSSE-kNN 방법을 열 가지 서로 다른 데이터 세트(작은 의료 기록부터 큰 공학 데이터에 이르기까지 열 가지 서로 다른 유형의 숲과 같은 것)에서 테스트했습니다. 그들은 표준 kNN, 랜덤 포레스트(Random Forests), 서포트 벡터 머신(SVM)을 포함한 여섯 가지 기존의 확립된 방법들과 비교했습니다.

결과는 매우 유망했습니다. 전반적으로 POSSE-kNN이 종합 순위에서 1위를 차지했습니다.

• 정확도(Accuracy): 평균적으로 0.740의 확률로 정답을 맞혔습니다. 이는 테스트된 모든 방법 중 가장 높은 점수였습니다.
• 신뢰성(Reliability): 또한 진실과 얼마나 일치하는지를 나타내는 척도인 **코헨의 카파(Cohen's kappa, 0.412)**와 확률 예측의 자신감과 정확성을 측정하는 **브라이어 점수(Brier score, 0.175)**에서도 최고의 점수를 기록했습니다.

이 방법은 열 가지 데이터 세트 중 여덟 가지에서 1위를 차지하거나 공동 1위를 기록했습니다. 그러나 논문은 이것이 모든 것에 적용되는 마법의 탄환이라고 말하지 않도록 주의를 기울였습니다. 두 가지 특정 데이터 세트(ILPD와 Chscase Vine)에서는 다른 방법들이 약간 더 나은 성능을 보였습니다. 예를 들어, Chscase Vine 데이터의 경우 SVM이라는 선형 방법이 더 나았는데, 이는 때때로 "숲"이 실제로 직선이며 복잡한 경로가 필요하지 않을 수도 있음을 시사합니다.

"이웃은 몇 명인가?"라는 질문

연구진은 이웃의 수($k$)를 3, 5, 또는 7로 변경하며 그룹의 크기를 조절해 보기도 했습니다. 그들은 어떤 숲(예: "Heart" 데이터 세트)에서는 어떤 숫자를 선택하든 방법이 잘 작동한다는 것을 발견했습니다. 하지만 다른 숲(예: "ILPD")의 경우, 숫자를 바꾸는 것이 큰 도움이 되지 않았으며 때로는 다른 전략이 더 나았습니다. 이는 경로 기반 방식이 강력하긴 하지만, 해결하려는 특정 문제에 따라 설정을 조정해야 한다는 것을 시사합니다.

결론

이 논문은 POSSE-kNN이 강력하고 경쟁력 있는 도구라고 결론짓습니다. 이웃을 찾는 "디딤돌" 방식과 엄격한 "연습 주를 통한 필터링"을 결합함으로써, 우리는 까다로운 데이터를 위한 더 나은 분류기를 구축할 수 있음을 보여줍니다. 이 논문이 머신러닝 세계의 모든 문제를 해결했다고 주장하는 것은 아니지만, 데이터가 구부러지고 복잡할 때는 직선으로 가장 가까운 사람을 보는 것보다 경로를 따르는 것이 더 좋은 아이디어라는 것을 보여줍니다. 저자들은 향후 연구가 어떻게 하면 이 과정을 더 빠르게 만들고 설정을 자동으로 미세 조정할 수 있을지에 집중해야 한다고 언급했지만, 현재로서는 현실 세계의 복잡하고 굽이치는 숲을 항해하는 컴퓨터를 돕는 데 있어 견고한 진전입니다.