Development of a Multiclass Predictive Baseline for Diverticulum Ultrasound Imaging Types Using Nonlinear Machine Learning

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보세요. 하지만 당신의 단서는 지문 대신 인체 내부를 볼 수 있는 특수 카메라로 찍은 사진입니다. 이 분야는 의료 영상이라고 불립니다. 여기서 다루는 구체적인 미스터리는 장 내부에 있는 작고 때로는 문제를 일으키기도 하는 작은 주머니인 '게실(diverticulum)'입니다. 이 주머니를 바지에 달린 작고 숨겨진 주머니라고 생각해 보세요. 때로는 그저 조용히 자리 잡고 있지만, 다른 경우에는 염증이 생기거나 액체로 가득 차거나, 혹은 장이 프레즐처럼 꼬이게 만들기도 합니다. 의사들은 인체의 소나와 같은 역할을 하는 초음파를 사용하여 이 주머니들의 사진을 찍습니다. 목표는 이 사진들을 서로 다른 '유형'으로 분류하여 환자를 어떻게 치료할지 정확히 아는 것입니다.

문제는 이 주머니들이 모두 똑같이 생기지 않았으며, 나타나는 빈도도 제각각이라는 점입니다. 어떤 유형은 길가에서 동전을 발견하는 것만큼 흔하지만, 어떤 유형은 민들레 밭에서 네 잎 클로버를 찾는 것만큼 드뭅니다. 이는 컴퓨터가 규칙을 학습하는 데 매우 까다로운 상황을 만듭니다. 만약 컴퓨터에게 동전 사진 100만 장을 보여주고 클로버 사진은 단 5장만 보여준다면, 컴퓨터는 동전을 찾아내는 데는 매우 능숙해지겠지만 클로버를 인식하는 데는 완전히 실패할 것입니다. 이것을 '클래스 불균형(class imbalance)'이라고 하며, 이는 공정하고 정확한 시스템을 구축하는 것을 어렵게 만듭니다. 연구진은 환자의 증상과 초음파 사진을 보고 게실의 유형을 추측할 수 있는 스마트한 컴퓨터 프로그램을 만들고자 했습니다. 데이터가 무질서하고 불균형한 상황에서도 말이죠.

---

연구의 임무: 희귀한 것과 흔한 것을 찾아내도록 컴퓨터를 가르치기

이 연구에서 중국의 한 어린이 병원 연구팀은 컴퓨터 프로그램의 '베이스라인(baseline)'을 구축하기로 했습니다. 이 베이스라인은 연습 시험 점수와 같습니다. 최종적인 완벽한 정답은 아니지만, 서로 다른 컴퓨터 두뇌가 이 까다로운 의료 미스터리를 얼마나 잘 다룰 수 있는지 확인할 수 있는 견고한 출발점입니다. 그들은 559명의 실제 환자로부터 연령, 증상부터 초음파상에 나타나는 게실의 특정 형태에 이르기까지 모든 데이터를 수집했습니다.

연구팀은 단순히 하나의 컴퓨터 두뇌만을 선택하지 않았습니다. 대신, 네 가지 서로 다른 유형의 머신러닝 알고리즘(컴퓨터가 패턴을 학습하기 위해 사용하는 정교한 수학 규칙) 간의 우호적인 경쟁을 설정했습니다. 직선적인 연결을 찾는 두 가지 '선형(linear)' 사고 방식(로지스틱 회귀 및 LASSO)을, 복잡하고 뒤틀리고 꺾이는 패턴을 포착하는 데 더 뛰어난 두 가지 '비선형(non-linear)' 사고 방식(서포트 벡터 분류 및 랜덤 포레스트)과 맞붙였습니다.

승자: 결정의 숲

수치를 실행한 결과, 랜덤 포레스트(Random Forest) 알고리즘이 1위를 차지했습니다. 랜덤 포레스트를 다양한 전문가(나무)들의 집단이라고 상상해 보세요. 각 전문가는 단서를 약간씩 다른 각도에서 살펴보고 나서 정답에 대해 투표합니다. 논문은 이 '집단 투표'가 환자를 분류하는 가장 정확한 방법임을 밝혀냈습니다.

이 승자가 168명의 테스트 그룹에 대해 거둔 성과는 다음과 같습니다:

• 정확도(Accuracy): 정답을 0.4762의 비율로 맞혔습니다 (약 48%).
• 균형 정확도(Balanced Accuracy): 일부 유형이 희귀하다는 점을 고려하여 조정했을 때, 점수는 0.4567이었습니다.
• 매크로 F1 점수(Macro F1 Score): 이는 흔한 유형뿐만 아니라 모든 유형에 대해 얼마나 잘 수행했는지를 측정하며, 0.3587을 기록했습니다.
• 매크로 AUC(Macro AUC): 이는 모델이 서로 다른 유형을 얼마나 잘 구분하는지를 나타내는 척도로, 0.7991을 기록했습니다.

이 수치들이 완벽함을 기대하는 인간에게는 낮게 들릴 수도 있지만, 논문은 데이터가 매우 무질서하고 불균형했다는 점을 고려할 때 이것이 실제로 강력한 결과라고 설명합니다. 모델은 특히 자주 나타나는 '헤드(head)' 카테고리, 즉 매우 흔한 유형을 포착하는 데 뛰어났습니다. 모델은 높은 확신을 가지고 이를 구별해 냈으며, 한 흔한 유형에 대해서는 0.955, 다른 유형에 대해서는 0.935의 AUC(그룹을 분리하는 능력)를 달성했습니다.

과제: '롱 테일(Long Tail)' 문제

하지만 논문은 컴퓨터가 어려움을 겪은 부분에 대해서도 매우 솔직합니다. 데이터가 '롱 테일' 분포(몇 가지 유형은 매우 흔하고 많은 유형은 매우 희귀한 구조)를 가졌기 때문에, 컴퓨터는 희귀한 유형들에 대해 어려움을 겪었습니다. 가장 희귀한 카테고리들의 경우, 컴퓨터의 식별 능력은 무작위 추측에 가까운 수준인 0.441까지 떨어졌습니다.

연구진은 또한 '소량의 삼출물 유형(small amount of effusion type, C06)'이라는 구체적이고 까다로운 카테고리를 살펴보았습니다. 이것은 마치 주머니 안에 아주 적은 양의 물이 들어있는 것과 같습니다. 컴퓨터는 이 유형이 다른 유형들과 매우 유사해 보였기 때문에 이를 구분하는 데 큰 어려움을 겪었습니다. 실제로 수학적 분석에 따르면, 이 카테고리를 정의하기 위해서는 엄청난 수의 '서포트 벡터(support vectors, 컴퓨터의 마음속에서 가장 중요한 경계선과 같은 것)'가 필요했는데, 이는 이 유형과 다른 유형 사이의 경계가 매우 모호하고 복잡하다는 것을 입증합니다.

컴퓨터가 배운 것 (그리고 배우지 못한 것)

이 연구는 단순히 '블랙박스'로서의 컴퓨터에만 의존하지 않았습니다. 연구진은 전통적인 통계 기법을 사용하여 발견된 내용을 재검증했습니다. 그들은 '띠 형태의 장 폐쇄(band-type intestinal obstruction)'라는 특정 상태가 '소량의 삼출물' 유형과 강하게 연관되어 있다는 것을 발견했습니다. 간단히 말해, 환자에게 이 특정 종류의 폐쇄가 있다면, 컴퓨터(와 수학)는 그것이 '적은 양의 물' 유형일 가능성이 훨씬 낮다고 시사했습니다.

또한 논문은 '결정 곡선 분석(Decision Curve Analysis)' 도구를 사용하여 이 컴퓨터 모델을 사용하는 것이 실제로 의사들의 의사결정에 도움이 되는지 확인했습니다. 연구진은 흔한 유형들에 대해 랜덤 포레스트 모델을 사용하는 것이 단순히 추측하거나 모든 사람을 동일하게 치료하는 것보다 더 높은 '순 임상적 이득(net clinical benefit)'을 준다는 것을 발견했습니다. 이는 가장 빈번한 사례들에 대해 이 모델이 실질적인 의사결정을 위한 유용한 도구임을 의미합니다.

결론

논문은 랜덤 포레스트 모델이 이러한 게실 유형을 분류하는 데 있어 안정적이고 신뢰할 수 있는 출발점이기는 하지만, 아직 모든 것을 해결하는 마법의 지팡이는 아니라고 결론짓습니다. 이 모델은 흔하고 쉽게 찾을 수 있는 사례들에 대해서는 훌륭하게 작동하지만, 충분한 사례가 없어 컴퓨터를 제대로 가르칠 수 없기 때문에 희귀한 '롱 테일' 사례들에 대해서는 여전히 고전하고 있습니다. 저자들은 모델이 더 나아지기 위해서는 향가적인 연구에서 더 많은 희귀 사례를 찾아내고, 의사들이 증상을 기록하는 방식을 표준화해야 한다고 제안합니다. 현재로서는 이 모델이 견고한 토대로서, 비선나형 머신러닝이 비록 가장 희귀한 미스터리들은 아직 해결되지 않았을지라도, 이러한 복잡한 의료적 퍼즐을 해결하는 데 올바른 방향임을 증명하고 있습니다.