Multi-Granularity 3D Kidney Lesion Characterization from CT Volumes

당신이 환자의 신장 3D 스캔을 보고 있는 의사라고 상상해 보십시오. 실제 세상에서 영상의학과 의사가 판독문을 작성할 때, 단순히 "신장이 이상해 보인다"라고 말하지는 않습니다. 대신 그들은 구체적인 단서들을 나열하는 탐정처럼 행동합니다: "왼쪽 신장에 포도 크기만 한 작은 낭종이 있습니다. 오른쪽에는 호두 크기만 한 더 큰 고형 종괴가 있습니다."

이 논문은 컴퓨터에게 바로 그 탐정 업무를 가르치는 방법에 관한 것이지만, 약간의 차이점이 있습니다. 기존의 대부분의 컴퓨터 프로그램은 마치 보안 요원이 "침입자 발생!"(또는 "신장이 나쁨!")이라고 소리만 지르는 것과 같았습니다. 이 새로운 시스템인 LesionDETR은 인간 의사처럼 모든 개별적인 "침입자"(병변)를 찾아내어 그 크기, 유형, 그리고 질감을 설명하는 법을 배웁니다.

다음은 이 연구를 쉬운 비유를 사용하여 어떻게 수행했는지와 무엇을 발견했는지에 대한 상세한 내용입니다:

1. 거대한 문제: "일률적인 방식" vs "구체적인 목록"

이전의 AI 모델들은 둔탁한 도구와 같았습니다. 만약 신장 스캔을 보여주면, 그들은 장기 전체에 대해 "암" 또는 "암 아님"과 같은 단 하나의 답변만을 내놓았습니다. 하지만 신장에는 동시에 여러 가지 다른 일들이 일어날 수 있습니다(여기에 낭종이 있고, 저기에 종양 등이 있는 식).

연구진은 게임의 규칙을 바꿀 필요가 있다는 것을 깨달았습니다. 컴퓨터에게 "신장이 아픈가?"라고 묻는 대신, "신장에서 보이는 모든 것을 목록으로 만들고 각각을 설명하라"고 요청했습니다. 이것을 "집합 예측(set-prediction)" 작업이라고 부릅니다. 이는 아이에게 유리병 안에 든 구슬이 있는지 없는지를 묻는 것이 아니라, 병 안의 다양한 색깔의 구슬을 모두 세어보고 각 구슬을 설명하라고 하는 것과 같습니다.

2. 레시피: 어떻게 '두뇌'를 만들었나

컴퓨터에게 이 기술을 가르치기 위해, 그들은 세 가지 특별한 재료가 필요했습니다:

• 데이터 (교과서): 그들은 한 병원에서 가져온 2,619개의 신장 스캔을 모았습니다. 하지만 스캔 데이터만으로는 충분하지 않습니다. 의사들이 그 스캔에 대해 무엇이라고 말했는지 알아야 합니다. 그들은 스마트한 컴퓨터 프로그램(AI 언어 모델)을 사용하여 수천 개의 실제 영상의학과 판독문을 읽고, 언급된 모든 병변의 구체적인 세부 사항(크기, 유형, 위치)을 추출했습니다. 그런 다음 "교과서"가 정확한지 확인하기 위해 인간 전문가들이 이 작업을 검토하게 했습니다.
• 눈 (입력값): 그들은 컴퓨터에게 가공되지 않은 스캔을 입력값으로 넣어보기도 했지만, "형광펜"을 함께 주었을 때 훨씬 더 잘 작동했습니다. 그들은 디지털 윤곽선인 세그멘테이션 마스크(segmentation mask)를 사용하여 컴퓨터에게 정확히 어디가 신장인지 보여주었습니다. 이는 학생에게 특정 건물을 찾으라고 하기 전에 도시의 경계선이 빨간색으로 그려진 지도를 주는 것과 같습니다.
• 두뇌 (아키텍처): 그들은 LesionDETR이라는 새로운 모델을 구축했습니다. 이것을 각 신장에 할당된 세 명의 특화된 탐정(이를 "쿼리(queries)"라고 함) 팀이라고 생각하십시오. 이 탐정들은 이미지를 스캔하고, 서로 대화하며, "여기에 낭종이 보인다", "저기에는 아무것도 없다", "저기에 고형 종괴가 있다"라고 결정합니다. 그들은 헝가리안 매칭(Hungarian matching)이라는 특별한 게임을 사용하여 자신들의 발견을 정답(ground truth)과 짝지우는데, 이때 퍼즐 조각처럼 모양이 얼마나 겹치는지에 따라 매칭하는 대신, 크기가 얼마나 유사한지에 따라 매칭합니다.

3. 훈련: 무엇이 효과적이었나?

연구진은 시스템을 더 똑똑하게 만들기 위해 여러 실험을 진행했습니다. 주요 결과는 다음과 같습니다:

• "형광펜" 효과: 컴퓨터에게 신장의 윤곽(마스크)을 추가 입력 채널로 제공하는 것이 성능 향상에 가장 큰 도움을 주었습니다. 비록 그 윤곽이 완벽하지 않고 노이즈가 섞여 있었음에도 불구하고, 이는 컴퓨터가 올바른 영역에 집중하도록 도왔습니다.
• 올바른 스승 (사전 훈련): 그들은 다양한 "스승"(사전 훈련된 모델)을 사용하여 컴퓨터를 가르쳐 보았습니다. 그 결과, 일반적인 이미지를 공부한 모델보다 수천 개의 복부 스캔을 이미 공부한 스승(SuPreM)이 훨씬 더 낫다는 것을 발견했습니다. 이는 자전거를 고쳐본 적이 있는 사람보다 포드 엔진을 수천 번 고쳐본 정비사를 고용하는 것과 같습니다.
• "부모-자식" 학습 (계층적 감독): 그들은 모델이 세 가지 수준에서 동시에 학습하도록 가르쳤습니다:
  1. 레벨 1 (부모): 신장이 비정상인가? (예/아니오)
  2. 레벨 2 (청소년): 그곳에 있는 가장 큰 것은 무엇인가? (낭종인가, 고형인가?)
  3. 레벨 3 (아이): 모든 개별 항목을 설명하라.
     "아이"(상세 목록)를 가르치면서 동시에 "부모"(요약)가 또한 올바른지 확인함으로써, 전체 시스템은 더 빠르고 정확하게 학습했습니다.

4. 결과: 좋은 점, 나쁜 점, 그리고 까다로운 점

• 좋은 점: 이 시스템은 "부모" 수준에서 매우 뛰어납니다. 약 80%의 정확도로 신장이 비정상인지 판단할 수 있는데, 이는 아주 좋은 시작입니다. 또한 낭종(액체가 찬 주머니)을 식별하는 데에도 준수한 성능을 보입니다.
• 까다로운 점: 시스템은 "희귀한" 항목들 때문에 어려움을 겪습니다. 데이터셋에 낭종보다 고형 종양의 사례가 적었기 때문입니다. 고형 종양의 예시가 너무 적었기 때문에, 고형 종양을 찾아내는 컴퓨터의 능력은 단순히 추측하는 것보다 겨우 나은 수준이었습니다. 논문은 이것이 컴퓨터의 두뇌 결함이 아니라 "교과서 예시"의 부족 때문이라고 시사합니다.
• 트레이드오프 (절충 관계): 연구진은 균형 잡기 작업을 발견했습니다. 만약 모델을 훌륭한 "목록 작성자"(모든 작은 병변을 찾는 것)로 튜닝하면, "요약"(신장이 아픈지 말하는 것) 능력은 약간 떨어졌습니다. 반대로 요약을 위해 튜닝하면 목록 작성 능력이 떨어졌습니다. 그들은 특정 작업에 어떤 역할이 더 중요한지 선택해야 했습니다.

5. "스트레스 테스트"

연구진은 자신들의 시스템이 단순히 특정 병원의 데이터를 암기한 것이 아님을 증명하기 위해, 한 번도 본 적 없는 완전히 다른 데이터셋(KiTS23)으로 테스트를 진행했습니다. 추가적인 훈련 없이도, 이 시스템은 무작위 추측보다 현저히 높은 성능을 보였습니다. 이는 시스템이 배운 "탐정 기술"이 실제적이며 전이 가능하다는 것을 입증했습니다.

요약

요컨대, 이 논문은 AI가 신장 스캔을 바라보는 새로운 방법을 소개합니다. 모호하게 "좋다 또는 나쁘다"라고 말하는 대신, 이 시스템은 보이는 모든 지점을 나열하고 설명하려고 노력합니다. 이 시스템은 신장의 지도를 함께 줄 때, 그리고 유사한 의료 스캔 데이터를 사용하여 훈련했을 때 가장 잘 작동합니다. 비록 희귀한 종양을 포착하는 데 있어서는 아직 완벽하지 않지만(더 많은 연습 예시가 필요함), 컴퓨터가 궁극적으로 의사가 상세하고 구조화된 보고서를 자동으로 작성하는 데 도움을 줄 수 있는 기초를 성공적으로 마련했습니다.