ResNet50 Features for Colon Histopathology: What Transfer Learning Actually Delivers

디지털 탐정과 스테인드글라스 창문

당신이 컴퓨터에게 거대한 정원에서 특정 종류의 잡초를 찾아내는 법을 가르치려 한다고 상상해 보세요. 잡초와 꽃의 사진 수백만 장을 보여주며 처음부터 가르칠 수도 있겠지만, 그 작업은 엄청난 시간이 걸리고 슈퍼컴퓨터도 필요합니다. 대신, 이미 수백만 장의 고양이, 자동차, 풍경 사진을 공부하며 시간을 보낸 '스마트한 조력자'를 사용할 수도 있습니다. 이 조력자는 선, 그림자, 질감을 포착하는 법을 알고 있습니다. 이것이 바로 **전이 학습(transfer learning)**의 마법입니다. 즉, 한 가지(일반적인 사진)에 대해 훈련된 두뇌를 가져와서 완전히 다른 것(의료용 슬라이드)을 돕도록 요청하는 것입니다.

의학의 세계에서 의사들은 현미경을 사용하여 세포를 볼 수 있게 해주는 분홍색과 보라색 염료로 염색된 아주 작은 조직 조각들을 관찰합니다. 이를 조직병리(histopathology) 슬라이드라고 부릅니다. 목표는 암세포를 찾는 것인데, 암세포는 건강한 세포와 다르게 보이기 때문입니다. 하지만 컴퓨터에게 이 일을 가르치는 것은 까다로운데, 의료 영상은 매우 복잡하기 때문입니다. 염료의 배치나 사용된 현미경에 따라 색상이 변할 수 있습니다. 과학자들이 던지는 핵심 질문은 이것입니다. 만약 우리가 미리 훈련된 '스마트한 조력자'를 가져와 그 눈을 이용해 이 의료용 슬라이드를 보게 한다면, 그것이 실제로 보고 있는 것을 이해하게 될까요, 아니면 단순히 훈련받은 사진의 특정 색상을 암기하게 되는 것일까요?

---

논문의 미션: "스마트한 조력자"는 실제로 무엇을 보는가?

이 연구에서 삼자나 샤키야(Samjhana Shakya)라는 과학자는 특정 모델인 ResNet50을 사용하여 이 '스마트한 조력자'를 시험해 보기로 했습니다. ResNet50을 수백만 점의 그림을 본 경험 많은 미술 비평가라고 생각해 보세요. 연구자는 비평가에게 그림 그리는 법을 다시 배우라고 요구한 것이 아니라, 새로운 그림을 보고 보이는 것을 설명하라고 요청했습니다.

연구자는 유명한 대장 결장 조직 이미지 모음(LC25000 데이터셋)을 가져와서 이 '동결된(frozen)' ResNet50 모델에 입력했습니다. '동결되었다'는 것은 모델의 두뇌가 새로운 것을 배우거나 변경될 수 없음을 의미하며, 단지 기존의 지식을 사용하여 각 작은 이미지 패치를 긴 숫자 리스트(2048차원 벡터)로 변환했을 뿐이라는 뜻입니다. 이 리스트는 이미지의 질감과 형태를 나타내는 상세한 '지문'과 같습니다.

그 후 논문은 다음과 같이 물었습니다. 만약 우리가 이 지문들을 가져와서 단순하고 고전적인 수학 도구(예: 로지스틱 회귀 모델)에 준다면, 그것이 건강한 대장 조직과 암 조직을 구별할 수 있을까요?

결과: 완벽한 점수, 그러나 커다란 경고

결과는 놀라울 정도로 좋았습니다. 10,000장의 균형 잡힌 이미지 세트에서 이 시스템은 99.89%의 정확도와 1.0000이라는 완벽한 AUC를 달성했습니다. 이를 체감해 보자면, 만약 당신이 "암 찾기" 게임을 하고 있다면, 이 시스템은 이 특정 이미지 세트에 대해 단 하나도 틀리지 않고 모두 맞힌 것입니다.

연구자가 정답을 알려주지 않은 상태에서 (K-means 클러스터링이라는 방법을 사용하여) 컴퓨터가 이미지를 어떻게 그룹화하는지 살펴보았을 때, 그 그룹들은 믿기 힘들 정도로 깔ある었습니다. "암" 이미지는 서로 옹기종기 모여 있었고, "건강한" 이미지는 자신들만의 그룹을 유지하며 90% 이상의 순도를 보였습니다. 더욱이, 실제 생물학적 요소를 확인했을 때 컴퓨터의 그룹화는 실제 세포 핵(세포의 작은 제어 센터)의 차이와 일치했습니다. 핵의 개수와 크기는 그룹 간에 통계적으로 달랐으며, p-값이 0.0001 미만으로 나타났습니다. 이는 이것이 우연일 가능성이 매우 낮음을 의미합니다.

함정: 아직 축배를 들기에는 이르다

여기 반전이 있습니다. 점수가 완벽함에도 불구하고, 이 논문은 우리가 벌써 샴페인을 터뜨려서는 안 된다고 주장합니다. 저자는 이 완벽에 가까운 점수가 특정 데이터셋의 특성 때문에 나타난 속임수일 수 있다고 제안합니다.

논문은 이 성공이 현미경이나 염료를 바꿀 경우 유지되지 않을 수 있다고 명시적으로 경고합니다. 만약 컴퓨터가 이 특정 데이터셋에서 사용된 스캐너의 특정 '지문'이나 염료의 정확한 분홍색 농도를 인식하도록 학습했다면, 다른 병원의 슬라이드에 대해서는 완전히 실패할 수도 있기 때문입니다. 논문은 이 모델이 이 테스트에서 100점을 받았다고 해서 실무에 투입될 준비가 되었다는 생각은 배제합니다. 저자는 전이 학습이 유용한 도구를 제공하지만, 서로 다른 기계와 실험실에서 모델을 테스트해야 하는 힘든 과정을 건너뛸 수 있는 자유 이용권까지 주는 것은 아니다라고 주장합니다.

시사점: 훌륭한 도구이지, 마법 지팡이는 아니다

그렇다면 이 논문이 실제로 전달하는 메시지는 무엇일까요? 이는 사전 훈련된 ResNet50을 특징 추출기(feature extractor)로 사용하는 것이 스마트하고 효율적인 선택임을 확인해 줍니다. 이는 마치 전문 사진가가 범죄 현장의 고화질 사진을 찍으면, 형사가 그 사진을 이용해 사건을 해결하는 것과 같습니다. 사진가(ResNet50)는 세부 사항을 포착하는 힘든 일을 수행하고, 형사(단순한 수학 모델)가 나머지를 처리하는 것입니다.

이 방식은 시간과 컴퓨례 자원을 절약해 줍니다. 이 '지문'들을 한 번 추출해 두면 전체 시스템을 다시 훈련시키지 않고도 다양한 테스트에 사용할 수 있습니다. 그러나 논문은 이것이 첫 단계일 뿐이라고 강조합니다. 완벽한 점수는 종착역이 아니라 출발점입니다. 이 기술이 실제 병원에서 신뢰받기 위해서는 서로 다른 스캐너와 서로 다른 염색 배치의 이미지를 보여주는 '스트레스 테스트'를 반드시 통과해야 합니다. 그때까지 완벽한 점수는 강력한 도구의 징후일 뿐, 문제가 해결되었다는 보증 수표는 아닙니다.