Two-Stage Fine-Tuning of ResNet50 for High-Sensitivity Melanoma Detection on Dermoscopic Images

당신이 매우 똑똑하고 경험이 풍부한 로봇(ResettNet50)에게 피부 사진에서 **흑색종(melanoma)**이라는 위험한 피부 질환을 찾아내는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 이미 수백만 장의 일반적인 사진(고양이, 자동차, 나무 등)을 보았으며, 일반적인 형태와 색상을 인식하는 데 전문가입니다. 하지만 이제 로봇은 매우 구체적이고 중대한 기술, 즉 무해한 점과 위험한 암을 구별하는 법을 배워야 합니다.

저자 아리안 바가트(Aryan Bhagat)가 이 로봇에게 이 기술을 어떻게 가르쳤는지 쉽게 설명하면 다음과 같습니다.

1. 문제점: 로봇이 편향되고 혼란스러워함

로봇은 두 가지 큰 장애물에 직면했습니다:

• "너무 많은 양성 점" 문제: 현실 세계에서는 대부분의 점이 무해(양성)하며, 암(흑색종)인 경우는 매우 드뭅니다. 만약 당신이 로봇에게 10장 중 8장이 무해한 사진들로 구성된 더미를 보여준다면, 로봇은 게을러집니다. 로봇은 대부분 맞추기 위해 모든 것에 대해 "무해함"이라고 답하기 시작합니다. 이는 암을 놓칠 수 있기 때문에 매우 위험합니다.
• "일률적인 방식" 문제: 보통 로зо봇에게 새로운 기술을 가르칠 때, 우리는 한꺼번에 뇌를 미세 조정합니다. 하지만 저자는 이렇게 너무 빠르게 진행하면 로봇이 이미 가지고 있던 일반적인 지식(예: 선이나 그림자를 보는 법)을 잊어버리고, 새로운 피부의 세부 사항과 혼동할 수 있다는 것을 발견했습니다.

2. 해결책: 2단계 "부트 캠프"

로봇을 곧바로 심연에 던져 넣는 대신, 저자는 2단계 미세 조정(Two-Stage Fine-Tuning) 접근 방식을 사용했습니다. 이것은 마치 운동선수를 두 단계의 뚜렷한 단계로 훈련시키는 것과 같습니다:

• 1단계: 워밍업 (헤드 안정화)
  저자는 로봇의 "뇌"(일반적인 특징을 보는 부분)를 고정하여 변하지 않도록 했습니다. 그들은 오직 "의사 결정자"(분류 헤드)만을 짧은 시간 동안 훈련시켰습니다.

  • 비유: 컴퓨터 사용법은 알지만 회사의 특정 규칙은 모르는 신입 사원을 상상해 보세요. 1단계에서는 복잡한 기계 장치를 건드리지 않고 오직 규칙(의사 결정 부분)만을 가르칩니다. 이는 그들이 압도당하지 않도록 보장합니다.
  • 해결책: 이 단계 이전에, 저자는 훈련용 사진의 균형을 맞춰서 "암"과 "암 아님" 사진의 수를 동일하게 맞췄습니다. 이를 통해 로봇이 쉬운 "암 아님" 사진들에만 집중하지 않고 양쪽 모두에 주의를 기울이도록 강제했습니다.

• 2단계: 심층 탐구 (전체 미세 조정)
  의사 결정자가 안정된 후, 저자는 로봇의 전체 뇌를 다시 해제했습니다. 로봇이 피부 사진을 이해할 수 있도록 전체 네트워크를 조정하게 하되, 학습 속도를 아주 느리게(매우 낮은 "학습률") 설정했습니다.

  • 비유: 이제 규칙을 알게 된 직원은 기계를 만질 수 있게 되었지만, 매우 천천히 그리고 조심스럽게 움직이라는 지시를 받았습니다. 이는 그들이 새로운 피부 관련 기술을 배우는 동안 이전 직장에서 배웠던 유용한 기술(ImageNet 지식)을 실수로 망가뜨리는 것을 방지합니다.

3. 결과: 날카로운 눈

저자가 본 적 없는 완전히 새로운 3,826장의 피부 사진으로 이 로봇을 테스트했을 때, 결과는 인상적이었습니다:

• 암을 잡아냈습니다: 로봇은 실제 흑색종 사례의 약 **87.6%**를 정확하게 식별했습니다. 암 사례를 놓치는 것이 최악의 결과이기에 이 숫자가 가장 중요합니다.
• 당황하지 않았습니다: 로봇은 무해한 점에 대해 약 **89.1%**의 확률로 "안전하다"라고 정확하게 말했습니다. 이는 불필요한 생검(점의 상태를 확인하기 위한 수술)을 받는 사람이 줄어든다는 것을 의미하므로 매우 훌륭한 결과입니다.
• "절제 연구(Ablation Study)" (증거): 저자는 이 방법이 효과적임을 기존 방식(단일 단계 훈련)과 비교함으로써 증명했습니다. 2단계 방식의 로봇은 암을 찾는 능력이 4% 더 뛰어났습니다. 3,800명의 집단에서 이 차이는 기존 방식이 놓쳤을 약 161건의 추가 암 사례를 잡아낼 수 있음을 의미합니다.

4. 로봇의 사고 과정 관찰하기 (Grad-CAM)

저자는 단순히 숫자만 믿지 않았습니다. 대신 Grad-CAM이라는 도구를 사용하여 로봇이 자신의 작업 과정을 보여주도록 요청했습니다.

• 비유: 이것은 로봇이 사진 위에 빛나는 붉은 지도를 그려서 자신이 정확히 어디를 보고 있었는지 보여주는 것과 같습니다.
• 결과: 로봇이 암을 발견했을 때, 붉은 지도는 점의 불규칙한 경계 부분에 집중되었습니다. 반면 안전한 점을 보았을 때는 지도가 더 넓게 퍼져 있었습니다. 이는 로봇이 머리카락이나 자(ruler) 같은 배경 소음에 근거해 추측하는 것이 아니라, 실제로 피부 병변을 보고 있었다는 것을 입증합니다.

5. 이것이 의미하는 바

이 논문은 훌륭한 결과를 얻기 위해 반드시 완전히 새롭고 복잡한 로봇 구조를 발명할 필요는 없다는 결론을 내립니다. 대신, 로봇을 어떻게 가르치느냐가 더 중요합니다. 이 특정한 2단계 훈련 방법을 사용하고, 훈련과 테스트 시 로봇이 사진을 정확히 동일한 방식으로 보도록 함으로써, 저자는 매우 민감한 탐지기를 만들어냈습니다.

저자는 누구나 피부 사진을 업고 예측 결과와 함께 어디를 보고 있는지 보여주는 "히트맵"을 볼 수 있는 무료 작동 앱(Streamlit 사용)까지 구축했습니다. 모든 코드는 누구나 확인하고 사용할 수 있도록 공개되어 있습니다.

요약하자면: 이 논문은 표준 AI 모델을 서두른 한 단계가 아닌, 두 번의 세심한 단계로 훈련함으로써, 오보를 피하면서도 위험한 피부암을 발견하는 능력을 크게 향상시킬 수 있음을 보여줍니다.