GPT Fusion: Integrating Convolutional Neural Networks with GPT-5.5 for Melanoma Diagnosis

당신이 미스터리를 풀기 위해 노력하고 있다고 상상해 보세요. 하지만 당신의 팀에는 매우 다른 두 종류의 탐정이 있습니다. 첫 번째 탐정은 "패턴 마스터(Pattern Master)"입니다. 이 탐정은 수백만 장의 피부 반점 사진을 뚫어지게 쳐다보며 무해한 주근깨와 위험한 암 사이의 아주 미세하고 미묘한 차이를 식별하는 법을 익히는 데 수년을 보냈습니다. 이들은 사진 자체를 보는 데 있어 믿을 수 없을 정도로 빠르고 정확하지만, 왜 그것이 위험하다고 생각하는지 설명할 수는 없으며 환자의 병력에 대해 당신과 대화를 나눌 수도 없습니다. 두 번째 탐정은 "슈퍼 씽커(Super-Thinker)"입니다. 이 탐정은 훌륭한 대화가이며, 보고서를 읽고 복잡한 의학적 규칙을 이해하며, 영어를 사용하여 명확하게 설명할 수 있습니다. 하지만 만약 당신이 메모 없이 사진만 툭 던져준다면, 이 탐정은 혼란에 빠지거나 잘못된 추측을 할 수도 있습니다. 왜냐하면 세상의 모든 피부 반점을 다 외우지는 못했기 때문입니다.

오랫동안 과학자들은 누가 피부암, 특히 흑색종이라는 무서운 종류를 더 잘 잡아내는지 알아내기 위해 노력해 왔습니다. 패턴 마스터(과학계에서는 합성곱 신경망, 즉 CNN이라 불림)는 피부 이미지를 보는 데 있어 골드 스탠다드(표준)였습니다. 하지만 최근에 새로운 종류의 슈퍼 씽커(대규모 언어 모델, 즉 LLM)가 등장하여, 단순히 이미지를 보는 것만으로도 의료 이미지를 이해할 수 있다고 약속하고 있습니다. 큰 질문은 이것이었습니다. 슈퍼 씽커가 혼자서 그 일을 해낼 수 있을까요, 아니면 패턴 마스터가 힘든 일을 처리하게 하고 나서 슈퍼 씽커가 패턴 마스터의 노트를 읽고 최종 결정을 내리게 하는 것이 더 나을까요? 이것이 바로 연구진이 해결하고자 했던 바로 그 퍼즐입니다.

핵심 아이디어: "GPT 퓨전(GPT Fusion)"의 협력

Katie Frederick-son과 그녀의 동료들이 이끄는 연구진은 슈퍼 씽커에게 사진을 직접 보라고 요구하는 것을 그만두기로 했습니다. 대신, 그들은 GPT 퓨전이라고 부르는 새로운 전략을 만들었습니다. 이것을 법정 재판이라고 생각해 보세요. 이 재판에서 패턴 마스터들은 증거(피부 사진)를 조사하고 상세한 보고서를 작성하는 전문 증인입니다. 슈퍼 씽커(구체적으로는 GPT-5.5라는 모델)는 판사 역할을 합니다. 판사는 사진을 직접 보지 않습니다. 대신, 판사는 전문 증인의 보고서를 읽고, 증거를 검토하며, 최종 판결을 내립니다.

이를 테스트하기 위해, 그들은 Derm7pt 데이터셋(알려진 진단명이 포함된 1,000장 이상의 피부 반점 사진이 들어 있는 유명한 컬렉션)을 사용하여 네 가지 서로 다른 경쟁자를 대상으로 경주를 설정했습니다. 경쟁자는 다음과 같습니다:

1. 이미지만 보는 슈퍼 씽커: 사진을 직접 보는 GPT-5.5.
2. 패턴 마스터 (ResNet-50): 많은 종류의 반점을 인식하도록 다른 피부 이미지 세트로 훈련된 특화된 AI.
3. 흑색종 전문가 (SIIM-90 앙상블): 흑색종을 찾도록 설계된 초정밀 AI 팀.
4. GPT 퓨전 팀: 패턴 마스터와 흑색종 전문가가 모두 보고서를 작성했고, GPT-5.5가 그 보고서들을 읽고 최종 결정을 내립니다.

결과: 듣는 능력의 힘

결과는 명확한 협력 방식의 승리였습니다. 슈퍼 씽커가 사진을 직접 보려고 했을 때, 그것은 고전했습니다. 흑색종에 대해 진단을 맞춘 확률은 **63.3%**에 불과했습니다. 그러나 슈퍼 씽커가 판사로서 패턴 마스터들의 전문 보고서를 듣게 되었을 때, 그 정확도는 **86.9%**로 급등했습니다.

"GPT 퓨전" 팀은 단순히 이미지만 보는 슈퍼 씽커를 이긴 것이 아닙니다. 그들은 몇몇 핵심 분야에서 전문가들을 능가했습니다.

• 흑색종 포착: 퓨전 팀은 흑색종을 **85.2%**의 확률(민감도)로 정확하게 식별해 냈는데, 이는 이미지만 보는 모델보다 나았으며 최고의 전문가와도 매우 근접한 수치였습니다.
• 모든 암 포착: 이 부분은 퓨전 팀이 정말 빛을 발한 지점입니다. 과제가 (단순히 흑색종뿐만 아니라) 어떤 종류의 위험한 암이든 찾아내는 것이었을 때, 퓨전 팀은 **83.9%**의 민감도를 달성하여 전문 흑색종 전문가(이 모델은 **76.2%**를 기록함)를 앞질렀습니다. 이는 패턴 마스터의 "넓은 지식"과 흑색종 전문가의 "날카로운 집중력"을 결합함으로써, 슈퍼 씽커가 어떤 반점이 정말 위험한 것인지에 대해 더 현명한 결정을 내릴 수 있었음을 시사합니다.
• "상위 3순위" 추측: 현실 세계에서 의사들은 확진을 내리기 전에 종종 상위 세 가지 가능성을 나열합니다. 퓨전 팀은 상위 세 가지 추측 안에 정답을 맞힌 경우가 **89.0%**로, 네 경쟁자 중 가장 높은 점수를 기록했습니다.

이것이 중요한 이유

이 논문은 슈퍼 씽커(LLM)가 사진을 뚫어지게 쳐다보고 그것이 무엇인지 추측하는 데 반드시 최고의 적임자는 아니라고 제안합니다. 대신, 그것의 초능력은 추론에 있습니다. 그것은 특화된 AI 도구들로부터 얻은 어려운 데이터를 받아들이고, 맥락을 이해하며, 그 정보를 명확하고 신뢰할 수 있는 진단으로 합성하는 데 훨씬 더 뛰어납니다.

연구진은 특화된 AI 모델들(패턴 마스터들)이 각자의 특정 업무에는 훌륭했지만, 때때로 전체적인 그림을 놓친다는 것을 발견했습니다. 판사 역할을 하는 슈퍼 씽커는 그 간극을 메울 수 있었습니다. 예를 들어, 흑색종 전문가는 흑색종을 찾는 데는 뛰어났지만 다른 유형의 암에 대해서는 잘 알지 못했습니다. 패턴 마스터는 많은 종류의 암을 알고 있었지만 흑색종에 대해서는 만큼 날카롭지 않았습니다. GPT-5.5가 두 보고서를 모두 읽었을 때, 그것은 흑색종 전문가의 강점(흑색종)과 패턴 마스터의 강점(다른 암)을 모두 활용하여, 어느 한쪽의 전문가가 단독으로 일할 때보다 더 정확한 진단을 내릴 수 있었습니다.

결론

이 연구는 AI가 피부암을 영원히 해결했다고 주장하는 것이 아니라, 매우 유망한 새로운 방향을 제시하고 있습니다. 이는 의료 AI의 미래가 모든 것을 다 하는 하나의 거대한 로봇을 만드는 것이 아닐 수도 있음을 보여줍니다. 대신, 미래는 전문 연주자들(CNN)을 지휘하여 완벽한 진단의 교향곡을 만들어내는 "지휘자"(슈퍼 씽커)를 구축하는 것일 수 있습니다. 수학에 강한 AI가 수학을 담당하게 하고, 사고에 강한 AI가 사고를 담당하게 함으로써, 우리는 더 정확할 뿐만 아니라 의사와 환자가 이해하기 더 쉬운 진단을 얻을 수 있습니다. 저자들은 이 접근 방식이 단순히 답만 내놓는 "블랙박스"가 아니라, 왜 그러한 결론에 도달했는지 설명할 수 있는 투명한 파트너로서의 AI 시스템으로 가는 길을 열어준다고 언급했습니다.