A Specialized Large Multimodal Model for Interpreting PET/CT in Head and Neck Cancer

핵의학이라는 조용하고도 중대한 세계에서, 의사들은 인체 내부를 보기 위해 PET/CT라고 불리는 강력한 도구에 의존합니다. 이 기술은 두 가지 서로 다른 종류의 스캔을 하나의 이미지로 결합합니다. 하나는 상세한 도로 지도처럼 신체의 해부학적 구조를 매핑하는 것이고, 다른 하나는 에너지가 소비되는 곳을 밝혀주는 특수한 당을 추적하여 세포가 어떻게 작동하는지를 보여주는 것입니다. 암세포가 성장할 때 이 당을 탐욕스럽게 섭취하기 때문에, 스캔상에서는 밝은 점으로 나타납니다. 머리와 목 부위의 암에 있어 이는 결정적인 진단적 창이 됩니다. 이 영역은 근육, 신경, 샘(gland)이 복잡하게 얽혀 있는 구조라, 종양이 정확히 어디서 시작되는지 또는 인근 림프절로 전이되었는지 구별하기가 어렵습니다. 이러한 이미지를 해석하는 데는 수년간의 전문적인 훈련이 필요하지만, 이를 판독할 전문가의 전 세계적인 부족 현상이 존재합니다. 이러한 격차는 인간 전문가를 대체하지 않으면서도 의사가 더 빠르고 정확한 결정을 내릴 수 있도록 돕는 컴퓨터 시스템에 대한 절실한 필요성을 만들어냈습니다.

최근, 대규모 멀티모달 모델(large multimodal model)로 알려진 새로운 유형의 인공지능이 등장했습니다. 이들은 사진을 보고 문장으로 설명할 수 있는 사람처럼, 이미지와 텍스트를 모두 이해할 수 있는 시스템입니다. 일반적인 버전의 모델들도 존재하지만, 이들은 종종 의학의 특수하고 중대한 언어를 다루는 데 어려움을 겪으며, 안전 필터로 인해 의료 질문에 답변하기를 거부하기도 합니다. 이러한 격차를 메우기 위해, 서울대학교와 그 부속 병원 연구진은 머리와 목 암의 PET/CT 스캔을 읽도록 특별히 훈련된 이 기술의 전문화된 버전을 구축하기 위해 노력했습니다. 그들의 목표는 일반적인 챗봇을 만드는 것이 아니라, 구조화된 단계별 학습 과정을 통해 복잡한 이미지의 미묘한 차이를 배울 수 있는 집중적인 진단 보조 도구를 구축하는 것이었습니다.

연구진은 캐나다와 독일의 기관들을 포함한 여러 의료 센터로부터 방대한 양의 데이터를 수집하며 시작했습니다. 그들은 수천 쌍의 이미지와 전문가가 작성한 설명을 모았습니다. 두 명의 핵의학 전문의가 이미지를 면밀히 검토하며 스캔의 유형, 관찰 각도, 종양의 가시성 여부, 그리고 부어오른 림프절의 정확한 위치 등을 기록했습니다. 이렇게 정제된 데이터셋은 이 새로운 모델의 교과서가 되었습니다. 인공지능에게 모든 것을 한꺼번에 가르치려 하는 대신, 연구팀은 2단계 교육 과정을 설계했습니다. 첫 번째 단계에서 모델은 스캔 유형 식별 및 단순한 이상 징부 포착과 같은 기초를 배웠습니다. 모델이 이러한 기본 사항을 숙달한 후에는 더 발전된 두 번째 단계로 넘어갔으며, 여기서는 일차 종양의 존재 여부와 전이된 림프절의 정확한 위치에 대한 구체적인 진단 질문에 답해야 하는 과제가 주어졌습니다.

모델이 단순히 정답을 암기하는 것이 아니라 의사처럼 생각하도록 만들기 위해, 연구진은 시스템이 이미 말한 모든 내용을 바탕으로 자신의 다음 단어를 예측하도록 강제하는 특정 훈련 방법을 사용했습니다. 이 방식은 인간 방사선 전문의가 미리 작성된 답을 단순히 복사하는 것이 아니라, 문장 단위로 보고서를 구성하는 방식을 모방합니다. 모델은 서로 다른 유형의 스캐닝 기기를 사용하는 4개의 독립적인 병원에서 온, 한 번도 본 적 없는 데이터로 테스트되었습니다. 결과는 놀라웠습니다. 스캔 해석을 요청받았을 때, 이 특화된 모델은 널리 알려진 상용 챗봇을 포함하여 사용 가능한 최고의 범용 인공지능 시스템들을 크게 능가했습니다. 일반적인 모델들이 유용한 답변을 제공하지 못하거나 의료 이미지에 대한 응답을 단순히 거부하는 반면, 특화된 모델은 높은 정확도로 종양의 존재를 식별하고 림프절 전이를 찾아냈습니다.

연구는 컴퓨터의 작성 보고서를 전문가의 원래 노트와 비교하는 몇 가지 표준 지표를 사용하여 성공 여부를 측정했습니다. 특정 림프절 스테이션 식별과 관련된 가장 어려운 테스트에서, 특화된 모델은 거의 0점에 가까운 점수를 받은 일반 모델들에 비해 훨씬 우수한 성적을 거두었습니다. 예를 들어, 일차 종양이 존재하는지 여부를 식별하는 데 있어 모델은 외부 테스트에서 69%의 정확도를 보였는데, 이는 완벽하지는 않더라도 일반 모델들과 비교했을 때 엄청난 도약을 의미합니다. 또한 모델은 다양한 유형의 스캐너와 환자군 사이에서도 일관성을 유지하는 탁월한 능력을 보여주었으며, 이는 모델이 단순히 특정 이미지를 암기한 것이 아니라 질병의 근본적인 패턴을 학습했음을 시사합니다.

이러한 성공에도 불구하고, 연구진은 이 시스템이 아직 인간 의사를 대체할 준비가 되지 않았다는 점을 주의 깊게 언급합니다. 모델은 여전히 실수를 범하며, 특히 특정 뷰에서 신체의 왼쪽과 오른쪽을 구별하려고 할 때 어려움을 겪고, 의사들이 일상적인 노트에서 사용하는 특정 약어 사용에도 때때로 어려움을 겪습니다. 훈련 과정 또한 계산 비용이 많이 들고 시간이 오래 걸렸습니다. 그러나 이번 연구는 복잡한 핵의학 언어를 이해하는 특화된 인공지능을 구축하는 것이 가능하다는 것을 증명했습니다. 특정 의료 작업에 집중하고 고품질의 전문가 검증 데이터를 통해 훈련함으로써, 연구팀은 이러한 도구들이 단순한 이미지 인식을 넘어 진정한 진단 지원을 제공할 수 있음을 보여주었습니다. 이 연구는 이러한 특화된 모델이 신뢰할 수 있는 '두 번째 눈' 역할을 하여, 과중한 업무에 시달리는 의료진의 부담을 덜어주고 환자들이 머리와 목 암에 대해 적시에 정확한 진단을 받을 수 있도록 돕는 미래를 제시합니다.