CoM$^3$eT: A foundation model for medical image analysis through federated, multidimensional context integration

인체는 X-레이의 평면적인 2차원 그림자부터 CT 스캔의 복잡한 3차원 볼륨, 그리고 조직 슬라이드의 미세한 기가픽셀 디테일에 이르기까지 방대한 시각적 데이터의 풍경을 제시합니다. 수십 년 동안 인공지면은 이러한 풍경을 탐색하는 법을 배워왔지만, 이는 고립된 영역 안에서만 이루어졌습니다. 흉부 X-레이에서 종양을 찾아내도록 훈련된 시스템은 현미경 슬라이드를 이해할 수 없는 경우가 많으며, 조직 샘플에서 세포 수를 세우도록 설계된 모델은 3D 장기 스캔을 해석하는 데 어려움을 겪습니다. 이러한 파편화는 의사와 연구자들이 모든 유형의 이미지에 대해 서로 다른 전문 도구에 의존하게 만들며, 이는 데이터가 부족하거나 환자의 상태가 여러 유형의 스캔을 동시에 살펴봐야 하는 상황에서 치명적인 한계가 됩니다. 현대 의료 AI의 목표는 형식에 관계없이 전체 그림을 볼 수 있는 단일하고 다재다능한 지능을 구축하는 것이지만, 이러한 다양한 시각적 세계를 정밀도를 잃지 않고 결합하는 것의 어려움이 그 데모의 걸림돌이 되어 왔습니다.

연구진은 이제 모든 차원과 과업을 이해하도록 설계된 기초 모델인 CoM³eT이라는 통합 시스템을 구축했습니다. 단일 전문 분야(예: 방사선학 또는 병리학)에 국한되거나 단순 분류 또는 상세 분할과 같은 특정 유형의 답변으로 제한되었던 이전 모델들과 달리, 이 새로운 모델은 이 모든 것을 통합합니다. 이 모델은 심장의 3D 볼륨, 평면 X-레이, 그리고 거대한 디지털 현미경 슬라이드를 동일한 근본적인 시각적 언어의 변형으로 취급합니다. 단일 세포 이미지부터 전신 스캔에 이르기까지 모든 것을 아우르는 10만 명 이상의 환자에 대한 방대한 컬렉션을 통해 훈련함으로써, 모델은 서로 다른 규모와 양상(modality)을 가로질러 지속되는 패턴을 인식하는 법을 배웠습니다. 그 결과, 흉부 X-레이에서 폐렴을 진단하는 것부터 유방암 슬라이드에서 분열하는 세포의 수를 세고, 3D CT 스캔에서 혈관을 분할하는 것과 같이 매우 다양한 과업을 현재 사용 가능한 최고의 전문 도구와 대등하거나 이를 능가하는 정확도로 수행할 수 있는 단일 아키텍처가 탄생했습니다.

이 시스템의 힘은 정보를 처리하는 방식에 있습니다. 3D 스캔을 별개의 2D 슬라이스들의 적층으로 취급하는 대신, 모델은 전체 볼륨을 하나의 응집된 전체로 바라보며, 이를 통해 이미지의 서로 다른 층을 가로지르는 맥락을 이해할 수 있습니다. 또한 이미지의 가장 관련 있는 부분에 집중하면서도 그 부분들이 공간상 어디에 위치하는지를 추적할 수 있는 메커즘을 사용합니다. 이 접근 방식은 매우 효과적이어서, 최근 의료 기초 모델을 테스트하기 위해 설계된 독립적인 경연 대회에서 CoM³eT은 방사선학 및 병리학 모두에서 선두 모델들을 능가하며 종합 1위를 차지했습니다. 이 모델은 이미지에 대한 텍text 보고서를 생성하는 것부터 복잡한 3D 데이터에서 특정 구조를 식별하는 것에 이르기까지 제시된 모든 과업을 수행할 수 있었던 유일한 모델이었습니다. 특히 MRI 스캔에서 유방 종양을 분할하는 특정 테스트에서, 이 모델은 전문 경쟁 모델들보다 현저히 높은 점수를 기록하며 단일한 통합적 접근 방식이 일련의 좁고 전문화된 도구들보다 더 뛰어날 수 있음을 입증했습니다.

이 연구의 아마도 가장 실용적인 돌파구는 모델의 지능뿐만 아니라 그 효율성에 있습니다. 이처럼 거대한 모델을 훈련하는 데는 보통 슈퍼컴퓨터에 접근할 수 있는 소수의 엘리트 기관에 국한된 엄청난 컴퓨팅 파워가 필요합니다. 그러나 연구진은 전체 파라미터의 2.5% 미만인 아주 작은 부분의 내부 설정만을 업데이트함으로써 이 강력한 시스템을 새로운 의료 과업에 적응시킬 수 있다는 것을 발견했습니다. '부분 미세 조정(partial fine-tuning)'이라고 알려진 이 기술을 통해 모델은 전체 뇌를 다시 훈련할 필요 없이 새로운 기술을 배울 수 있습니다. 이러한 효율성은 병원 간의 새로운 협업 방식을 열어줍니다. 연구팀은 독일의 여러 대학 병원 간에 민감한 환자 데이터를 로컬 저장소에서 이동시키지 않고도 모델을 훈련할 수 있음을 보여주었습니다. 모델의 핵심은 동결한 채로 작은 업데이트된 조각들만을 인터넷을 통해 교환함으로써, 단일한 거대 데이터 풀에서 훈련한 것과 대등한 성능 수준을 달enc성했습니다. 이는 고도의 의료 AI가 표준 컴퓨터 하드웨어와 일반적인 인터넷 연결만으로도 안전하게 개발되고 공유될 수 있음을 증명하며, 첨단 진단 도구를 훨씬 더 넓은 범위의 의료 센터가 사용할 수 있게 만듭니다.

다양한 유형의 데이터를 다룰 수 있는 모델의 능력은 의료 영상 분야의 오랜 과제인 환자의 상태를 다각도에서 분석해야 하는 필요성을 해결합니다. 과거에는 의사가 CT 스캔을 읽는 방사선 전문의와 조직 슬라이드를 읽는 병리 전문의에게 의존해야 했으며, 두 관점을 모두 합성할 수 있는 단일 시스템은 존재하지 않았습니다. CoM³eT은 서로 다른 출처로부터 정보를 통합하는 법을 학습함으로써 이 간극을 메웁니다. 예를 들어, 암 재발 예측이 필요한 과업에서 모델은 전체 조직 슬라이드의 공간적 맥락과 개별 세포 패치의 구체적인 세부 사항을 성공적으로 결합했습니다. 이러한 총체적인 관점은 데이터를 고립시켜 바라보는 모델보다 더 정확한 예측을 가능하게 했습니다. 연구진은 모델이 이미지의 서로 다른 부분들 사이의 관계를 고려할 수 있도록 허용했을 때 성능이 크게 향상된다는 것을 발견했으며, 이는 이미지의 맥락이 이미지 자체만큼이나 중요하다는 것을 시사합니다.

이러한 성공에도 불구하고, 연구진은 이 시스템이 모든 시나리오에서 완벽하게 작동하는 마법 같은 해결책은 아니라는 점을 주의 깊게 언급합니다. CT 스캔에서 매우 작은 혈관을 식별하는 것과 같은 일부 특정 과업에서는, 특히 구조물이 주변 환경과 구별하기 어려운 경우 여전히 어려움에 직면합니다. 연구팀은 글로벌 맥락을 통합하는 모델의 능력이 주요 강점임에도 불구하고, 전문적인 전통적 방법들이 여전히 우위를 점할 수 있는 영역이 존재함을 인정합니다. 그러나 하나의 유연한 시스템이 이러한 전문화된 방법들과 경쟁하고 종종 이를 능가한다는 사실은 의료 AI가 어떻게 개발될 것인지에 대한 변화를 시사합니다. 새로운 질병이나 영상 기술마다 새로운 좁은 도구를 만드는 대신, 미래는 특정 요구에 빠르게 조정될 수 있는 이러한 광범위하고 적응 가능한 기초 모델에 달려 있을 수 있습니다.

이 연구의 함의는 실험실을 넘어 확장됩니다. 단일 모델이 방대한 의료 데이터로부터 학습하고 새로운 과업에 효율적으로 적응할 수 있음을 입증함으로써, 연구진은 차세대 의료 AI를 위한 청사진을 제공했습니다. 이러한 접근 방식은 새로운 애플리케이션을 개발할 때 더 이상 거대한 데이터셋이나 슈퍼컴퓨팅 자원을 요구하지 않으므로 새로운 진단 도구 개발의 진입 장벽을 낮춥니다. 원시 환자 데이터를 공유하지 않고도 여러 기관에 걸쳐 이러한 모델을 훈련할 수 있는 능력은 환자의 비밀을 존중하면서 협력 연구를 진행할 수 있는 길을 열어주어 개인정보 보호 문제를 해결합니다. 분야가 발전함에 따라, 초점은 아마도 고립되고 전문화된 모델을 만드는 것에서, 인간의 건강에 대한 이해와 함께 성장하고 적응할 수 있는 이러한 다재다능한 기초 시스템을 구축하는 것으로 옮겨갈 것입니다. CoM³eT의 성공은 의료 영상 분석의 미래가 의사가 가진 도구의 수가 아니라, 의료 데이터의 전체 풍경을 볼 수 있는 단일하고 지능적인 시스템의 깊이와 폭에 의해 정의될 것임을 시사합니다.