MOSAIC: Modality-agnostic Spectral Alignment for Federated Image-level Weakly Supervised Tumor Segmentation under Client-specific Missing Modalities

현대 의학의 세계에서 가장 정확한 진단은 종종 서로 다른 유형의 의료 영상을 결합할 때 나옵니다. 의사는 표준 X선, 자기 공명 영상(MRI), 그리고 특수 조직 스캔을 동시에 살펴보며, 한 이미지의 강점이 다른 이미지의 약점을 보완하도록 할 수 있습니다. 멀티모달 퓨전(multimodal fusion)이라고 알려진 이 관행은 특히 뇌종양과 같은 복잡한 질환을 탐지할 때 신체 내부에서 일어나고 있는 일을 훨씬 더 명확하게 보여줍니다. 그러나 이러한 강력한 결합을 전 세계적으로 사용하는 데에는 중대한 장벽이 서 있습니다. 바로 환자의 개인정보 보호입니다. 병원은 개별 의료 데이터를 로컬 기관 외부로 유출하지 않도록 보호하는 엄격한 법률 때문에 환자의 스캔 데이터를 중앙 서버로 단순히 보낼 수 없습니다. 또한, 병원들이 협력하기로 합의하더라도 모든 환자에 대해 정확히 동일한 세트의 이미지를 보유하는 경우는 드뭅로습니다. 어떤 병원은 전체 스캔 세트를 갖추고 있는 반면, 다른 병원(예를 들어 다른 국가에 있거나 구형 장비를 사용하는 경우)은 몇 개의 스캔만을 가지고 있을 수도 있습니다. 이러한 불일치는 이미지를 결합하기 위해 설계된 도구들이 모든 퍼즐 조각이 존재할 것을 기대하기 때문에 실패하게 만드는 퍼즐을 만들어냅니다.

연구자들은 환자의 원본 데이터를 수집한 병원에서 이동시키지 않고도, 이렇게 흩어져 있고 불완전한 데이터셋으로부터 인공지능을 학습시키는 방법을 오랫동안 모색해 왔습니다. 연합 학습(federated learning)이라고 불리는 이 접근 방식은 병원이 환자 자체가 아닌, 컴퓨터가 학습한 '교훈'만을 공유할 수 있게 해줍니다. 그러나 새로운 문제가 발생했습니다. 컴퓨터가 가용 가능한 이미지 유형의 일부만을 보고 있을 때, 그리고 가진 라벨이 종양의 형태에 대한 상세한 그림이 아니라 단순히 보고서상의 "예" 또는 "아니오"와 같이 단순할 때, 어떻게 컴퓨터에게 종양을 인식하도록 가르칠 것인가 하는 점입니다. 과제는 정확도를 잃거나 프라이버시를 침해하지 않으면서, 이러한 희소하고, 프라이빗하며, 불완전한 단서들로부터 학습할 수 있는 시스템을 구축하는 것입니다.

인도 과학 연구소(Indian Institute of Science)의 연구팀은 바로 이 문제를 해결하기 위해 MOSAIC라는 새로운 프레임워크를 개발했습니다. 그들의 연구는 단순한 이미지 수준의 라벨(종양이 있는지 없는지를 나타내는 단순한 지표)만을 사용하여 뇌종양을 분할(segment), 즉 윤곽을 그리는 인공지능을 학습시키는 데 초점을 맞추고 있으며, 이 과정에서 각 병원이 서로 다른 불완전한 MRI 스캔 세트를 보유하고 있는 상황을 헤쳐 나갑니다. 연구진은 특정 누락된 스캔의 정체가 무엇인지 신경 쓰는 대신 데이터의 근본적인 패턴에 집중하는 시스템을 만듦으로써, 일반적으로 이러한 학습을 가능하게 하는 상세하고 시간이 많이 소요되는 주석(annotation) 없이도 높은 정확도를 달랄 수 있다는 것을 발견했습니다.

그들의 솔루션의 핵심은 시스템이 누락된 조각들을 처리하는 방식에 있습니다. 일반적인 시나리오에서는 특정 유형의 MRI 스캔이 부족할 경우, 컴퓨터는 그 누락된 스캔이 어떻게 생겼을지 추측하거나 단순히 무시하려 하며, 이는 종종 오류로 이어집니다. MOSAIC 시스템은 다른 접근 방식을 취합니다. 이 시스템은 번역기 역할을 하는 특화된 모듈을 사용하여, 병원이 사용 가능한 스캔들을 공유된 공통 언어로 변환합니다. 이 번역은 각 병원의 로컬 환경에서 수행되므로 원본 이미지는 절대 외부로 유출되지 않습니다. 시스템은 특정 스캔이 정확히 어떤 것인지가 아니라, 얼마나 많은 유형의 스캔이 존재하는지만 알면 되기 때문에, 독특한 조합의 스캔을 가진 병원도 특별한 설정이나 재학습 없이 네트워크에 참여할 수 있습니다.

모든 병원이 서로 다른 데이터를 가지고 있음에도 불구하고 동일한 "진실"로부터 학습하도록 보장하기 위해, 연구진은 주파수 패턴을 사용하여 데이터를 정렬하는 방법을 도입했습니다. 모든 의료 영상이 다양한 음조와 리듬으로 구성된 고유한 음악적 서명을 가지고 있다고 상상해 보십시오. 사용 가능한 스캔에 따라 구체적인 음표는 달라질 수 있지만, 전체적인 리듬과 구조는 일관되게 유지됩니다. MOSAIC 시스템은 원본의 시각적 세부 사항보다는 이러한 리드미컬한 패턴, 즉 스펙트럼 서명(spectral signatures)에 귀를 기울입니다. 모든 병원을 가로질러 이 압축되고 가역 불가능한 주파수 패턴을 비교함으로써, 시스템은 환자의 실제 이미지를 노출하지 않고도 종양이 어떻게 생겼는지에 대한 이해를 정렬할 수 있습니다. 저자들이 스펙트럼 프로토타입 정렬(spectral prototype alignment)이라고 부르는 이 방법은, 서로 다른 도구를 가진 병원 사이의 간극을 효과적으로 메워주며, 개별적인 조각이 부족하더라도 집단 지성이 더욱 강력해지도록 보장합니다.

학습 과정은 단순한 "예" 또는 "아니오" 라벨로부터 발생하는 본질적인 노이즈를 처리하기 위해 두 가지 별개의 단계로 나뉩니다. 첫 번째 단계에서 시스템은 가용한 스캔을 바탕으로 종양이 어디에 있을지에 대한 거친 추측, 즉 의사 라벨(pseudo-labels)을 생성합니다. 데이터가 불완전하기 때문에 이러한 초기 추측은 지저나 부정확할 수 있습니다. 두 번째 단계는 전용 정제 네트워크로서, 거친 추측을 받아 이를 정교하게 다듬는 두 번째 지능 계층 역할을 합니다. 이 단계는 안정적인 가이드를 제공하는 "교사(teacher)" 모델과 다양한 단서의 가중치를 결정하는 투표 시스템을 결কে 결합하여 최종적인 종양의 형태를 결정합니다. 이 2단계 프로세스를 통해 시스템은 약한 감독(weak supervision)의 일반적인 정확도 한계를 돌파하여, 거칠고 노이즈가 섞인 힌트를 정밀하고 상세한 종양 윤곽으로 바꿀 수 있습니다.

연구진은 FeTS2022 챌린지, 멘기오마(meningiomas)를 위한 BraTS-MEN 데이터셋, 그리고 사하라 이남 아프리카의 BraTS-SSA 데이터셋을 포함한 세 가지 뇌종양 관련 데이터셋을 통해 프레임워크를 테스트했습니다. 이 테스트에는 병원이 전체 세트부터 단일 스캔까지 다양한 조합의 MRI 스량을 보유한 다양한 시나리오가 포함되었습니다. 결과는 놀라웠습니다. 이미지 수준의 라벨만을 사용하고 누락된 스캔을 다루었음에도 불구하고, MOSIC 시스템은 FeTS2022 데이터셋에서 예측된 종양 윤곽이 실제 종양과 얼마나 잘 일치하는지를 측정하는 지표인 Dice 점수 0.84를 달성했습니다. 이 성능은 경계 상자(bounding boxes)나 점 주석(point annotations)과 같이 더 상세한 감독에 의존하는 다른 모든 방법을 넘어섰으며, 심지어 모든 데이터를 결합하여 접근하는 중앙 집중형 모델보다도 뛰어난 성능을 보였습니다. 실제로 시스템은 매우 단순한 형태의 라벨만을 사용했음에도 불구하고, 전문가가 수동으로 모든 종양 경계를 그려야 하는 완전 감독 방식의 정확도에 근접할 정도로 우수한 성과를 냈습니다.

가장 중요한 발견 중 하나는 새로운, 보지 못한 병원에 적응하는 시스템의 능력이었습니다. 번역 모듈이 특정 유형이 아닌 가용 스캔의 수에만 의존하기 때문에, 새로운 병원은 즉시 네트워크에 참여하여 기여할 수 있습니다. 연구진은 새로운 기관이 이미 학습된 네트워크에 참여하여 전체 시스템을 처음부터 다시 학습시킬 필요 없이 기존 구성원들과 매우 근소한 차이 내에서 성능을 달성할 수 있음을 입증했습니다. 이러한 능력은 의료 프로토콜과 장비 가용성이 광범위하게 다르고 시간에 따라 변하는 실제 현장 배치에 있어 매우 중요합니다. 또한 시스템은 스스로의 불확실성을 정량화하는 놀라운 능력을 보여주었으며, 누락된 데이터로 인해 종양 경계에 대해 확신이 떨어지는 경우를 정확히 식별해 냈습니다. 이는 임상 환경에서 신뢰를 구축하는 데 필수적인 기능입니다.

연구는 또한 서로 다른 정렬 전략이 사용될 때 어떤 일이 일 발생하는지 탐구했습니다. 연구진은 주파수 기반 접근 방식을 이미지의 단순한 평균이나 표준 편차를 매칭하려는 다른 방법들과 비교했습니다. 그들은 이러한 단순한 방법들이 의료 스캔을 구분 짓는 복잡한 질감 기반의 서명을 포착하는 데 실패한다는 것을 발견했습니다. 데이터의 근본적인 리드미컬한 패턴, 즉 "음악"을 살펴보는 주파수 기반 접근 방식만이 다양한 데이터셋을 성공적으로 정렬할 수 있었습니다. 이는 불완전하고 이질적인 데이터를 다루는 작업에서는 데이터의 "볼륨"뿐만 아니라 그 "음악"을 보는 것이 훨씬 더 효과적인 전략임을 시사합니다.

이 연구의 함의는 뇌종양을 넘어 확장됩니다. 환자 데이터를 이동시키지 않으면서도 강력한 의료 AI 모델을 학습시키고, 서로 다른 병원이 서로 다른 도구와 세부 정보를 가지고 있다는 현실을 수용하는 능력은 글로벌 헬스케어의 근본적인 병목 현상을 해결합니다. 단순한 라벨과 불완전한 데이터로도 높은 정확도가 가능하다는 것을 증명함으로써, 연구진은 더 많은 병원이 협력적인 AI 연구에 참여할 수 있는 길을 열었습니다. 이 시스템은 비용이 많이 들고 시간이 오래 걸리는 수동 주석을 요구하지 않으며, 모든 병원이 고가의 동일한 장비를 갖출 것을 요구하지도 않습니다. 대신, 불완전한 여러 출처의 집단 지식이 고도로 정확하고 신뢰할 수 있는 모델로 합성될 수 있는 유연하고 프라이버시를 보호하는 네트워크를 구축합니다.

결론적으로, MOSIC 프레임워크는 프라이버시와 불완전한 데이터라는 제약이 진보의 장벽이 될 필요는 없다는 것을 보여줍니다. 데이터가 격리되어 있고, 라벨이 부족하며, 장비가 다양한 현실 세계의 제약을 존중하도록 설계함으로써, 연구진은 분절된 현실로부터 보다 강력하고 신뢰할 수 있는 모델을 구축하는 것이 가능하다는 것을 보여주었습니다. 이 연구는 의료 AI의 미래가 모든 데이터를 한곳에 모으는 것이 아니라, 다양하고 파편화된 글로벌 헬스케어의 현실로부터 학습할 수 있는 스마트하고 적응력 있는 시스템을 만드는 데 있다는 것을 시사합니다.