Neuro-JEPA: Building and Evaluating Health-System Scale Neuroimaging Foundation Models with Mixture of Experts
Neuro-JEPA는 155만 개의 임상 MRI 스캔을 활용한 희소 전문가 혼합(sparse Mixture-of-Experts) 구조와 잠재 예측 학습을 통해 다양한 신경학적 영상 작업 및 의료 체계 전반에 걸쳐 최첨단 수준의 견고한 일반화를 달성하며, 종종 훨씬 적은 사전 학습 데이터로도 더 큰 규모의 모델들을 능가하는 확장 가능한 다중 모달 파운데이션 모델입니다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인간의 뇌는 복잡한 기관이며, 그 건강을 이해하는 것은 종종 단 한 번의 절개 없이 내부를 들여다보는 것에 의존합니다. 의사들은 뇌 조직의 상세한 사진을 만들기 위해 자기공명영상, 즉 MRI를 사용합니다. 이 사진들은 모두 동일하지 않습니다. 마치 나뭇잎의 질감을 보거나 그 안의 물을 보기 위해 카메라의 초점을 조절하는 것처럼, 서로 다른 특징을 강조하기 위해 다양한 설정으로 촬영됩니다. 한 설정은 뇌의 구조를 명확하게 보여주고, 다른 하나는 액체를 강조하며, 세 번째는 그 액체를 억제하여 부종이나 질병이 두드러지게 만듭니다. 인간 전문가에게 있어 환자의 건강을 판독하는 것은 이러한 다양한 뷰들을 함께 살펴보며, 각 뷰에서 얻은 단서들을 결합하여 완전한 진단을 내리는 과정입니다. 그러나 컴퓨터에게 이를 가르치는 것은 어려웠습니다. 대부분의 인공지능 시스템은 한 번에 한 종류의 사진만을 보도록 훈련되어, 서로 다른 뷰 사이의 풍부한 연결 고리를 놓치고 있습니다. 이는 인간 의사가 생각하는 방식과 현재의 컴퓨터 프로그램이 작동하는 방식 사이의 간극을 남깁니다.
뉴욕 대학교와 스탠퍼드 대학교의 연구진은 이 간극을 메우기 위해 설계된 새로운 종류의 인공지능을 구축했습니다. 그들은 세 가지 유형의 MRI 사진을 동시에 살펴봄으로써 뇌를 이해하도록 훈련된 Neuro-JEPA라는 컴퓨터 모델을 만들었습니다. 이 모델은 소수의 교과서적인 사례 모음으로부터 학습하는 대신, 거의 43만 명의 환자로부터 얻은 155만 개의 뇌 스캔 데이터가 담긴 거대한 아카이브를 연구했습니다. 이 스캔들은 대규모 병원 시스템에서 가져온 것이며 뇌졸중과 종양부터 알츠하이머와 같은 신경 퇴행성 질환에 이르기까지 폭넓은 질환을 다룹니다. 연구진은 단순히 데이터를 표준적인 컴퓨터 프로그램에 입력한 것이 아니라, 모델이 서로 다른 이미지 유형 간의 관계를 학습할 수 있도록 하는 특화된 구조를 구축했습니다. 이를 통해 모델은 서로 다른 병원, 서로 다른 스캐너, 서로 다른 질병에 걸쳐 작동하는 통합된 뇌 이해도를 형성하는 법을 배웠습니다.
이 연구의 결과는 새로운 모델이 이전 시스템들보다 뇌 영상을 이해하는 데 훨씬 더 뛰어나다는 것을 보여줍니다. 뇌졸중 식별, 환자의 회복 예측, 또는 치매의 초기 징후 여부 결정과 같은 수십 가지 작업에 대해 테스트했을 때, 이 새로운 모델은 기존 도구들을 일관되게 능가했습니다. 특히 전문 의사가 이미지를 표시(labeling)해야 하는 의료 분야의 흔한 문제인 '라벨링된 데이터가 매우 적은 상황'에서도 성공적이었습니다. 어떤 경우에는 모델이 기존의 최고 시스템들보다 AUC를 최대 0.15까지 향상시켰는데, 특히 다발성 경화증이나 뇌 염증과 같은 질환에서 그러했습니다. 결정적으로, 이 모델은 다른 선도적인 모델들이 사용한 데이터의 3분의 1도 안 되는 양으로 훈련되었음에도 불구하고 이러한 결과를 달enc성, 모델의 설계 방식이 단순히 더 많은 데이터를 갖는 것보다 더 중요하다는 점을 시사했습니다.
연구진은 또한 이 모델이 다른 병원의 환자를 보거나 이전에 본 적 없는 유형의 스캔을 사용하는 것과 같은 실제 세계의 과제를 처리할 수 있는지 테스트했습니다. 모델은 이러한 다양한 환경에서도 높은 성능을 유지했는데, 이는 모델이 단순히 특정 이미지를 암기한 것이 아니라 뇌 해부학 및 질병에 관한 일반적인 원리를 학습했음을 증명합니다. 모델은 심지어 일상적인 케어의 일부인 표준 MRI 스캔만을 사용하여 환자의 입원 기간이나 경미한 기억력 문제가 완전한 치매로 진행될지 여부와 같은 결과를 예측할 수도 있었습니다. 이러한 능력은 의사들이 이미 찍고 있는 스캔으로부터 더 많은 정보를 얻을 수 있게 해주므로, 비싸거나 침습적인 추가 검사 없이도 질병을 더 일찍 발견하거나 치료를 더 효과적으로 계획하는 데 매우 중요합니다.
이 시스템을 구축하기 위해 연구진은 몇 가지 구체적인 문제들을 해결해야 했습니다. 그들은 다른 유형의 데이터를 위해 사용되는 기존 방식들을 단순히 복제하는 것이 뇌 스캔에는 잘 작동하지 않는다는 것을 발견했습니다. 그들은 모델이 단순한 패턴에 기반해 추측하는 대신 가장 중요한 세부 사항을 학습하도록 강제하기 위해, 훈련 중에 이미지의 일부를 숨기는 특별한 방법이 필요하다는 것을 발견했습니다. 또한 모델이 두개골 주변의 빈 공간을 무시하고 뇌 조직 자체에 주의를 집중할 수 있게 하는 메커니즘을 도입하여 학습 과정을 훨씬 더 효율적으로 만들었습니다. 나아가, 모델이 이미지의 각 부분에 대해 서로 다른 '전문가(experts)'를 활성화할 수 있는 설계를 사용하여, 시스템이 마주치는 방대한 종류의 뇌 형태와 병리 현상을 처리할 수 있도록 했습니다. 이러한 접근 방식은 모델이 효과적으로 확장될 수 있게 하여, 더 많은 데이터와 더 많은 컴퓨팅 파워가 주어짐에 따라 더욱 강력해지도록 했습니다.
이 연구는 더 나은 의료용 AI를 만드는 유일한 방법이 더 많은 데이터를 수집하는 것이라는 생각을 명시적으로 반박합니다. 데이터도 중요하지만, 연구진은 모델의 설계와 훈련 과정의 품질이 결정적인 요소임을 입증했습니다. 그들은 정교하게 설계된 모델이 155만 개의 큐레이션된 스캔으로 훈련되었을 때, 500만 개 이상의 스캔으로 훈련된 모델보다 뛰어난 성능을 보일 수 있음을 보여주었습니다. 또한 이 모델들이 훈련된 특정 병원에서만 작동한다는 생각도 부정하며, 습득된 지식이 다른 기관과 다른 유형의 의료 영상에도 전이 가능하다는 것을 증명했습니다. 이 작업은 의료 영상의 미래가 모든 질병에 대한 별도의 컴퓨터 프로그램을 만드는 것이 아니라, 새로운 질문과 새로운 환자가 발생할 때마다 적응하며 뇌 전체를 이해할 수 있는 하나의 다재다능한 시스템을 구축하는 데 있음을 시사합니다.
이 연구는 인공지능을 신경학적 케어의 신뢰할 수 있는 파트너로 만드는 데 있어 중요한 진전을 의미합니다. 하나의 모델이 다양한 데이터로부터 학습하고 이를 광범위한 임상 문제에 적용할 수 있음을 보여줌으로써, 연구팀은 의사들이 더 빠르고 정확한 결정을 내릴 수 있도록 지원할 수 있는 프레임워크를 제공했습니다. 일상적인 스캔을 통해 질병 진행과 환자의 예후를 예측할 수 있는 모델의 능력은 조기 개입과 만성 질환의 더 나은 관리를 위한 길을 열어줍니다. 연구진이 이 도구들을 계속 정교화하고 더욱 다양한 인구 집단과 영상 유형으로 훈련 범위를 넓혀감에 따라, 이러한 시스템이 환자 케어를 개선할 수 있는 잠재력은 커지고 있으며, 이는 해당 분야를 실험적인 프로토타입에서 실질적이고 범용적인 도구로 이동시키고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.