💻 computer science

Frozen Brain-MRI Foundation Models Are Site Fingerprints

이 논문은 동결된 뇌 MRI 파운데이션 모델이 임상 변수를 능가하는 경우가 많으며 선형적으로 디코딩 가능한 지배적인 지문으로서 획득 사이트 정보를 본질적으로 인코딩하고 있음을 밝히며, 이는 심각한 귀속 위험을 제기하고 사이트 편향을 제거하는 것과 해부학적 분할 정확도를 보존하는 것 사이의 트레이드오프를 생성한다.

원저자: Saman Rahbar

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saman Rahbar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수퍼 스마트한 AI 비서와 함께 미스터리를 풀려는 탐정이라고 상상해 보십시오. 의학 과학의 세계에서 이 AI는 '파운데이션 모델(Foundation Model)'입니다. 이는 이미 수백만 개의 인간 머리 MRI 스캔을 읽은 거대하고 사전 학습된 뇌와 같습니다. 과학자들은 이 모델들을 매우 좋아하는데, 왜냐하면 이들은 모든 유형의 뇌를 이미 다 본 천재적인 의대생을 곁에 두는 것과 같아서, 처음부터 다시 학습할 필요 없이 질병을 진단하거나 해부학을 연구하는 데 도움을 줄 준비가 되어 있기 때문입니다. 이 AI가 새로운 스캔 영상을 보게 될 때, 뇌의 모양, 뇌실의 크기, 조직의 건강 상태와 같은 오직 '생물학적 정보'만을 보기를 바라는 것이 과학자들의 큰 희망입니다. 이 AI는 인체의 순수한 창이 되어야 하며, 그 외의 다른 것들은 무시해야 합니다.

하지만 여기 함정이 있습니다. 의료 영상은 진공 상태에서 촬영되지 않습니다. 영상은 특정 병원에서, 특정 기계(스캐너)를 사용하여, 서로 다른 속도나 설정값으로 촬영됩니다. 아이폰으로 찍은 사진과 삼성 폰으로 찍은 사진이 설령 같은 사람을 찍었더라도 다르게 보이는 것처럼, MRI 스캔 역시 그 영상을 찍은 기계의 '지문'을 담고 있습니다. 수년 동안 과학자들은 이러한 기계의 차이가 AI를 속일 수 있다는 점을 우려해 왔습니다. 즉, A 병원의 건강한 뇌가 B 병원과 모습이 약간 다르다는 이유만으로 AI가 이를 질병이 있는 것으로 오해할 수 있다는 것입니다. 핵심적인 질문은 이것이었습니다. AI가 실제로 뇌를 보고 있는 것일까요, 아니면 몰래 카메라의 스타일을 암기하고 있는 것일까요?

이 논문은 바로 그 점을 조사합니다. 연구진은 이 '동결된(frozen)' AI 모델들—즉, AI의 뇌를 잠가서 새로운 것을 배우지 못하게 만든 모델들—을 가져와서, 이들이 실제로 무엇을 보고 있는지 테스트했습니다. 그들은 AI를 용의자처럼 취급하며 물었습니다. "만약 내가 뇌 스캔 영상을 보여준다면, 당신은 그것이 어느 병원에서 왔는지 맞출 수 있습니까?" 결과는 충격적이었습니다. AI는 뇌를 볼 뿐만 아니라, 병원을 아주 선명하게 보고 있었습니다. 실제로 AI는 환자의 연령, 성별, 심지어 자폐증 여부를 식별하는 것보다 훨씬 뛰어난 정확도로 병원(사이트)을 약 90%의 정확도로 식별해 냈습니다.

가장 놀라운 반전은 무엇이었을까요? 이것은 AI가 스파이처럼 훈련되었기 때문이 아니었습니다. 연구진은 데이터에 대해 전혀 학습되지 않은 버전의 AI—그저 무작위 숫자의 집합체인 AI—를 사용하여 테스트했습니다. 심지어 이 '멍청한' 무작위 AI조차 거의 9 0%에 달하는 정확도로 병원을 식별해 냈습니다. 이는 '지문'이 AI가 학습한 비밀 코드가 아니라, 원본 사진 자체에 박혀 있다는 것을 의미합니다. 기계가 빛과 뇌의 질감을 포착하는 방식이 너무나 독특해서, 똑똑하든 멍청하든 어떤 시스템이 영상을 보더라도 그곳이 어디인지 알 수 있다는 것입니다.

논문은 또한 우리가 이를 고칠 수 있는지에 대해서도 탐구했습니다. 연구진은 수학적인 기술을 사용하여 AI의 뇌에서 병원 정보를 '닦아내려(scrub)' 시도했습니다. 그들은 뇌 전체를 보고 '예' 또는 '아니오'라고 답하는 것과 같은 단순한 작업의 경우, 결과에 지장을 주지 않고도 병원의 지문을 제거할 수 있다는 것을 발견했습니다. 그러나 뇌의 아주 작은 부분까지 그려내는 정밀한 작업의 경우, 지문을 제거하는 것은 재앙이었습니다. 알고 보니 '병원의 스타일'과 '뇌의 해부학적 구조'가 AI의 뇌 속에서 서로 뒤엉켜 있었습니다. 병원 부분을 잘라낼 때, 그들은 시상(thalamus)이나 해마(hippocampus)와 같은 뇌의 작고 깊은 구조들까지 실수로 함께 잘라냈고, 결국 AI는 이 구조들을 전혀 볼 수 없게 되었습니다.

따라서 이 논문의 주요 교훈은 과학자들에게 주는 경고입니다. 이 강력한 AI 도구들이 순수하게 해부학만을 보고 있다고 가정하지 마십시오. 그들은 스캐너 또한 보고 있습니다. 그리고 이 '지문'은 이미지 자체에 너무나 깊게 뿌리박혀 있기 때문에, AI가 이를 무시하도록 더 잘 훈련시키는 것만으로는 해결할 수 없습니다. 따라서 인체의 아주 작고 복잡한 세부 구조를 지도화하려고 할 때, AI의 답변을 사용하는 방식에 매우 주의를 기울여야 합니다.

기술 요약: 동결된 뇌 MRI 파운데이션 모델은 사이트 지문(Site Fingerprints)이다

문제 제기
다기관 데이터 풀링(Multi-site pooling)은 필요한 샘플 크기를 확보하기 위해 신경 영상 분야에서 표준적으로 사용되지만, 이는 스캐너 제조사, 자기장 세기, 획득 프로토콜의 차이로 인한 체계적이고 비생물학적인 변동을 유발한다. 수작업으로 설계된 특징(예: ComBat을 통한)을 조화시키거나 도메인 불변 모델을 훈련시키는 것에 대한 방대한 문헌이 존재하지만, 최근에는 대규모 MRI/CT 코퍼스로 사전 학습된 동결된 파운데이션 모델(Foundation Models, FMs)을 오프더쉘 인코더로 사용하는 관행이 등장했다. 실무자들은 이 임베딩이 해부학적 구조를 포착한다고 가정하며, 다운스트림 태스크를 위해 가벼운 헤드(head)를 부착하여 사용한다. 본 논문은 매우 중요하지만 간과되었던 질문을 조사한다: 동결된 뇌-FM 임베딩은 얼마나 많은 정보를 획득 사이트(acquisition site)에 할당하고 있으며, 얼마나 많은 정보를 임상적 또는 해부학적 신호에 할당하는가? 만약 사이트 정보가 임베딩 내에 깊게 박혀 있다면, 이는 공유된 표현(representation)을 기반으로 구축된 모든 다운스트림 분석을 은밀하게 교란하게 된다.

연구 방법론
저자는 두 개의 독립적인 코호트(ABIDE-I 및 ABIDE-II)와 5개의 네트워크 깊이에 걸쳐 동결된 3D 인코더에 대한 엄격한 감사를 수행하였다.

데이터 및 전처리: ABIDE-I(6개 사이트) 및 ABIDE-II(15개 사이트)의 T1 가중치 MRI 볼륨을 사용하였다. 실무자들이 동결된 인코더에 데이터를 입력하는 방식을 반영하기 위해, 두개골 제거(skull-stripping)나 공간 등록(spatial registration)을 피하고 최소한의 전처리(1.7mm 등방성 리샘플링, 강도 스케일링)만을 수행하였다.
인코더: SwinUNETR 계열의 세 가지 동결된 인코더를 테스트하였다:
1. Brain-pretrained: 약 41k개의 UK Biobank 스캔에 대해 자기지도 학습됨.
2. CT-pretrained: 공개된 MONAI 자기지도 학습 가중치.
3. Random-init: 동일한 아키텍처에 무작위 가중치 적용 (고정 시드).
- 대조 아키텍처: Plain ViT 및 3D ResNet(무작위 초기화)도 함께 테스트되었다.
프로빙(Probing): 5개의 계층적 단계(L0–L4)에서 추출된 전역 평균 풀링(Global-average-pooled, GAP) 임베딩을 다음을 사용하여 프로빙하였다:
- 선형 프로브(Linear Probes): 범주형 타겟(사이트, 성별, 자폐 진단)을 위한 다항 로지스틱 회귀 및 연령을 위한 릿지 회귀.
- 비선형 프로브(Nonlinear Probes): 숨겨진 비선형 구조를 테스트하기 위한 하나의 은닉층을 가진 MLP.
- 지표: 분류를 위한 기회 보정 균형 정확도( $d$ ) 및 회귀를 위한 $R^2$ .
통제 및 완화:
- Raw Voxel Control: 인코더 없이 다운샘플링된 이미지로부터 직접 사이트를 프로빙함.
- 인구 통계 잔차화(Population Residualization): 사이트 효과를 격리하기 위해 연령, 성별, 진단을 회귀 분석으로 제거함.
- 제거(Removal): 사이트 하위 공간(subspace)을 제거하기 위해 반복적 널 공간 투영(Iterative Null-space Projection, INLP) 및 ComBat을 적용함.
- 다운스트림 영향: 동결된 인코더에 훈련된 디코더를 부착하여 밀집 세그멘테이션(SynthSeg 실버 라벨 사용)을 수행함으로써, 사이트 제거가 해부학적 충실도(Dice score)에 미치는 비용을 측정함.

주요 결과

사이트가 지배적인 신호임: 모든 인코더와 레이어에 걸쳐, 획득 사이트는 높은 정확도(~0.9 균형 정확도)로 디코딩 가능하며, 이는 임상 변수(성별, 연령, 자폐 진단)의 디코딩 성능을 유의미하게 상회한다. 사이트 지배도 비율은 ABIDE-I에서 2–6배, ABIDE-II에서 1.6–3배로 나타났다.
내재적이지, 학습된 것이 아님: "사이트 지문"은 사전 학습의 산물이 아니다.
- 무작위로 초기화된 인코더는 사전 학습된 모델과 일치하거나 이를 능가하는 ~0.9의 사이트 디코딩 성능을 보인다.
- 사이트는 인코더 없이 다운샘플링된 원본 이미지에서도 직접 디코딩 가능하다(~0.95).
- 이 효과는 세 가지 아키텍처 계열(Swin, ViT, ResNet)과 여러 무작위 시드에 걸쳐 지속된다.
- 결론: 이 지문은 획득 과정에 내재된 저수준 이미지 통계의 결과이며, 어떤 아키텍처라도 이를 보존한다.
획득에 의한 것이지, 인구 집단에 의한 것이 아님: 측정된 인구 통계 공변량(연령, 성별, 진단)을 잔차화해도 사이트 디코딩 성능은 거의 변하지 않았다(95–99.8% 유지). 이는 신호가 인구 구성이 아닌 획득 파라미터에 의해 구동됨을 나타낸다.
선형적 접근성: 비선형(MLP) 프로브가 선형 프로브보다 성능이 뛰어나지 않았으며, 이는 사이트 정보가 복잡한 비선형 구조에 숨겨져 있는 것이 아니라 선형적으로 접근 가능하다는 것을 확인시켜 준다.
깊이 프로파일: 사이트 디코딩 가능성은 일반적으로 네트워크 깊이가 깊어짐에 따라 증가하여 병목 지점(L4)에서 정점을 찍는 반면, 연령과 같은 임상 신호는 중간 단계에서 정점을 찍고 병목 지점에서 감소하는 경외를 보인다.
완화 비용:
- 전역 판독(Global Readouts): INLP 또는 ComBat을 통해 사이트 하위 공간을 제거하면 사이트 디코딩 성능이 거의 무작위 수준으로 감소(0.94 → 0.07/0.00)하지만, 전역 분류 태스크에 미치는 영향은 미미하다.
- 밀집 세그멘테이션(Dense Segmentation): 사이트 하위 공간을 제거하는 것은 파괴적이다. 병목 지점에서의 제거는 Dice 점수에 중립적이지만, 모든 스케일에서 사이트 하위 공간을 제거하면 교차 사이트 Dice 점수가 급락한다(0.84 → 0.18). 이는 매칭된 랭크 무작위 방향 제어(matched-rank random-direction control)를 통해 사이트 하위 공간 특유의 현상임을 확인하였다.
- 얽힘(Entanglement): 사이트와 해부학적 구조는 얽힌 선형 하위 공간을 점유한다. 사이트 방향을 제거하면 주변부의 큰 조직은 보존되는 반면, 작고 깊은 피질하 구조(예: 시상, 피각)는 우선적으로 파괴된다.

의의 및 주장
본 논문은 동결된 파운데이션 모델 임베딩이 "해부학을 담고 있는" 요약본이라는 가정은 잘못되었으며, 실제로는 사이트 지문이라고 주장한다.

인과적 전환: 사이트 효과가 학습된 혼란 변수라는 기존 연구와 달리, 본 연구는 이 효과가 아키텍처가 저수준 이미지 통계에 작용하여 발생하는 내재적 현상임을 입증한다. 따라서 사전 학습의 위생(hygiene)이나 더 큰 데이터셋을 통해서는 이를 제거할 수 없으며, 명시적인 불변성 목적 함수(invariance objectives)나 다운스트림에서의 제거가 필요하다.
감사의 필요성: 저자는 임베딩을 풀링하기 전에 사이트 디코딩 가능성을 인구 통계 표와 마찬가지로 정기적으로 감사하고 보고할 것을 권장한다.
맥락 의존적 완화: 사이트 제거가 풀링된/전역 판독에는 비용이 적게 들지만, 밀집 세그멘테이션 태스크에서는 사이트와 해부학적 특징이 얽혀 있기 때문에 공짜가 아니다. 실무자는 자신의 다운스트림 헤드에 맞는 완화 전략을 선택해야 한다.
프라이버시 함의: 공유된 동결 임베딩은 획득 출처를 유출하며(~0.9 정확도), 이는 연합 학습(federated learning)에서 사이트 추적 위험을 초래할 수 있으나, 개인 식별과는 거리가 멀다.

저자는 이러한 발견의 재현과 향후 뇌 MRI 파운데이션 모델의 감사를 지원하기 위해 오픈 감사 툴킷을 공개한다.

유사한 논문