💬 NLP

Self-supervision drives representational convergence in medical foundation models more than clinical supervision

이 연구는 의료 파운데이션 모델의 표현 수렴(representational convergence)이 임상적 감독이나 모델 규모보다는 주로 자기지도 학습 사전 훈련 목적 함수에 의해 주도되며, 그 결과 교차 인코더 전이 학습을 지원하는 수준의 완만한 정렬에는 도달하지만 임상적 판단이나 의미적 유사성을 완전히 포착하는 데는 실패한다는 점을 밝히고 있다.

원저자: Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 서로 매우 다른 로봇들에게 세상을 이해하는 법을 가르치려 한다고 상상해 보십시오. 당신은 그들에게 모두 똑같은 과제를 줍니다. 바로 의료 영상 사진을 보고 무엇이 보이는지 설명하는 것입니다. 인공지능의 세계에는 '플라톤적 표현 가설(Platonic Representation Hypothesis)'이라는 유명한 개념이 있습니다. 이것을 이렇게 생각해 보십시오. 만약 충분한 양의 데이터로 충분히 많은 로봇을 훈련시킨다면, 그들은 결국 모두 똑같은 방식으로 생각하기 시작할 것입니다. 즉, 그들은 모두 현실에 대한 동일한 내부 지도를 구축하게 될 것이며, 그 지도 안에서는 '부러진 뼈'가 로봇 A에게나 로봇 B에게나 똑같이 보이게 될 것입니다. 누가 그들을 만들었는지, 혹은 어떤 구체적인 학습을 했는지와 상관없이 말입니다. 이 아이디어는 흥ร로운데, 만약 모든 의료용 AI 모델이 이 단일하고 완벽한 지도에 수렴한다면, 의사들이 도구를 망가뜨리지 않고도 배터리를 교체하듯 모델들을 서로 갈아 끼울 수 있기 때문입니다. 하지만 실제로 이런 일이 일어나고 있을까요? 이 디지털 두뇌들은 정말로 질병이 어떻게 생겼는지에 대해 동의하고 있을까요, 아니면 그저 같은 언어의 서로 다른 방언을 말하고 있는 것뿐일까요?

한 연구팀이 이 아이디어를 테스트하기 위해 거대하고 통제된 실험을 진행하기로 했습니다. 그들은 다양한 연구소와 기업에서 나온 18개의 '이미지 인코더'(사진을 보는 AI 부분)와 7개의 '텍스트 인코더'(보고서를 읽는 부분)를 모았습니다. 이 모델들은 파라미터가 700만 개인 아주 작은 모델부터 270억 개인 거대 모델까지 다양했습니다. 연구진은 단순히 이들을 비교한 것이 아니라 해부했습니다. 그들은 모든 면에서 동일하지만 오직 한 가지, 즉 달성하고자 하는 목표만 다른 새로운 모델들을 훈련시켰습니다. 어떤 모델들은 '자기 지도 학습'(이미지만으로 패턴을 학습)을 통해 훈련되었고, 어떤 모델들은 '임상 지도 학습'(의사의 라벨로부터 학습)을 통해, 또 어떤 모델들은 '이미지-텍스트 쌍'(사진과 보고서를 매칭)을 통해 훈련되었습니다.

여기 반전이 있습니다. 연구진은 보편적이고 공유된 지도의 개념이 대부분 신화에 불과하지만, 대신 매우 특정한 종류의 현실이 존재한다는 것을 발견했습니다. 그들은 자기 지도 학습(이미지 자체로부터 학습하는 것)이 모델들을 서로 일치하게 만드는 진정한 접착제라는 것을 발견했습니다. 사실, 훈련 과정에 의사의 라벨을 추가하는 것은 모델들을 동료 모델들과 더 유사하게 만드는 것이 아니라, 오히려 덜 유사하게 만들었습니다. 특정 의료 라벨 없이 그저 "보고 배우도록" 훈련된 모델들이 특정 의료 라벨을 가지고 훈련된 모델들(약 21%의 유사도)보다 훨씬 더 잘 일치하는 결과(흉부 X선 사진에서 약 40%의 유사도)를 보였습니다.

하지만 이러한 합의는 미미하며 엄격한 한계가 있습니다. 이는 오직 동일한 유형의 사진 내에서만 발생합니다(X선은 X선끼리 일치하지만, 피부 사진과는 일치하지 않습니다). 모델이 커지거나 더 똑똑해진다고 해서 이 합의가 더 좋아지지는 않습니다. 270억 개의 파라미터를 가진 거대 모델이 반드시 더 작은 모델보다 더 높은 정렬도를 보이는 것은 아닙니다. 가장 놀라운 점은, 이 이미지 모델들과 의료 보고서를 읽는 텍스트 모델들은 결코 공통된 지도를 공유하지 않는다는 것입니다. 그들의 내부 언어는 완전히 다르며, 더 많은 데이터를 입력할수록 그들은 실제로 서로 더 멀어집니다.

이러한 한계에도 불구하고 희망적인 부분은 있습니다. 비록 모델들이 완벽하게 공유된 기하학적 구조에 동의하지는 않더라도, 실질적인 과업을 수행하기에는 "충분히 괜찮다"는 점입니다. 연구진은 한 모델로 훈련된 진단 도구가 완전히 다른 모델로 전이되었을 때도 원래 정확도의 약 85%를 유지하며 여전히 작동할 수 있음을 보여주었습니다. 이것은 마치 도시의 서로 다른 두 지도가 있고 랜드마크가 똑같이 생기지는 않았더라도, 랜드마크를 번역하는 법만 안다면 길을 잃지 않고 A 지점에서 B 지점까지 운전해서 갈 수 있는 것과 같습니다. 이 연구는 우리가 AI 모델이 엄청난 크기를 통해 마법처럼 하나의 완벽한 뇌로 수렴하기를 기다릴 것이 아니라, 적어도 가장 중요한 순간에 서로 대화할 수 있도록 올바른 훈련 목표를 가지고 모델을 설계해야 한다고 결론짓습니다.

기술 요약: 의료 파운데이션 모델에서 자기 지도 학습(Self-supervision)이 임상적 지도 학습(Clinical supervision)보다 표현 수렴(Representational convergence)을 더 강력하게 유도한다

문제 정의
다양한 연구 그룹에서 개발된 의료 영상 인코더들은 "플라톤적 표현 가설(Platonic Representation Hypothesis)"에 근거하여 서로 교체 가능한 것으로 간주되는 경우가 점점 늘고 있다. 이 가설은 모델이 규모를 키우고 다양한 임상 작업에 대해 학습함에 따라, 내부 표현이 세계에 대한 공유된 통계적 모델로 수렴한다는 것을 시사한다. 그러나 이러한 수렴이 실재하는지, 무엇이 이를 유도하는지(규모, 임상적 지도 학습, 또는 학습 목적 함수), 그리고 이것이 임상적으로 사용 가능한지 여부는 아직 검증되지 않았다. 기존의 유사도 측정 방식은 종종 취약하며, 수렴에 대한 주장은 평가 체계에 따라 크게 달라질 수 있다. 또한, 이러한 수렴이 환자 하위 그룹 전반에 걸쳐 균일하게 나타나는지, 혹은 이미지와 임상 텍스트 간의 교차 모달 정렬(Cross-modal alignment)로까지 확장되는지도 알려져 있지 않다.

방법론
저자들은 2020년부터 2025년 사이에 출시된 7백만 개에서 270억 개의 파라미터를 가진 25개의 오픈 웨이트 파운데이션 모델(18개의 이미지 인코더 및 7개의 생물 의학 텍est 인코더)을 통제된 방식으로 해부하였다. 본 연구는 다음과 같은 다중 모달 평가 코퍼스를 활용한다:

흉부 방사선 사진: 3개국(미국, 스페인, 베트남)의 6개 데이터셋에서 추출한 650,982장의 이미지로, 소아 코호트를 포함한다.
기타 양식: 병리 조직(22,000개 패치), 망막 안저(3,738장), 더모스코피(5,987장), 유방 촬영술(2,500장).
텍스트: 이미지-보고서 쌍 코퍼스(MIMIC-CXR, CheXpert) 및 이미지-캡션 쌍(Quilt-1M).

핵심 실험 설계:

표현 정렬(Representational Alignment): 주요 지표는 고정된 이미지 풀(Pool) 상에서 인코더 쌍 간의 최근접 이웃 그래프(Nearest-neighbor graph) 중첩도를 측정하는 중심 커널 최근접 이웃 정렬(CKNNA)과 상호 k-최근접 이웃(mKNN) 정렬( $k=10$ )이다. 무작위로 초기화된 비전 트랜스포머(ViT)는 우연에 의한 정렬 수준인 "바닥(Floor)" 역할을 한다.
통제된 학습 행렬: 수렴의 동인을 격리하기 위해, 저자들은 동일한 자기 지도 학습 초기값으로부터 12개의 인코더를 학습시켰으며, 데이터, 아키텍처(ViT-S/ViT-B), 규모를 일정하게 유지하면서 오직 학습 목적 함수(마스크 이미지 자기 지도 학습, 임상 라벨 지도 학습, 또는 이미지-텍스트 대조 학습)만을 변화시켰다.
합성 생성 모델: 이미지 특징이 임상 지도 신호 하위 공간과 노이즈(Nuisance) 하위 공간을 혼합하는 합성 모델을 구축하였다. 인코더들을 다양한 수준의 라벨 정보성( $\alpha$ )에 걸쳐 자기 지도 및 지도 학습 목적 함수로 학습시켜, 지도 학습 목적 함수가 본질적으로 수렴을 유도하는지 테스트하였다.
다운스트림 사용성: 다음을 통해 기능적 교체 가능성을 테스트하였다:
- 교차 인코더 전이(Cross-encoder transfer): 한 인코더의 공간에서 선형 분류기를 학습시킨 후 다른 인코더들에 적용.
- 특징 스티칭(Feature stitching): 한 인코더의 고정된 분류기 헤드로 특징을 변환하기 위한 아핀 맵(Affine map) 학습.
- 드리프트 탐지(Drift detection): 교차 인코더 이웃 불일치를 사용하여 분포 변화를 탐지.
임상적 근거(Clinical Grounding): 두 명의 전문의(영상의학과 전문의)가 630장의 흉부 방사선 사진과 300개의 임상 유사성 삼중항(Triplet)에 대해 참조 라벨을 제공하여, 공유된 기하학적 구조가 전문가의 진단적 일치 또는 유사성 판단과 일치하는지 검증하였다.

주요 결과

학습 목적 함수가 수렴을 주도함: 표현 정렬의 주요 동인은 임상적 지도 학습이 아니라 자기 지도 학습 목적 함수이다. 동일한 자기 지도 학습 목적 함수로 학습된 인코더들은 가장 높은 정렬도를 보였으며(예: 흉부 방사선 사진에서 40.4% CKNNA), 이는 라벨 지도 학습(21.1%) 및 이미지-텍스트(3.3%) 인코더를 유의미하게 상회한다. 동일한 백본에 임상 라벨 목적 함수를 추가하는 것은 오히려 동료 모델 대비 수렴도를 감소시켰다.
완만하지만 실재하는 수렴: 수렴은 실재하지만 완만하다. 양식 내 정렬(예: 병리 조직의 경우 38.3%, 흉부 방사선의 경우 10.8%)은 무작위 초기화 바닥을 상회하지만, 완벽한 일치에는 미치지 못한다.
규모에 따른 경향성 부재: 수렴은 모델 크기, 다운스트림 성능(AUROC), 또는 출시 연도에 따라 규모가 커지는 경향을 보이지 않는다. 더 크거나 더 유능한 모델이 공유된 표현에 더 가깝게 위치하지도 않는다(모델 크기와 수렴 간의 Spearman $\rho = 0.302, p = 0.223$ ).
양식 내 현상(Within-Modality Phenomenon): 수렴은 엄격하게 양식 내에서만 발생한다. 이미지와 텍스트 인코더 간의 교차 모달 정렬은 무작위 바닥 수준에 머물러 있으며, 평가 풀의 크기가 증가함에 따라 0으로 수렴하며, 이 환경에서 공유된 이미지-텍스트 기하학이 존재한다는 가설을 뒷받-지한다.
임상 구조 vs. 분류 체계: 공유된 기하학은 경험적인 임상적 공존(Co-occurrence) 양상(Spearman $\rho = 0.615$ )은 복구하지만, 행정적 ICD-10 계층 구조와는 일치하지 않는다.
하위 그룹의 불안정성: 정렬은 환자 하위 그룹에 따라 불균일하다. 표본 크기 아티팩트를 보정한 후에도 차이가 통계적으로 견고하지는 않았으나, 합의된 정렬은 과소 대표된 그룹(예: 네이티브 아메리칸, 환자 거부 인종 등)에서 가장 신뢰도가 낮았으며, 이는 표현의 격차를 시사한다.
기능적 교체 가능성: 약한 기하학적 정렬에도 불구하고, 상대적 좌표계 내에서 학습된 선형 분류기는 다른 인코더 및 외부 사이트로 전이되었을 때 오라클(Oracle) 성능의 약 85%를 유지하였다. 특징 스티칭은 오라클 성능을 성공적으로 복구하였다. 그러나 교차 인코더 이웃 불일치에 기반한 드리프트 탐지기는 분포 변화를 탐지하는 데 실패하였다.
전문가 판단: 공유된 기하학은 영상의학과 전문의가 사례 수준의 임상적 유사성을 판단하는 방식을 재현하지 못했다. 인코더들은 참조 라벨에 대한 진단 정확도는 유지했음에도 불구하고, 삼중항 예측 작업에서는 우연 수준의 성능을 보였다.

의의 및 주장
본 논문은 의료 파운데이션 모델에서 무엇이 표현 수렴을 만들어내는지에 대한 최초의 통제된 설명을 제공한다고 주장하며, 규모와 임상적 지도 학습이 주요 동인이라는 기존의 가설을 뒤집는다. 저자들은 다음과 같이 결론짓는다:

수렴은 목적 함수에 의존적이다: 상호 운용성은 규모나 임상적 지도 학습에서 발생하는 창발적 속성이 아니라, 자기 지도 학습 목적 함수의 속성이다.
설계 시 시사점: 상호 운용성을 달성하려면, 규모가 보편적 표현을 제조하기를 기다리기보다, 모델을 정렬시키는 특정 목적 함수를 설계해야 한다.
실질적 사용성: 완만한 수준의 임상적으로 조직된 수렴은, 상대적 표현과 스티칭을 통해 구축될 경우 "인코더 불가지론적(Encoder-agnostic)" 임상 도구를 가능하게 하기에 충분하다.
수렴의 한계: 공유된 기하학은 영상의학자의 유사성 판단에 대한 모델이 아니며, 이미지-텍스트 간의 간극을 메우지 못하고, 환자 집단에 대해 균일하지 않다. 이는 보편적으로 견고하다고 가정하기보다 특정 임상 작업 및 하위 그룹에 대해 검증되어야 한다.

본 연구는 정렬이 풀 크기와 평가 지표에 민감한, 체제 의존적(Regime-dependent) 측정임을 강조하며, 부정적인 결과(예: 교차 모달 수렴의 부재, 규모 확장 경향의 부재)가 의료 파운데이션 모델의 한계를 이해하는 데 있어 긍정적인 결과만큼이나 중요하다는 점을 밝힌다.

유사한 논문