🤖 machine learning

RadPRISM: Schema-stratified radiology-report supervision for concept-disentangled image representations and visual grounding

RadPRISM은 스키마 계층화된 감독(schema-stratified supervision)을 통해 흉부 방사선 이미지를 전용 시각적 부공간(visual subspaces) 내의 임상의 정의 개념들과 정렬함으로써, 기존의 공유 공간 모델들과 비교하여 제로샷 분류, 시각적 그라운딩(visual grounding), 그리고 개념 분리형 검색 성능을 유의미하게 향상시킨 새로운 시각-언어 사전 학습 프레임워크이다.

원저자: Fabian Drexel, Marlene Fritzsche, Era Stambollxhiu, Miriam Kumpf, Lena Schmitzer, Lea Schumann, Jannik Kahmann, Friedrich Puttkammer, Johannes Moll, Jannik Lübberstedt, Zeineb Ben Chaaben, Anirudh Nar

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Fabian Drexel, Marlene Fritzsche, Era Stambollxhiu, Miriam Kumpf, Lena Schmitzer, Lea Schumann, Jannik Kahmann, Friedrich Puttkammer, Johannes Moll, Jannik Lübberstedt, Zeineb Ben Chaaben, Anirudh Narayanan, Cosmin I. Bercea, Sebastian Ziegelmayer, Marcus R. Makowski, Daniel Rueckert, Lisa C. Adams, Keno K. Bressem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 사진을 보여주고 그에 대한 이야기를 읽게 함으로써 세상을 이해하도록 가르치려 한다고 상상해 보십시오. 이것이 바로 '시각-언어(vision-language)' 학습의 핵심입니다. 이는 기계가 자신이 보는 것과 읽는 것을 연결하도록 시도하는 인공지능의 한 분야입니다. 오랫동안 과학자들은 컴퓨터에게 '원사이즈-핏-올(one-size-fits-all, 일률적인)' 방식으로 가르쳐 왔습니다. 즉, 컴퓨터에게 흉부 X선 사진 한 장과 의사의 진단서 전체를 통째로 보여주며, 이 두 가지가 하나의 거대한 정보 덩어리로서 어떻게 서로 맞물리는지 학습하도록 요구했습니다. 이는 마치 새로운 언어를 배울 때 소설 한 권 전체를 들으면서 동시에 단 하나의 장면이 담긴 사진을 보고, 어떤 단어가 이미지의 어느 부분에 속하는지를 컴퓨터가 마법처럼 알아내기를 바라는 것과 같습니다. 이러한 방식은 일반적인 작업에는 괜찮을지 모르지만, 특정 세부 사항을 찾아야 할 때는 매우 지저분해집니다. 만약 의사가 "심장은 크지만, 폐는 깨끗하다"라고 쓴다면, 컴퓨터는 이미지의 어느 부분이 심장에 해당하고 어느 부분이 폐에 해당하는지 혼동할 수 있습니다. 이러한 정밀함의 부족은 AI가 왜 특정 결정을 내렸는지, 혹은 문제의 지점을 정확히 어디로 지목했는지 쉽게 알 수 없게 만들기 때문에 의사들이 AI를 신뢰하기 어렵게 만듭니다.

여기에서 새로운 논문인 RadPRISM이 등장합니다. 연구진은 컴퓨터가 의료 보고서를 읽고 X선을 보는 더 똑똑한 방법을 구축하고자 했습니다. 보고서 전체를 하나의 커다란 덩어리로 취급하는 대신, 그들은 보고서를 망치, 드라이버, 렌치를 위한 별도의 서랍으로 분류하듯 작고 구체적인 조각들로 나누기로 했습니다. 그들은 의사의 자유 형식 텍스트 보고서를 가져와 강력한 AI 언어 도구를 사용하여 "골절"이나 "폐의 액체"와 같이 특정 사물을 설명하는 구체적인 문장들을 찾아낸 다음, 컴퓨터가 이미지에서 오직 그 특정 대상만을 찾도록 가르쳤습니다. 이는 컴퓨터에게 전체 이미지를 보는 광각 렌서 대신, 각 특정 의료 개념에 맞는 돋보기를 쥐여주는 것과 같습니다. 그 결과, 컴퓨터는 단순히 "무언가 잘못되었다"라고 말하는 데 그치지 않고, 인간 의사와 동일한 기술적 언어를 사용하여 문제가 정확히 어디에 있는지 설명하고 지목할 수 있게 되었습니다. 이 모든 과정은 훈련 중에 인간이 모든 문제에 박스를 그려줄 필요 없이 이루어졌습니다.

핵심 아이디어: 도구함 정리하기

파비안 드렉셀(Fabian Drexel)과 뮌헨 공과대학교 연구진이 이끄는 팀은 기존의 AI 모델들이 도서관 전체를 한꺼번에 암기하려는 학생과 같다는 점을 깨달았습니다. 기존 모델들은 "폐렴"과 "액체"가 모두 폐에 있는 나쁜 것이라는 점은 배웠지만, 세부 사항을 명확히 구분하는 데는 어려움을 겪었습니다. 만약 보고서에 "왼쪽에는 액체가 있지만 오른쪽에는 없다"라고 적혀 있다면, 표준 모델은 단순히 "액체 = 나쁨"이라고 학습하고 어느 쪽인지에 대한 정보는 잊어버릴 수 있습니다.

이를 해결하기 위해 연구진은 RadPRISM을 발명했습니다. 그들은 먼저 뮌헨의 한 병원에서 가져온 323,562개 이상의 흉부 X선 사진과 그에 대응하는 자유 형식 보고서로 구성된 방대한 아카이브로 시작했습니다. 보고서 전체를 컴퓨터에 입력하는 대신, 특수한 AI 도구(대규모 언어 모델)를 사용하여 매우 빠른 사서 역할을 하게 했습니다. 이 사서는 모든 보고서를 읽고 "폐렴", "골절" 또는 "심장 크기"와 같은 19가지 서로 다른 의료 개념에 대한 구체적인 문장을 추출했습니다.

컴퓨터의 뇌를 19개의 서로 다른 "하위 방"이 있는 거대한 방이라고 상상해 보십시오. 사서가 "폐렴"에 관한 문장을 찾으면, 그 문장을 "폐렴 방"으로 보냅니다. "골절"에 관한 문장을 찾으면 이를 "골절 방"으로 보냅니다. 그러면 컴퓨터는 X선을 보고 오직 폐렴 방이나 골절 방에만 해당하는 시각적 단서를 찾는 법을 배웁니다. 이를 "개념 계층화(concept-stratified)" 학습이라고 합니다. 이는 컴퓨터가 아이디어를 큰 덩어리로 섞어버리는 대신, 각각의 아이디어를 분리하고 체계적으로 유지하도록 강제합니다.

발견한 사실: 더 날카로운 눈과 더 나은 기억력

이 새로운 방법의 결과는 인상적이었습니다. 연구진이 본 적 없는 새로운 X선 사진으로 컴퓨터를 테스트했을 때(제로샷 분류 작업), RadPRM 모델은 0.868(매크로 AUROC로 측정)의 확률로 정답을 맞혔습니다. 이를 기존의 "일률적인" 방식이 정답을 맞힌 확률인 0.717과 비교해 보십시오. 이는 엄청난 정확도의 상승이며, 정보를 별도의 "방"으로 조직하는 것이 컴퓨터의 이해에 정말 도움이 된다는 것을 시사합니다.

하지만 진짜 마법은 연구진이 컴퓨터에게 X선 상의 문제를 지목하라고 요청했을 때, 즉 "시각적 접지(visual grounding)" 작업을 수행했을 때 일어났습니다. 이는 컴퓨터에게 폐렴이 있는 정확한 지점에 점을 찍으라고 요청하는 것과 같습니다. CheXlocalize라는 공개 데이터셋을 사용한 테스트에서, RadPRISM은 이전의 최고 모델인 CARZero보다 압도적인 성능을 보였습니다.

**무기폐(Atelectasis, 폐 허탈)**의 경우, RadPRISM은 올바른 위치를 지목하는 데 있어 4.3배 더 뛰어났습니다.
**흉수(Pleural Effusion, 폐 주변의 액체)**의 경우, 2.8배 더 뛰어났습니다.
**폐 병변(Lung Lesions)**의 경우, 1.5배 더 뛰어났습니다.

더 흥-미로운 점은, 컴퓨터가 의사가 질병 주위에 원을 그리는 예시를 단 하나도 보지 않고도 이 모든 일을 해냈다는 것입니다. 컴퓨터는 텍스트 설명과 이미지를 읽는 것만으로 위치를 찾는 법을 배웠습니다.

인간 테스트: 의사가 신뢰할 수 있는가?

이것이 단순한 컴퓨터의 기술적 트릭이 아닌지 확인하기 위해, 연구진은 실제 의사들을 투입했습니다. 6명의 영상의학과 전공의(수련의)들이 200개의 X선을 보고 컴퓨터의 성과를 평가하게 했습니다. 그들은 세 가지 질문을 던졌습니다:

컴퓨터가 질병의 존재 여부를 정확히 예측했는가? (정확도 0.83)
컴퓨터의 "어텐션 맵(attention map, 강조된 영역)"이 실제 질병이 있는 위치와 일치했는가? (정확도 0.85)
컴퓨터가 데이터베이스에서 해당 이미지의 질병을 설명하는 문장을 찾아낼 수 있었는가? (정확도 0.78)

의사들은 세 번째 항목에 특히 깊은 인상을 받았습니다. 컴퓨터가 개념을 분리하여 학습했기 때문에, "우측 상엽에 크기 변화가 없는 거대 종괴 병변(약 6cm)"과 같이 이미지와 완벽하게 일치하는 구체적이고 기술적인 문장을 검색해낼 수 있었기 때문입니다. 이는 기존 모델들이 고정된 라벨 목록(예: 단순히 "예/아니오")만 학습하여 풍부한 기술적 언어를 끌어낼 수 없었던 것과 대조됩니다.

이것이 중요한 이유

이 논문은 의사의 복잡하고 자유로운 언어를 조직화되고 구체적인 개념으로 분해함으로써, 더 똑똑할 뿐만 아니라 더 투명한 AI를 구축할 수 있다고 제안합니다. 의사는 컴퓨터의 작업을 보고, 컴퓨터가 결정을 내리기 위해 어떤 "방"을 사용했는지, 그리고 이미지와 일치하는 구체적인 문장이 무엇인지 확인할 수 있습니다. 이는 AI를 "블랙박스"가 아닌, 의료팀과 같은 언어로 대화하는 유능한 파트로 만들어 줍니다.

하지만 저자들은 이것이 개념 증명(proof of concept) 단계임을 주의 깊게 언급하고 있습니다. 결과는 강력하지만, 주로 한 병원의 흉부 X선과 공개 데이터셋을 대상으로 테스트되었습니다. 또한 시스템이 아직 완벽하지 않다는 점도 발견했는데, 아주 미세한 골절이나 폐의 얇은 공기선(기흉)처럼 육안으로 보기 힘든 것들에 대해서는 컴퓨터가 정확한 위치를 지목하는 데 어려움을 겪기도 했습니다. 이는 아마도 이미지의 해상도가 충분히 높지 않았기 때문일 것입니다. 그러나 정보의 핵심 아이디어, 즉 정보를 개념별로 조직하는 것이 AI를 더 똑똑하고 신뢰할 수 있게 만든다는 점은 의료 기술의 확실한 진전으로 보입니다.

RadPRISM 기술 요약

문제 제기
현재 의료 영상 해석을 위한 인공지능은 주로 고정된 질병 라벨 세트에 대해 학습되는 폐쇄형 어휘 감독(closed-vocabulary supervision) 패러다임에 의존하고 있습니다. 이러한 접근 방식은 학습된 표현을 선택된 라벨 세트의 정밀도로 제한하며, 단계적인 임상적 추론(예: 확정적 소견과 배제할 수 없는 소견의 구분)을 이진 타겟으로 붕괴시키고, 기술적 내용(descriptive content)을 특징(features)으로부터 구조적으로 결여되게 만듭니다. 대조적 시각-언어(vision-language, VL) 사전 학습이 자유 형식의 방사선 보고서를 활용하는 경로를 제공하긴 하지만, 기존 방법들은 일반적으로 단일 전역 이미지 임베딩을 공유 공간 내의 전체 보고서 임베딩과 정렬합니다. 이러한 기하학적 구조는 개념 수준의 구조를 강제하지 못합니다. 즉, 하위 범주적 기술 내용(예: 특정 장치 하위 유형 또는 잠정적 수식어)은 보고서의 방대한 양에 의해 희석되어 학습 신호에 거의 기여하지 못하며, 이는 해석 가능성과 공간적 충실도를 제한합니다.

방법론: RadPRism
저자들은 임상의가 정의한 방사선학 스키마를 감독을 위한 지정된 층화 축(stratification axis)으로 취급하는 프레임워크인 RadPRISM(Radiology Per-concept Representation learning via Interpretable Stratified Multimodal alignment)을 소개합니다.

스키마 기반 보고서 분해(Schema-Stratified Report Decomposition):
- 온프레미스(on-premise) 형태의 오픈 웨이트 대규모 언어 모델(LLM)인 GPT-OSS-120B가 자유 형식의 방사선 보고서를 처리합니다.
- LLM은 보고서를 19개 개념 스키마(흉부 기관, 병리 카테고리 및 지원 장치를 포함)에 부합하는 개별 개념 텍스트 구간(text spans)과 이산적 라벨로 분해합니다.
- 이 과정은 비구조화된 보고서를 구조화된 개념별 감독 신호로 변환합니다.
개념 층화 정렬 아키텍처(Concept-Stratified Alignment Architecture):
- 이미지 인코더: 동결된(frozen) CXR 사전 학습 DINOv2 기반 비전 트랜스포머(RAD-DINO-MAIRA-2)를 사용합니다.
- 텍스트 인코더: 독일어 의료 텍스트를 위한 동결된 Qwen3-Embedding-4B 모델을 사용합니다.
- 서브스페이스 정렬(Subspace Alignment): 단일 전역 정렬 대신, 모델은 $K$ 개의 학습 가능한 개념 토큰을 갖는 교차 주의(cross-attention) 메커니즘을 채택합니다. 각 토큰은 특정 개념을 위한 전용 시각적 서브스페이스 $v^{(k)}$ 를 추출합니다.
- 손실 함수(Loss Function): 모델은 $K$ 개의 개념별 대조 손실 항을 사용하여 학습됩니다. 각 개념의 시각적 서브스페이스는 그에 대응하는 추출된 텍스트 구간 $u^{(k)}$ 에 직접 정렬됩니다. 이를 통해 각 개념의 감독 신호가 전체 보고서가 아닌, 해당 개념과 관련된 구체적인 기술 텍스트에 의해 유도되도록 보장합니다.
- 학습 데이터: 이 프레임워크는 TUM 대학 병원의 흉부 방사선 사진 323,562건(203,602건의 검사)으로 구성된 내부 아카이브에 적용되었습니다.
평가 전략:
- 내부 평가: 내부 테스트 분할에 대한 제로샷 분류(zero-shot classification) 및 선형 프로빙(linear probing)을 수행합니다.
- 외부 평가: 기관 및 라벨 어휘의 변화에 대한 일반화 능력을 테스트하기 위해 CheXlocalize 벤치마크(Stanford Health Care)에서 평가합니다.
- 시각적 접지(Visual Grounding): 학습 중 위치 정보 감독 없이도 성능을 측정하는 CheXlocalize의 포인팅 게임 적중률(pointing-game hit rates)을 통해 평가합니다.
- 검색(Retrieval): 참조 데이터베이스로부터 개념별 기술 텍스트 구간을 검색하는 능력을 평가하는 방사선 전문의 독자 연구(radiologist reader study)를 수행합니다.

주요 결과

분류 성능: 내부 데이터셋에서 RadPRISM은 제로샷 분류에서 0.868의 macro AUROC를 달 기록하였으며, 이는 전역 정렬 베이스라인(0.717)보다 실질적으로 향상된 수치입니다. 동결된 RadPRISM 특징 위에서의 선형 프로빙은 성능을 0.890까지 더욱 높였으며, 이는 CLS 토큰에 직접 학습된 라벨 감독 베이스라인(0.859)을 상회합니다.
일반화: 외부 CheXlocalize 벤치마크에서 RadPRISM은 기관 및 라벨 어휘의 변화에도 불구하고 경쟁력 있는 제로샷 성능(macro AUROC 0.861)을 유지하며, 목적에 맞게 제작된 CARZero 성능과 대등한 결과를 보였습니다.
시각적 접지: RadPRISM은 우수한 공간적 충실도를 입증했습니다. 224 px 해상도에서 무기폐(Atelectasis)는 CARZero보다 4.3배, 흉수(Pleural Effusion)는 2.8배, 폐 병변(Lung Lesion)은 1.5배 높은 포인팅 게임 적중률을 보였습니다. 심비대(Cardiomegaly)의 경우 인간 참조 적중률(0.983 vs 0.972)과 일치하는 성능을 보였습니다.
개념 분리 검색: 방사선 전문의 독자 연구에서 모델은 상위 3개 텍스트 검색에 대해 0.78의 macro 정확도를 달성했습니다. 전문의들은 검색된 구간이 고정된 라벨 어휘로는 표현할 수 없는 기술적 세부 사항(예: 장치 하위 유형, 범위, 측방성)을 포함하고 있음을 확인했습니다.
불확실성 신호: 본 연구는 이진 분류와 상위 검색 결과가 일치하는 사례가 불일치하는 사례보다 모든 평가 축에서 전문의가 확인한 정확도가 실질적으로 높음을 발견했습니다( $P < 0.001$ ). 이는 개념별 불확실성 신호가 존재함을 시사합니다.

의의 및 주장
본 논문은 RadPRISM이 전역 이미지-보고서 정렬의 한계를 해결함으로써, 감독의 정밀도를 방사선 전문의들이 이미 사용하는 기술적 언어의 수준에 맞춘다고 주장합니다. LLM 기반 구조화를 통해 기관의 자유 형식 텍스트 아카이브를 직접 사용 가능한 감독 자원으로 재구성함으로써, 이 프레임워크는 다음과 같은 표현을 생성합니다:

판별력(Discriminative): 제로샷 및 선형 프로빙 작업에서 전역 베이스라인보다 뛰어난 성능을 보입니다.
공간적 충실도(Spatially Faithful): 명시적인 위치 감독 없이도 특정 소견에 대해 인간 수준의 접지 능력을 달성합니다.
검사 가능성(Inspectable): 임상의가 케이스 전체가 아닌 개별 소견 수준에서 모델의 동작을 감사할 수 있게 합니다.

저자들은 이 작업을 임상 AI가 기관의 일상적인 임상 텍스트으로부터 구축되고, 해당 텍스트를 생성하는 임상의들에 의해 개념 수준에서 감사되며, 스키마가 진화함에 따라 업데이트될 수 있는 배포 패턴의 **개념 증명(proof of principle)**으로 위치시킵니다. 또한, 이 프레임워크는 기관의 데이터를 직접 활용하며, 환자 수준의 데이터가 기관 경계 밖으로 나갈 필요가 없는 온프레미스 환경에 적합하도록 설계되었음을 강조합니다. 저자들은 LLM 추출 감독에 따른 성능의 상한선 문제, 단일 기관 학습 데이터, 그리고 운영적 주장을 하기 전 선행되어야 할 전향적 다기관 검증의 필요성 등 한계점도 명시하였습니다.

핵심 아이디어: 도구함 정리하기

발견한 사실: 더 날카로운 눈과 더 나은 기억력

인간 테스트: 의사가 신뢰할 수 있는가?

이것이 중요한 이유

RadPRISM 기술 요약

유사한 논문