🧬 biology

Open 3D-CT Vision-Language Models Do Not Clear a Pre-Registered Biomarker Gate Under Zero-Shot Prompting at n = 96 NSCLC-Radiogenomics

본 연구는 개방형 3D-CT 시각-언어 모델의 특징 속에 비소세포폐암(NSCLC)의 EGFR 변이 신호가 해독 가능한 형태로 포함되어 있음에도 불구하고, 텍스트 프롬프트 축과 판별적 특징 방향 사이의 기하학적 불일치로 인해 제로샷 프롬프팅은 이 정보에 접근하는 데 실패하며, 이러한 한계는 오직 지도 학습 기반의 프로빙을 통해서만 극복될 수 있음을 입증한다.

원저자: Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신에게 수백만 건의 의료 보고서를 읽고 수천 개의 CT 스캔(인체의 내부를 보여주는 3D X-ray)을 살펴본, 매우 똑똑하고 모든 것을 알고 있는 로봇 사서인 멀린(Merlin)이 있다고 상상해 보십시오. 연구자들이 던진 핵심 질문은 이것이었습니다: "우리가 단순히 평이한 영어로 질문을 던졌을 때, 멀린이 환자의 스캔 데이터를 보고 단 한 번도 학습하지 않은 상태에서 환자의 유전적 비밀을 즉각적으로 추측해낼 수 있을까?"

이것을 "제로샷(zero-shot)" 학습이라고 부릅니다. 이는 천재에게 새로운 퍼즐을 건네주며 설명서 없이 "이걸 풀어봐!"라고 말하는 것과 같습니다.

연구진은 특정 유형의 폐암을 가진 96명의 환자를 대상으로 엄격한 테스트를 설정했습니다. 그들은 멀린이 성능을 증명하기 위해 반드시 통과해야 하는 '게이트(결승선)'를 미리 등록해 두었습니다. 즉, 매우 높은 신뢰 수준을 유지하면서 65%보다 높은 정확도를 보여야 했습니다.

결정적 결과: 길을 잃은 로봇
연구진이 "이 환자는 돌연변이 종양을 가지고 있다"와 같은 단순한 텍레이 프롬프트(텍스트 명령어)를 사용하여 멀린에게 유전자 돌연변이(특히 EGFR 및 KRAS)를 추측하도록 요청했을 때, 로봇은 비틀거렸습니다. 로봇은 동전 던지기보다 나은 성과를 내지 못했습니다.

EGFR 돌연변이의 경우, 최선의 추측치는 약 0.599(60%에 약간 못 미치는 수준)였습니다.
KRAS 돌연변이의 경우, 그보다 더 낮은 약 0.541을 기록했습니다.
그 어떤 추측도 결승선인 0.65를 넘지 못했습니다.

사실, 로봇은 너무 혼란스러워한 나머지 별도의 42명 환자 그룹에서는 그 추측이 거의 무작위적인 소음(random noise) 수준인 0.394에서 0.500 사이를 맴돌았습니다. 논문은 멀린이 단순히 "답을 모르는 것"이 아니라는 점을 명시적으로 배제했습니다. 실패의 원인은 로봇이 눈이 멀었기 때문이 아니라, 질문을 던지는 방식이 자물쇠에 맞는 잘못된 열쇠였기 때문입니다.

반전: 보물은 이미 그곳에 있었다
이 이야기가 흥미로워지는 지점은 바로 이 반전입니다. 연구진은 단순히 포기하지 않았습니다. 그들은 멀린이 이미 살펴보았던 것과 동일한 3D 스캔 데이터를 가져와서 다른 종류의 질문을 던졌습니다. 텍스트 프롬프트에 기반해 추측하라고 시키는 대신, 데이터를 작은 지도 학습형 컴퓨터 뇌(리니어 프로브, linear probe)에 전달하며 이렇게 말했습니다. "자, 이 숫자들을 보고 패턴을 찾아봐."

갑자기, 로봇의 "눈"(이미 처리된 데이터)이 활짝 떠졌습니다.

이 작은 뇌가 동일한 멀린 데이터를 보았을 때, EGFR 돌연변이를 0.748(약 75%)의 확률로 정확히 맞혔습니다.
이는 결승선인 0.65를 가뿐히 통과했습니다.

이유: 어긋난 나침반
왜 텍스트 프롬프트는 실패했는데 데이터 분석은 성공했을까요? 저자들은 기하학적 비유를 통해 이를 멋지게 설명합니다.

로봇의 뇌를 정보로 가득 찬 거대한 512차원의 방이라고 상상해 보십시오. 유전자 돌연변이(EGFR)는 그 방 안의 특정 방향, 마치 숨겨진 보물 상자와 같습니다.

지도 학습형 뇌는 지도를 가진 사람과 같아서, 방 안의 어느 방향으로든 걸어가서 보물을 찾을 수 있습니다. 그들은 이를 쉽게 찾아냈습니다.
제로샷 프롬프트는 손전등과 같습니다. 연구진은 그들이 입력한 단어("돌연변이 종양")를 바탕으로 특정 방향을 향해 손전등을 비추었습니다.
문제점: 손전등이 비추는 방향은 보물 상치가 있는 방향과 거의 완벽하게 옆방향(90도 각도)을 향하고 있었습니다. 논문은 텍스트 프롬프트와 유전적 신호 사이의 각도가 거의 0.02(사실상 무작위)에 가깝다고 계산했습니다.

손전등은 빈 벽을 비추고 있었던 반면, 보물은 바로 그 사람의 뒤에 놓여 있었습니다. 사용된 텍스트 프롬프트들은 서로 너무 유사했기 때문에, 그들 사이의 "차이"(로봇이 바라보는 방향)는 아주 미미했으며 잘못된 곳을 가리키고 있었습니다. 로봇이 데이터를 놓친 것이 아니라, 데이터가 손전등이 닿을 수 없는 곳에 숨어 있었던 것입니다.

"흡연"이라는 방해 요소는 어떠한가?
본 실험 전에, 연구진은 흡연이 이러한 돌연변이와 자주 연관되어 있기 때문에 로봇이 단순히 환자의 흡연 여부를 보고 추측하는 것이 아닌지 우려했습니다. 그들은 먼저 다른 유형의 데이터를 사용하여 테스트를 수행했고, 흡연이 로봇이 볼 수 있는 유일한 것이었습니다(점수 0.708).

하지만, 실제 실험에 사용된 멀린 데이터로 테스트했을 때 이야기는 뒤집혔습니다. 실제 데이터에서 유전적 신호(0.748)가 흡연 신호(0.603)보다 더 강력했습니다. 이는 로봇이 올바른 방식으로 질문한다면 유전 정보를 볼 수 있다는 것을 증명하며, "흡연"에 대한 우려는 첫 번째 데이터 유형에서만 문제였을 뿐 최종 데이터에서는 문제가 되지 않았음을 보여줍니다.

핵심 요약
이 논문은 의료 AI의 미래를 위한 경고와도 같습니다. 강력한 오픈 소스 로봇 모델이 존재한다고 해서, 우리가 단순히 영어로 질문을 던져 의료 진단을 얻을 수 있다는 뜻은 아님을 보여줍니다.

판결: 제로샷 프롬프팅(학습 없는 질문)은 이 폐암 돌연변이에 대해 게이트를 통과하는 데 실패했습니다.
희망: 모델 내부의 데이터에는 정답이 들어 있습니다. 문제는 현재 우리의 "텍로 프롬프트"가 열쇠 대신 버터 칼로 문을 열려고 하는 것과 같다는 점입니다.
확신: 저자들은 이 결과에 대해 매우 확신합니다. 그들은 단순히 추측한 것이 아니라, 결과가 우연이 아님을 확인하기 위해 1,000번의 실행을 거쳤습니다. 신호는 실재했지만, 방법이 어긋나 있었을 뿐입니다.

요컨대, 로봇은 답을 가지고 있지만, 우리는 아직 어떻게 질문해야 할지를 알아내지 못했습니다.

기술 요약: 오픈 3D-CT 시각-언어 모델은 n = 96 NSCLC-라디오게노믹스에서 제로샷 프롬프팅을 통한 사전 등록된 바이오마커 게이트를 통과하지 못함

문제 정의
본 연구는 비소세포폐암(NSCLC)의 제로샷 라디오게노믹 예측을 위해 공개된 사전 학습된 3D-CT 시각-언어 모델(VLM)의 활용 가능성을 다룹다. 구체적으로, 타겟 코호트에 대한 특정 작업 학습 없이 대조적 이미지-텍스트 정렬(contrastive image-text alignment)을 통해 분자 바이오마커(EGFR 변이, KRAS 변이, TP53 mRNA, STK11 mRNA)를 예측할 수 있는지 조사한다. 본 연구는 엄격한 사전 등록 프로토콜 하에 수행되었으며, 작은 규모의 내부 코호트( $n=96$ )와 외부 홀드아웃 코호트( $n=42$ )를 대상으로 한다. 이는 잠재적 혼란 변수인 흡연 이력을 고려하면서, 제로샷 프롬프팅이 엄격한 성능 게이트(AUC > 0.65, 부트스트랩 하한 CI > 0.55 및 외부 재현성)를 통과할 수 있는지 결정하는 것을 목표로 한다.

방법론
저자들은 접근 불가능한 가중치 문제로 인해 원래 지정되었던 모델(CT-CHAT/CT-CLIP)에서 선회하여, 사용 가능한 두 가지 오픈 대안을 평가하였다:

Merlin: 복부 CT 볼륨과 방사선 보고서가 쌍을 이루도록 학습된 3D-팽창(inflated) ResNet-152 + Clinical-Longformer 스타일의 CLIP 모델.
BiomedCLIP: 1,500만 개의 생물 의학 코퍼스로 학습된 2D ViT-B/16 + PubMedBERT 대조 모델로, 여기서는 2D 키 슬라이스 비교용으로 사용됨.

실험 설계:

코호트: CT 볼륨, 병변 마스크, RNA-seq 및 임상 데이터를 포함하는 내부 NSCLC-라디오게노믹스 코호트( $n=96$ )와 EGFR 라벨 및 임상 데이터를 포함하는 외부 코호트( $n=42$ ).
제로샷 프로토콜: 동결된 모델로부터 이미지 특징(512-d)을 추출하였다. 이 특징들은 이진 프롬프트 쌍(양성 vs 음성)에 대해 두 가지 전략인 "bare"(직접적인 질병 진술)와 "cot_brief"(이미징 단서가 포함된 짧은 근거)를 사용하여 점수를 매겼다. 점수는 학습된 로짓 온도를 스케일링한 이미지 및 텍스트 임베딩의 내적에 기반한 양성 프롬프트의 소프트맥스 확률이었다.
혼란 변수 조사 (Phase 1): "비흡연자" 상태가 프록시 기질(proxy substrate) 상에서 바이오마커보다 더 잘 예측될 수 있는지 확인하는 사전 등록된 체크를 수행하였으며, 이는 순수한 바이오마커 신호라는 주장을 차단(foreclose)하기 위함이다.
지도 학습 베이스라인: 특징의 품질과 액세스 모드의 한계를 구분하기 위해, 저자들은 VLM에 의해 추출된 동일한 동결 이미지 특징을 사용하여 지도 학습 프로브(선형, 리지, tiny-MLP)를 학습시켰다.
기하학적 분석: 연구는 텍스트 프롬프트 축(제로샷 점수가 투영되는 방향)과 판별 축(지도 학습 프로브가 바이오마커를 위해 찾아낸 방향) 사이의 정렬을 분석하였다.

주요 결과

제로샷 실패: 어떤 제로샷 셀도 사전 등록된 게이트를 통과하지 못했다.
- 내부 코호트: 최선의 결과는 Merlin과 "cot_brief" 프롬프트를 사용한 STK11_high 사례였으나(AUC 0.626), AUC > 0.65 임계값과 부트스트랩 하한 CI 0.55 미만 조건을 충족하지 못했다. EGFR 및 KRAS 결과는 우연 수준에 가까웠다(예: EGFR/Merlin/cot_brief: AUC 0.599).
- 외부 코호트: 모든 제로샷 EGFR 결과는 0.394에서 0.500 사이(우연 또는 역예측)에 머물렀다.
- 모델 비교: Merlin(3D)이 BiomedCLIP(2D)보다 일관되게 우수한 성능을 보였으나, 둘 다 게이트를 통과하지 못했다.
지도 학습의 성공 vs 제로샷의 무효: 결정적으로, 동일한 동결 Merlin 특징을 지도 학습 선형 프로브로 평가했을 때, EGFR 신호가 게이트를 통과했다(AUC 0.748, $p=0.010$ ). 이는 특징들이 바이오마커 신호를 포함하고 있지만, 제로샷 대조적 액세스 모드가 이를 추출하는 데 실패했음을 입증한다.
혼란 변수 역전: 초기 단계에서 프록시 CT-FM 기질 상의 흡연 예측력이 우세함을 나타냈던 Phase 1 혼란 변수 프로브는, 벤치마킹된 Merlin 특징에서는 유지되지 않았다. Merlin에서 지도 학습된 EGFR 신호(AUC 0.748)가 흡연 신호(AUC 0.603)를 초과하였는데, 이는 혼란 변수 차단(foreclosure)이 기질 특이적임을 나타낸다.
기하학적 불일치: 연구는 실패 메커니즘을 규명했다. 제로샷 점수는 이미지 임베딩을 단일 텍스트 정의 축( $\hat{v} = \hat{t}_{pos} - \hat{t}_{neg}$ )에 투영한다. 지도 학습이 찾아낸 EGFR-판별 방향( $\hat{w}$ )은 텍스트 축과 거의 직교한다(코사인 유사도 $\approx 0.018$ ). 결과적으로, 텍스트 축으로 투영하면 바이오마커 신호가 소실되는 반면, 텍스트 축을 제거하면 신호가 유지된다(AUC 0.748).

주요 기여

제로샷 한계 벤치마킹: 현재의 오픈 3D-CT VLM이 작은 코호트 크기( $n=96$ )에서 제로샷 프롬프팅을 사용할 때, EGFR이나 KRAS에 대한 임상적으로 유의미한 바이오마커 예측을 달성할 수 없음을 보여주는 재현 가능한 사전 등록 벤치마크를 제공한다.
특징과 액세스 모드의 분리: 제로샷 무효 결과가 반드시 특징 내에 생물학적 신호가 결여되었음을 의미하지는 않는다는 것을 입증한다. 실패는 특징의 품질보다는 "액세스 모드"(대조적 프롬프팅)에 기인한다.
기하학적 진단: 실패에 대한 기하학적 설명을 제공하며, 바이오마커의 판별 방향이 텍스트 프롬프트 축과 거의 직교하며, 이는 양성 및 음성 프롬프트의 근접한 공선성(collinearity)과 이미지-텍스트 모달리티 간극에 의해 악화됨을 보여준다.
혼란 변수 검증: 혼란 변수 관계(예: 흡연 vs 바이오마커)는 기질 특이적이며, 프록시 기질이 아닌 실제 사용된 특징 위에서 검증되어야 함을 강조한다.

의의 및 주장
본 논문은 오픈 방사선학 VLM이 EGFR 신호를 해독할 수 있는 기저의 특징 표현을 보유하고 있음에도 불구하고(지도 학습 프로브를 통해 증명됨), 제로샷 대조적 프롬프팅 메커니즘은 구조적으로 이 신호에 접근할 수 없다고 주장한다. 즉, "제로샷 무효"는 모델의 학습된 표현이 아니라 프롬프팅 인터페이스의 한계이다. 저자들은 작은 코호트 규모의 라디오게노믹스에서 제로샷 프롬프팅이 현재 EGFR/KRAS에 대해 우연 수준의 성능(AUC 0.55–0.60)을 보인다고 결론지으며, 판별 정보가 표준 텍스트 프롬프트와 정렬되지 않는 임베딩 공간의 방향에 존재한다고 주장한다. 본 연구는 제로샷 실패를 생물학적 신호의 부재로 간주하기보다 표현 기하학(representation geometry)을 통해 해석할 것을 권고한다.

유사한 논문