💻 computer science

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge는 CFP 및 OCT 영상으로부터의 정량적 망막 바이오마커와 정성적 임상 진단을 효과적으로 연결하는 지식 가이드형 멀티모달 대규모 언어 모델로, 15,000개 이상의 쌍을 이룬 샘플로 구성된 새로운 벤치마크에서 기존의 오픈 소스 및 독점 모델들을 능가합니다.

원저자: Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 눈이 당신의 몸 전체를 위한 첨단 보안 카메라 시스템이라고 상상해 보세요. 보안 카메라가 깨진 창문이나 이상한 그림자를 포착할 수 있는 것처럼, 눈 뒤쪽에 있는 망막은 당뇨병, 고혈압, 심지어 심장 질환과 같은 질병에 대한 단서를 드러낼 수 있습니다. 의사들은 이 보안 피드를 보기 위해 두 가지 주요 "렌즈"를 사용합니다. 하나는 표면의 평면적이고 다채로운 사진을 찍는 것이고(표준 스냅샷처럼), 다른 하나는 층을 관통하는 깊은 3D 단면을 찍는 것입니다(케이크의 단면처럼). 오랫동안 컴퓨터는 이 사진 속의 숫자들(층의 두께나 혈관의 너비 등)을 측정하는 데는 뛰어났지만, 그 숫자들이 실제로 무엇을 의미하는지 평이한 영어로 설명하는 데는 매우 서툴렀습니다. 그것은 마치 자동차의 속도가 시속 60마일이라고 말할 수는 있지만, 그 차가 과속 중인지 아니면 그냥 고속도로를 달리고 있는 것인지는 말하지 못하는 로봇을 가진 것과 같았습니다.

여기서 새로운 연구가 등장합니다. 과학자들은 "멀티모달 거대 언어 모델(MLLM)"—기본적으로 이미지와 텍am을 동시에 보고 읽을 수 있는 초스마트 AI 두뇌—을 구축하기 위해 노력해 왔습니다. 목표는 단순히 "비정상"이라고 말하는 것이 아니라, 어려운 숫자들을 실제 진단과 연결하여 왜 그런지를 설명할 수 있는 디지털 의사 보조 시스템을 만드는 것입니다. 하지만 기존의 대부분 AI 모델은 교과서는 암기했지만 실제 시험에는 적용하지 못하는 학생들과 같습니다. 그들은 질병을 맞출 수는 있어도, 자신의 풀이 과정을 보여주거나 그 측정값이 어떻게 결론에 도달했는지 설명할 수는 없습니다. 이 논문은 RetiBridge라는 새로운 AI를 소개하며, 이 AI는 컴퓨터가 꼼꼼한 탐정처럼 행동하도록 강제함으로써, 발견한 모든 숫자를 특정 의학적 단서와 연결하여 최종 판결을 내리도록 함으로써 이 문제를 해결하고자 합니다.

연구진은 RetiBridge를 "지식 가이드형" 탐정이 되도록 설계했습니다. AI에게 단순히 추측하게 하는 대신, 다음과 같은 특정한 사고 방식을 가르쳤습니다: 첫째, 증거를 측정하고(숫자); 둘째, 그 숫자들을 의학적 이야기로 번역하며(단서); 셋째, 사건을 해결하는 것(진단)입니다. 연구진은 이 AI를 15,611쌍의 영국 바이오뱅크(UK Biobank) 안구 이미지를 사용하여 훈련시켰는데, 이는 실제 환자 데이터가 담긴 방대한 데이터베이스입니다. 각 환자에 대해 AI는 3D 스캔에서 추출한 31개의 서로 다른 측정값과 평면 사진에서 추출한 6개의 측정값에 접근할 수 있었습니다. AI가 올바른 방식으로 생각하는 법을 배우게 하기 위해, 연구진은 강력한 AI 도구(OpenAI-o3)를 사용하여 이 15,000개 이상의 사례에 대한 "모델 답변"을 작성했습니다. 이 모델 답변들은 단순히 진단만 내리는 것이 아니라, "240 마이크로미터의 두께"와 같은 측정값이 어떻게 "여기에는 부종이 없음"으로 번역되어 최종 결론으로 이어지는지, 즉 전체적인 추론 과정을 상세히 기술했습니다.

RetiBridge를 테스트했을 때, 이 모델은 인상적인 능력을 보여주었습니다. 상대적으로 작은 "두뇌"(70억 개의 파라미터를 가진 모델)를 기반으로 구축되었음에도 불구하고, 320억 개의 파라미터를 가진 모델들과 심지어 OpenAI의 매우 진보된 독점 모델보다도 더 뛰어난 성능을 보였습니다. 성공의 핵심은 AI가 3D 안구 이미지를 그것이 나타내는 특정 숫자와 직접 정렬하도록 학습하는 특별한 훈련 단계였습니다. 이는 마치 학생에게 "케이크"라는 단어를 단순히 암기하게 하는 것이 아니라, 케이크의 단면 사진을 자(ruler)와 직접 매칭하도록 가르치는 것과 같습니다.

결과는 RetiBridge가 "풀이 과정을 보여주는" 구체적인 작업에 더 뛰어나다는 것을 시사합니다. RetiBridge는 숫자를 정확하게 맞추는 데 있어 현저히 높은 정확도(78.23%의 정확도, 다른 모델들의 훨씬 낮은 점수와 비교됨)를 보였으며, 자신의 진단이 실제로 증거에 의해 뒷받s되는지 입증하는 데 더 뛰어났습니다. 다른 모델들이 최종 진단은 맞혔을지언정 세부 사항을 놓치거나 이유를 지어냈던 반면, RetiBridge는 일관되게 실제 측정값과 자신의 결론을 연결했습니다. 예를 들어, 당뇨망막병증과 관련된 테스트 케이스에서 RetiBridge는 특정 지점과 두께를 정확히 식별하고, 이것이 어떻게 다른 질병들을 배제하는지를 설명함으로써 사진으로부터 정답까지의 명확하고 논리적인 경로를 만들어냈습니다.

하지만 이 논문은 이것이 아직 만능 치료제는 아니라는 점을 주의 깊게 언급합니다. RetiBridge가 점들을 연결하는 데는 더 뛰어나지만, 매우 뛰어난 인간 수준의 모델들과 비교했을 때 여전히 복잡한 추론 작업에서는 어려움을 겪고 있으며, 모든 종류의 안구 질환에 대해 테스트되지 않았습니다. 저자들은 AI에게 숫자에 근거하여 답을 내리도록 강제하는 이 접근 방식이 유망한 길이지만, 실제 병원에서 사용할 수 있을 만큼 견고하게 만들기 위해서는 더 많은 작업이 필요하다고 제안합니다. 또한 향-후 더 상세한 3D 스캔과 다양한 유형의 안구 이미지를 사용하여 테스트할 계획입니다. 현재로서는 RetiBridge가 AI에게 의학 뒤에 숨겨진 수학을 존중하도록 가르친다면, 우리 건강을 이해하는 데 있어 훨씬 더 신뢰할 수 있는 파트너가 될 수 있다는 강력한 개념 증명(proof-of-concept)으로서 자리 잡고 있습니다.

기술 요약: RetiBridge

문제 정의

안저 촬영(Color Fundus Photography, CFP) 및 광간섭 단층촬영(Optical Coherence Tomography, OCT)을 통한 망막 영상은 안과 및 전신 질환 진단을 위한 중요한 정량적 바이오마커를 제공한다. 그러나 안과 분야의 기존 멀티모달 거대 언어 모델(MLLM)은 세 가지 주요 한계점에 직면해 있다:

정량화 능력 부족: 이미지로부터 비정상적인 바이오마커를 명시적으로 정량화하는 데 실패하는 경우가 많다.
번역 능력 약화: 이러한 정량적 측정값을 임상적으로 의미 있는 정성적 하위 추론(sub-inferences)으로 변환하는 데 어려움을 겪는다.
정렬 불량: 이러한 하위 추서들을 최종 진단 결론과 일관되게 연결하는 데 자주 실패한다.

현재의 파이프라인은 CFP와 OCT 데이터를 통합하지 못하는 모달리티별 도구에 의존하거나, 임상적 신뢰에 필요한 구조화되고 증거에 기반한 추론이 결여된 사후 시각적 속성(visual attributions)을 생성한다. CFP와 OCT 쌍 이미지를 공동으로 해석하고, 연속적인 정량적 바이오마커에 출력값을 근거(grounding)하며, 투명한 "정량에서 정성으로" 이어지는 진단 경로를 생성할 수 있는 모델에 대한 공백이 존재한다.

방법론

저자들은 정량적 망막 바이오마커와 정성적 진단 결론 사이를 연결하도록 설계된 지식 가이드형 안과 MLLM인 RetiBridge를 제안한다. 이 시스템은 비대칭 듀얼 인코더 아키텍처와 3단계 학습 프레임워크를 채택한다.

1. 데이터 및 지식 가이드형 지시문 생성

데이터셋: 모델은 UK Biobank의 15,611개 쌍(paired) CFP-OCT 샘 샘플로 학습되며, 각 샘플은 31개의 OCT 유도 구조적 바이오마커(예: 황반 두께, 층 부피)와 6개의 CFP 유도 바이오마커(예: 혈관 굵기, 굴곡도)와 연관되어 있다.
지시문 생성 (Stage I): 임상의가 검토한 프롬프트 템플릿인 Eye-Guideline을 사용하여 OpenAI-o3가 구조화되고 바이오마커에 근거한 진단 보고서를 생성하도록 유도한다. 이 보고서들은 정량적 이상 징1을 정성적 해석 및 최종 진단과 명시적으로 연결한다. 진단 레이블은 이 생성 단계에서 직접적인 입력값이 아닌 소프트 제약 조건(soft constraint)으로만 사용된다.

2. 모델 아키텍처

인코더 (Encoders):
- CFP: 사전 학습된 CLIP 스타일의 RetiZero 인코더를 사용한다.
- OCT: 새로운 바이오마커 정렬 OCT 인코더를 도입한다. 이와 유사한 바이오마커 기반의 OCT 인코더가 존재하지 않았기에, 저자들은 CLIP 스타일의 대조 학습 정렬(contrastive alignment)을 사용하여 중심와(central-foveal) OCT B-스캔 표현을 그에 대응하는 31차원 정량적 바이오마커 벡터와 정렬한다.
융합 (Fusion): 프로젝션 모듈은 두 인코더의 토큰 레벨 특징을 공유된 언어 호환 임베딩 공간으로 매핑한다.
백본 (Backbone): 특징들은 텍스트 쿼리와 결합되어 Qwen2-7B 백본에 의해 처리되며, 저역 적응(Low-Rank Adaptation, LoRA)을 통해 미세 조정된다.

3. 학습 파이프라인

Stage I (지시문 생성): 이미지, 바이오마커, 레이블을 바탕으로 OpenAI-o3를 사용하여 타겟 진단 보고서( $y_n$ )를 생성한다.
Stage II (OCT–바이오마커 정렬): CLIP 스타일의 대조 손실(contrastive loss)을 사용하여 OCT 이미지 표현을 연속적인 정량적 바이오마커 벡터와 정렬한다. 이 단계는 추론 시 바이오마커 벡터를 요구하지 않고도 OCT 인코더가 구조적 측정값에 근거하도록 만든다.
Stage III (지도 학습 기반 지시문 미세 조정): 프로젝션 모듈과 Qwen2 백본의 LoRA 파라미터를 생성된 지시문-응답 쌍을 사용하여 최적화한다. 이때 CFP 및 OCT 인코더는 동결(frozen) 상태를 유지한다.

주요 기여

바이오마커 기반 망막 MLLM: RetiBridge는 쌍을 이루는 CFP 및 OCT 입력을 위해 정량적 망막 바이오마커, 정성적 하위 추론, 그리고 일관된 진단 결론을 단일 프레임워크 내에서 명시적으로 연결하는 최초의 모델이다.
지식 가이드형 지시문 데이터 및 벤치마크: 저자들은 바이오마커 기반의 지시문 데이터를 생성하기 위한 재현 가능한 파이프라인을 구축하였으며, Grounded Ophthalmic Understanding 벤치마크를 수립하였다. 이 벤치마크는 진단 분류, 보고서 생성 품질, 그리고 미세한 임상 지표(예: 증거 근거성, 커버리지 완결성)를 평가한다.
바이오마커 정렬 및 교차 모달 융합: 본 논문은 바이오마커 기반의 OCT 인코더 부재 문제를 해결하기 위해 OCT B-스캔을 연속적인 정량적 바이오마커 벡터와 대조적으로 정렬하는 CLIP 스타일의 목적 함수를 도입한다. 이는 비대칭 인코더 설계와 결합된다.

실험 결과

15,611개의 샘플(80/20 분할)을 사용한 Grounded Ophthalmic Understanding 벤치마크에서 RetiBridge (7B 파라미터)를 독점 모델(GPT-4o, OpenAI-o3) 및 오픈 소스 베이스라인(Qwen2.5-VL, Lingshu)과 비교하였다.

정량적 정확도 (Quantitative Accuracy): RetiBridge는 가장 높은 점수(78.23)를 기록하며 OpenAI-o3(58.31) 및 모든 다른 베이스라인을 유의미하게 앞질렀다.
증거 근거성 및 커버리지 (Evidence Grounding & Coverage): 증거 근거성(68.70)과 커버리지 완결성(65.56)에서 가장 높은 점수를 획득하여, OpenAI-o3(각각 60.13 및 62.70)를 능가했다.
의미론적 유사도 (Semantic Similarity): RetiBridge는 BERTScore(0.88)에서 가장 높은 성적을 거두었으며, 이는 OpenAI-o3(0.87)를 근소하게 앞선 수치이다.
진단 분류 (Diagnostic Classification): 모든 모델이 롱테일 클래스 분포로 인해 어려움을 겪었으나(Macro F1 $\le$ 0.25), RetiBridge는 0.23의 Macro F1을 달성하여 Lingshu-32B와 대등한 수준을 보였고 OpenAI-o3(0.25)에 근접했다.
정성적 분석: 사례 연구 결과, RetiBridge는 측정값을 하위 추론 및 결론과 명시적으로 연결함으로써 더 간결하고 추적 가능한 보고서를 생성하는 반면, OpenAI-o3는 중복된 진술과 약한 논리적 연결성을 보였다.

절제 연구 (Ablation Studies)

인코더: 비대칭 인코더를 일반적인 CLIP-ViT로 교체했을 때 정량적 정확도가 78.23에서 61.52로 감소했다.
정렬: 바이오마커 정렬을 제거했을 경우(원래의 RETFound 사용) 정량적 정확도가 58.79로 떨어졌다. 회귀 작업 결과, 정렬된 인코더가 바이오마커 값을 더 잘 예측함(낮은 MAE/RMSE, 높은 $R^2$ )이 확인되었다.
모달리티: CFP 브랜치를 제거(OCT 전용)하자 모든 지표에서 성능이 급격히 저하되었으며, 이는 상호 보완적인 CFP 표면/혈관 데이터의 필요성을 확인시켜 주었다.
백본: Qwen2를 Vicuna-7B로 교체했을 때 성능이 낮아졌으며, 이는 언어 백본의 중요성을 강조한다.

의의 및 주장

본 논문은 연속적인 정량적 바이오마커에 망막 표현을 근거(grounding)시키는 것이 생성된 진단 보고서의 임상적 추적 가능성과 완결성을 크게 향상시킨다고 주장한다. RetiBridge는 지식 가이드형 지시문 튜닝과 명시적 바이오마커 정렬을 갖춘 파라미터 효율적인 7B 모델이, 더 큰 규모의 오픈 소스 모델을 능가하고 특정 임상적 핵심 차원(증거 근거성 및 정량적 정확도)에서 독점 모델(OpenAI-o3)과 경쟁할 수 있음을 보여준다.

저자들은 이 접근 방식이 단순한 이미지 분류나 일반적인 보고서 생성을 넘어, 정량적 측정 $\to$ 정성적 하위 추론 $\to$ 진단 결론이라는 임상적 추론 과정을 모방하는 구조화된 경로를 제공한다고 강조한다. 또한, 모델이 강력한 성능을 보이지만 외부 데이터셋에 대한 일반화 검증, 전체 볼륨 OCT로의 확장, 그리고 더 폭넓은 전문가 평가가 향후 과제로 남아 있음을 언급한다.