Towards Scalable Language-Image Pre-training for 3D Medical Imaging

이 논문은 3D 의료 영상 (MRI 및 CT) 의 언어 - 이미지 사전 학습 확장성을 위해 라디올로지의 계층적 구조 (슬라이스, 스캔, 연구) 에서 영감을 받은 새로운 'HLIP' 프레임워크를 제안하여, 정제되지 않은 임상 데이터를 직접 학습함으로써 기존 방법론을 능가하는 성능을 입증했습니다.

핵심

3D 의료 영상 AI 의 새로운 시대: HLIP 이란 무엇인가?

이 논문은 **"3D 의료 영상 (뇌 MRI 나 CT 스캔 등) 을 분석하는 인공지능을 어떻게 더 똑똑하고 빠르게 만들 수 있을까?"**라는 질문에 대한 획기적인 답을 제시합니다.

기존의 방식과 새로운 방식 (HLIP) 을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제점: "수작업 정리"의 한계

비유: 도서관 사서님의 고충

기존의 AI 학습 방식은 마치 **도서관 사서님 (방사선 전문의)**이 매일 들어오는 수만 권의 책 (환자의 의료 기록) 을 하나하나 꺼내서, "가장 중요한 페이지 한 장만 뽑아서 책장에 꽂아야 한다"는 방식이었습니다.

• 현실: 방사선 전문의들은 환자 한 명당 여러 장의 스캔 (T1, T2, FLAIR 등) 을 보고 진단합니다. 하지만 AI 를 가르치기 위해 전문의들이 "이 중 가장 좋은 스캔 하나만 골라주세요"라고 일일이 손으로 정리해 주어야 했습니다.
• 한계: 이렇게 하면 데이터 양이 제한되고, 전문의들의 시간이 너무 많이 걸려 AI 를 키우는 속도가 매우 느렸습니다.

2. 해결책: HLIP 의 등장

비유: "통째로 읽는" 똑똑한 학생

이 논문 (HLIP) 은 **"아니, 그냥 책 전체를 통째로 AI 에게 보여주세요. 전문의가 일일이 페이지를 고를 필요 없어요!"**라고 말합니다.

• 핵심 아이디어: 정리되지 않은 원본 데이터 (Uncurated Data) 를 그대로 AI 에게 학습시킵니다. 환자가 가진 모든 스캔과 의사의 진단 기록을 그대로 연결해 주는 것입니다.
• 효과: 이제 AI 는 수백만 건의 데이터를 자동으로 학습할 수 있게 되어, 훨씬 더 빠르고 방대한 지식을 쌓을 수 있게 되었습니다.

3. 기술적 혁신: "계층적 주의 (Hierarchical Attention)"

비유: 책장, 장, 페이지를 오가는 독서법

그런데 문제는 하나 생겼습니다. 책 (환자 데이터) 이 너무 두꺼워서 한 번에 다 읽으려니 AI 가 머리가 터질 뻔했습니다. (데이터가 너무 많아서 계산이 안 됨)

여기서 HLIP 는 책의 구조를 이해하는 독서법을 개발했습니다.

1. 페이지 (Slice): 스캔의 한 장 한 장을 봅니다. (가장 작은 단위)
2. 장 (Scan): 같은 부위의 여러 장을 묶어서 봅니다. (중간 단위)
3. 책장 (Study): 환자 전체의 모든 스캔을 한눈에 봅니다. (최대 단위)

HLIP 의 마법:

• AI 는 처음엔 작은 페이지 단위로 자세히 보고, 그다음 장 단위로 내용을 요약하고, 마지막엔 책장 전체를 훑어보며 큰 그림을 그립니다.
• 비유: 마치 우리가 책을 읽을 때, 한 문장 (페이지) 을 읽다가 문단 (장) 을 이해하고, 결국 책의 전체 줄거리 (연구) 를 파악하는 것과 같습니다. 이렇게 하면 AI 는 불필요한 계산을 줄이면서도 중요한 병변을 놓치지 않게 됩니다.

4. 성과: 얼마나 똑똑해졌을까?

이 새로운 방식 (HLIP) 으로 학습한 AI 는 기존 최고의 AI 들보다 훨씬 뛰어난 성과를 냈습니다.

• 뇌 MRI (뇌종양, 뇌졸중 등): 기존 AI 들보다 약 10% 이상 더 정확하게 병을 찾아냈습니다. (기존에 60 점이었다면 70 점 이상)
• 머리 CT (두부 외상, 뇌출혈 등): 역시 기존 모델들보다 약 8% 이상 더 정확해졌습니다.
• 특이점: 이 AI 는 "이 스캔에 뇌종양이 있나?"라고 물었을 때, 정답을 알려주지 않아도 (Zero-shot) 스스로 추론해서 찾아냅니다. 마치 새로운 책을 처음 보는 사람도 책의 흐름을 보고 내용을 이해하는 것과 같습니다.

5. 결론: 왜 이것이 중요한가?

비유: 의료 AI 의 '대량 생산' 시대 개막

이 연구는 **"의료 AI 를 만들 때, 더 이상 전문의가 일일이 데이터를 정리해 줄 필요는 없다"**는 것을 증명했습니다.

• 확장성: 병원에는 매일 수천 건의 데이터가 쌓입니다. HLIP 는 이 데이터를 그대로 활용하여 AI 를 키울 수 있게 해줍니다.
• 실용성: 앞으로 더 많은 병원에서 이 기술을 통해 환자를 더 빠르고 정확하게 진단할 수 있게 될 것입니다.

한 줄 요약:

"기존에는 AI 를 가르치기 위해 사람이 일일이 데이터를 정리해야 했지만, HLIP 는 AI 가 원본 데이터의 구조를 스스로 이해하게 만들어, 더 큰 데이터로 더 똑똑한 의료 AI 를 키울 수 있게 했습니다."

이 기술은 앞으로 의료 현장에서 AI 가 인간 의사를 보조하는 핵심 도구가 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

기존 3D 의료 영상 (CT, MRI 등) 에 대한 언어 - 영상 사전 학습 (Language-Image Pre-training) 은 두 가지 주요 병목 현상에 직면해 있습니다.

• 데이터 큐레이션의 한계 (Annotation Bottleneck): 기존 연구들은 방사선 전문의가 각 연구 (Study) 에서 대표성 있는 단일 슬라이스나 스캔을 수동으로 선별하여 정제된 (Curated) 데이터셋을 구축해야 했습니다. 이는 확장성 (Scalability) 을 심각하게 제한하며, 실제 임상 워크플로우와도 괴리가 있습니다.
• 아키텍처의 비효율성: 3D 의료 데이터는 하나의 환자 연구 (Study) 가 여러 개의 스캔 (Scan) 과 각 스캔 내의 여러 슬라이스 (Slice) 로 구성된 계층적 구조를 가집니다. 기존 비전 트랜스포머 (ViT) 나 2D/단일 3D 스캔을 위해 설계된 모델들은 이러한 복잡한 계층 구조를 처리할 때 다음과 같은 문제를 겪습니다.
  • 계산 비용: 전체 연구를 토큰화하면 토큰 수가 $10^4$ 수준으로 급증하여 메모리 오버헤드가 발생합니다.
  • 성능 저하: 무작위로 스캔을 선택하거나 전체를 단순 인코딩하는 등 단순한 접근 방식은 PubMed 코퍼스로 학습된 기존 SOTA 모델 (BiomedCLIP 등) 의 성능을 넘지 못합니다.

2. 방법론 (Methodology)

저자들은 HLIP (Hierarchical attention for Language-Image Pre-training) 이라는 새로운 프레임워크를 제안합니다. 이는 정제되지 않은 (Uncurated) 임상 데이터를 직접 학습하고, 의료 데이터의 고유한 계층 구조를 활용한 계층적 어텐션 메커니즘을 도입한 것이 핵심입니다.

A. 계층적 어텐션 메커니즘 (Hierarchical Attention Mechanism)

의료 데이터의 자연스러운 계층 구조 (Slice $\rightarrow$ Scan $\rightarrow$ Study) 를 모델링하여 어텐션 범위를 정의합니다.

1. Slice Attention: 인접한 슬라이스 그룹 내에서 어텐션을 계산합니다. (가장 가벼운 연산)
2. Scan Attention: 단일 스캔 내의 모든 슬라이스에 대해 독립적으로 어텐션을 계산합니다.
3. Study Attention: 전체 연구 (여러 스캔 포함) 에 대한 전역 정보를 통합하기 위해 제한된 레이어에서 수행됩니다.

• 효율성: 기존 Swin Transformer 나 MViT 와 달리, 복잡한 컨볼루션이나 윈도우 어텐션 마스크 없이 단순한 reshape 연산으로 구현됩니다. 이는 Flash Attention 및 Patch Dropout 과 같은 최신 최적화 기법과 호환되어 계산 비용을 크게 줄입니다.
• CLS 토큰 전파: 서로 다른 계층 (예: Study $\rightarrow$ Scan) 간 정보 전달을 위해 CLS 토큰을 복제 (Cloning) 하거나 평균화 (Averaging) 하는 전략을 사용하여 그래디언트 연속성을 유지합니다.

B. 데이터 및 학습 전략

• 데이터 규모: 정제되지 않은 실제 임상 데이터를 대규모로 활용했습니다.
  • BrainMRI220K: 22 만 건의 연구, 313 만 개의 스캔.
  • HeadCT240K: 24 만 건의 연구, 144 만 개의 스캔.
• 전처리: 방향성 (Orientation) 과 간격 (Spacing) 을 고정하지 않고, 데이터 증강의 일환으로 다양성을 유지하며 학습합니다. 이는 모델이 공간 불변성 (Spacing-invariant) 을 학습하도록 돕습니다.
• 학습: OpenCLIP 및 FLIP 기반을 사용하여 Contrastive Loss 로 학습하며, 패치 드롭아웃 (Patch Dropout) 을 통해 정규화 및 가속화를 꾀합니다.

3. 주요 기여 (Key Contributions)

1. HLIP 프레임워크 제안: 정제되지 않은 3D 의료 영상에 직접 사전 학습이 가능한 확장성 있는 프레임워크를 최초로 제시했습니다.
2. 대규모 학습: 3D 의료 영상 분야에서 현재까지 가장 큰 규모 (약 46 만 건의 연구, 450 만 개 이상의 스캔) 의 학습을 수행했습니다.
3. 새로운 벤치마크 및 오픈 소스:
   • 뇌 MRI 제로샷 분류를 위한 공개 벤치마크 Pub-Brain-5를 구축했습니다.
   • 학습 코드, 사전 학습 레시피, 모델 체크포인트를 공개했습니다.
4. 성능 입증: 다양한 모달리티 (뇌 MRI, 두부 CT, 흉부 CT) 와 해부학적 영역에서 SOTA 성능을 달성했습니다.

4. 실험 결과 (Results)

HLIP 는 여러 벤치마크에서 기존 모델들을 압도하는 성능을 보였습니다.

• Brain MRI (Pub-Brain-5):
  • 제안된 벤치마크에서 **균형 정확도 (Balanced ACC) 가 61.3%**로, 기존 SOTA (ConceptCLIP 등) 대비 10.5%p 향상.
  • 특히 제로샷 질병 분류 (5 클래스) 에서 기존 모델 대비 20.5%p 이상의 큰 차이를 보였습니다.
• Head CT (CQ500, RSNA):
  • CQ500 에서 Macro AUC 8.3%p 향상, RSNA 에서 1.7%p 향상 (기존 Head CT 파운데이션 모델 대비).
  • 제로샷 평가에서도 Vanilla ViT 대비 CQ500 에서 10.0%p, RSNA 에서 2.4%p 향상.
• Chest CT (CT-RATE, Rad-ChestCT):
  • 정제된 데이터셋 (CT-RATE) 에서도 SOTA 를 능가하여, 제안된 계층적 어텐션 메커니즘이 다양한 데이터 유형에 일반화 가능함을 입증했습니다.
  • Rad-ChestCT 외부 검증에서 Macro AUC 4.3%p 향상.
• 전향적 평가 (Prospective Evaluation):
  • 실제 의료 시스템 내 52 가지 뇌 MRI 진단 및 83 가지 두부 CT 진단에 대한 전향적 테스트에서 ViT 대비 일관된 성능 향상 (mAUC 93.24 vs 92.51 등) 을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 3D 의료 영상 분야에서 데이터 큐레이션의 병목을 해소하고 확장 가능한 사전 학습을 가능하게 하는 중요한 전환점을 제시합니다.

• 임상적 실용성: 방사선 전문의의 추가적인 수작업 없이 기존에 축적된 방대한 임상 데이터를 직접 활용할 수 있어, 실제 임상 환경에 더 부합합니다.
• 기술적 혁신: 복잡한 3D 데이터 구조를 효율적으로 처리하는 계층적 어텐션 메커니즘은 계산 비용을 줄이면서도 전역적 맥락과 국소적 특징을 모두 포착하는 데 성공했습니다.
• 미래 전망: HLIP 는 다양한 장기 (뇌, 심장, 복부 등) 와 모달리티로 확장 가능한 기반을 마련했으며, 향후 대규모 의료 특화 비전 - 언어 모델 (VLM) 개발의 토대가 될 것으로 기대됩니다.

결론적으로, HLIP 는 정제되지 않은 대규모 임상 데이터를 활용한 3D 의료 영상 언어 - 영상 사전 학습의 새로운 패러다임을 제시하며, 의료 AI 의 확장성과 실용성을 동시에 높인 획기적인 연구입니다.