SigVLP: Sigmoid Volume-Language Pre-Training for Self-Supervised CT-Volume Adaptive Representation Learning

이 논문은 다양한 해상도와 슬라이스 수를 가진 CT 볼륨 데이터의 손실 없이 적응적 표현 학습을 가능하게 하기 위해 회전 위치 임베딩을 적용하고 국소화된 텍스트-볼륨 정렬을 통해 자기지도 학습을 수행하는 SigVLP 모델을 제안합니다.

핵심

🏥 문제: "모든 CT 스캔은 제각각이라서 AI 가 혼란스러워요"

일반적인 CT 스캔은 환자마다, 기계마다 다릅니다. 어떤 환자는 32 장의 슬라이스 (사진) 로 되어 있고, 어떤 이는 128 장으로 되어 있죠. 마치 영화의 장수가 제각각인 것과 같습니다.

기존의 AI 는 이 다양한 길이의 영상을 처리할 때, 강제로 모든 영상을 같은 크기로 잘라내거나 (자르기), 빈 공간을 채우거나 (늘리기) 해야 했습니다.

• 비유: 마치 100 페이지짜리 소설과 200 페이지짜리 소설을 모두 50 페이지로 줄여서 요약하라고 시키는 것과 같습니다. 중요한 내용 (질병의 위치나 크기) 이 잘리거나, 엉뚱한 내용이 섞여버려서 AI 가 정확한 진단을 내리기 어렵게 됩니다.

💡 해결책: "SigVLP" - 영화를 장면별로 끊어서 읽는 새로운 방식

저자들은 이 문제를 해결하기 위해 SigVLP라는 새로운 방법을 고안했습니다.

1. "영화를 장면 (Chunk) 단위로 나누다"

기존 방식은 "한 편의 영화 전체"를 한 번에 보려고 했지만, SigVLP 는 CT 스캔을 작은 '장면 (Chunk)'들로 잘게 나누어 봅니다.

• 비유: 긴 영화를 볼 때, 처음부터 끝까지 한 번에 다 보려고 애쓰지 않고, 장면별로 끊어서 "이 장면은 주인공이 아프다", "저 장면은 다리가 부러졌다"라고 하나씩 이해하는 방식입니다. 이렇게 하면 영화의 길이가 몇 장이든 상관없이 AI 가 유연하게 처리할 수 있습니다.

2. "회전하는 나침반 (RoPE) 을 사용하다"

기존 AI 는 "1 번째 장, 2 번째 장"처럼 고정된 번호를 붙여서 위치를 기억했습니다. 하지만 SigVLP 는 **회전하는 나침반 (Rotary Position Embedding)**을 사용합니다.

• 비유: 고정된 주소 (1 번 집, 2 번 집) 대신, **"이것은 앞쪽에서 3 번째 장면이야", "저것은 뒤에서 5 번째 장면이야"**라고 상대적인 위치를 기억하는 방식입니다. 이렇게 하면 영화의 길이가 바뀌어도 AI 는 장면들의 순서와 관계를 완벽하게 이해할 수 있습니다.

3. "의사의 메모와 장면을 딱 맞게 연결하다"

가장 중요한 부분은 텍스트 (의사의 보고서) 와 영상 (CT) 의 연결입니다.

• 기존 방식: "전체 보고서"를 "전체 CT"에 연결했습니다. (예: "폐에 문제가 있다"라고만 적혀 있는데, 정확히 어느 부위인지 모호함)
• SigVLP 방식: 장면별로 의사의 메모를 잘게 쪼개서 연결합니다.
  • 비유: 의사가 쓴 긴 보고서에서 **"간 (Liver) 에는 종양이 있다", "폐 (Lung) 는 정상이다"**라는 문장을 찾아내서, CT 의 해당 부위 (간이 보이는 장면, 폐가 보이는 장면) 에 딱 맞게 붙여주는 것입니다.
  • 이를 위해 AI 가 자동으로 보고서에서 장기별 내용을 추출하고, CT 의 해당 부위와 짝을 짓습니다. 마치 책의 목차를 보고 정확한 페이지를 찾아주는 것처럼 정교합니다.

🚀 결과: 왜 이것이 혁신적인가요?

이 방법을 쓰니 AI 는 다음과 같은 능력을 얻었습니다.

1. 정밀한 찾기: "폐에 암이 있다"고 했을 때, 전체 CT 전체를 훑는 게 아니라 정확히 암이 있는 그 작은 부분을 찾아냅니다.
2. 유연한 적응: 슬라이스 수가 32 장이든 128 장이든, AI 는 같은 방식으로 잘 처리합니다.
3. 작은 것까지 보임: 기존 AI 는 큰 장기 (폐, 간) 는 잘 보지만, 작은 혈관이나 림프절은 놓치기 쉬웠는데, SigVLP 는 작은 구조물까지 세밀하게 인식합니다.

📝 한 줄 요약

"SigVLP 는 CT 스캔을 고정된 크기로 자르지 않고, 영화의 장면처럼 유연하게 잘게 나누어 보고, 의사의 보고서와 장면을 하나하나 정확히 매칭시켜주는 똑똑한 AI 입니다."

이 기술은 앞으로 의사가 CT 를 볼 때 더 빠르고 정확한 진단을 내리는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

의료 영상, 특히 3D CT 스캔을 활용한 시각 - 언어 모델 (VLM) 학습에는 다음과 같은 근본적인 한계가 존재합니다.

• 데이터 이질성과 고정된 크기 제약: 서로 다른 제조사와 장비를 통해 수집된 대규모 CT 데이터는 해상도, 슬라이스 두께, 슬라이스 수 (z 축) 가 매우 다양합니다. 기존 Transformer 기반 모델들은 절대적 위치 임베딩 (Absolute Position Embeddings) 을 사용하여 고정된 길이의 토큰 시퀀스를 요구하므로, 다양한 크기의 3D 볼륨을 처리하기 위해 z 축을 잘라내거나 (cropping) 보간 (interpolation) 해야 합니다. 이는 중요한 해부학적 정보의 손실로 이어집니다.
• 전체 보고서의 한계: 기존 의료 VLM 은 전체 CT 볼륨을 하나의 이미지로, 전체 방사선학 보고서를 하나의 텍스트로 간주하여 학습합니다. 이는 미세한 장기별 (organ-wise) 인과관계와 국소적 해부학적 특징을 포착하는 데 한계가 있으며, 복잡한 3D 구조에 대한 깊은 표현 학습을 방해합니다.
• 표준화 부재: 기관 간 표준화가 부족하여 스캔 프로토콜의 차이가 모델의 일반화 성능을 저하시킵니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 SigVLP를 제안하며, 다음과 같은 핵심 기술적 혁신을 도입했습니다.

A. 3D 청크 (Chunk) 기반 동적 학습 및 회전 위치 임베딩 (RoPE)

• 3D 청크화: 고정된 전체 볼륨 대신, CT 스캔을 가변적인 길이의 3D 청크 (예: 32, 64, 128 슬라이스) 로 분할하여 학습합니다. 이는 z 축의 가변성을 자연스럽게 수용합니다.
• 회전 위치 임베딩 (Rotary Position Embedding, RoPE): 절대적 위치 인코딩 대신 RoPE 를 적용합니다. RoPE 는 쿼리 (Query) 와 키 (Key) projections 에 회전 행렬을 적용하여 상대적 위치 의존성을 인코딩합니다. 이를 통해 입력 크기가 변하더라도 일관된 정렬을 유지하며, 고정된 시퀀스 길이 제약 없이 긴 3D 컨텍스트를 모델링할 수 있습니다.
• 온더플라이 (On-the-fly) 적용: RoPE 는 어텐션 연산 내부에서 입력에 따라 실시간으로 계산되어 추가 파라미터 없이 동적 시퀀스 길이를 지원합니다.

B. 장기별 (Organ-wise) 정밀한 텍스트 - 볼륨 정렬

• 세분화된 정렬 전략: 전체 보고서를 사용하는 대신, GPT-5 Mini 와 같은 경량 LLM 을 활용하여 보고서를 장기별 (organ-specific) 발견 사항 (findings) 으로 분해합니다.
• 동적 텍스트 생성: 학습 시, 샘플링된 3D 청크에 포함된 장기 (anatomical masks 를 통해 확인) 에 해당하는 텍스트 발견 사항만 추출하여 해당 청크와 짝을 짓습니다. 이는 텍스트와 시각적 특징 간의 더 정밀한 (fine-grained) 지도 학습을 가능하게 합니다.
• 데이터 생성 파이프라인: CT-RATE 데이터셋의 40,000 개 이상의 3D CT 스캔과 자유 텍스트 보고서를 기반으로, TotalSegmentator 등의 도구를 이용해 장기 마스크를 생성하고 이를 텍스트와 매칭하여 대규모 학습 데이터를 구축했습니다.

C. 최적화 및 아키텍처

• Muon Optimizer: 대규모 가중치 행렬의 안정적인 학습을 위해 Muon 옵티마이저를 사용하여 수렴 속도와 안정성을 높였습니다.
• SigLIPv2 기반: SigLIPv2 아키텍처를 확장하여 시그모이드 손실 함수 (Sigmoid loss) 를 적용하며, 이는 대규모 시각 - 언어 사전 학습을 안정화하는 것으로 알려져 있습니다.

3. 주요 기여 (Key Contributions)

1. 동적 서브볼륨 - 관찰 정렬 (On-the-fly Subvolume-Observation Alignment): 샘플링된 서브볼륨에 포함된 장기에 대한 임상적 관찰을 실시간으로 검색하여 텍스트와 볼륨 인코더 출력을 최적화하는 학습 방법을 설계했습니다.
2. 대규모 3D 볼륨 시각 - 언어 사전 학습: CT-RATE 데이터셋을 기반으로 SigVLP 를 학습시켜, 해부학적으로 일관된 대규모 3D 볼륨 - 텍스트 정렬이 가능함을 최초로 입증했습니다.
3. 장기별 임상 관찰 데이터셋 공개: LLM 을 활용하여 자동 추출한 장기별 임상 관찰 데이터셋을 공개했습니다.
4. 하류 작업 성능 향상: 제로샷 이상 탐지, 장기 분류, 세그멘테이션, 검색 등 다양한 하류 작업에서 기존 모델 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

• 검색 (Retrieval) 성능: 3D CT 볼륨과 방사선학 보고서 간의 검색 작업에서 SigVLP 는 기존 CT-CLIP (MeanRank 26.01) 보다 월등히 우수한 성능 (MeanRank 8.23) 을 보였습니다. Top-100 검색에서 97.8% 의 Recall@50 을 달성했습니다.
• 분류 및 세그멘테이션:
  • 이상 탐지: 18 가지 이상에 대한 선형 프로브 (Linear Probe) 분류에서 정밀도 (Precision) 0.435, 정확도 0.80 을 기록하여 DINOv3 및 CT-CLIP 을 능가했습니다.
  • 세그멘테이션: 대동맥 (Aorta) 과 위장 (Stomach) 과 같은 중소형 장기에서 DINOv3 대비 Dice 점수가 크게 향상되었습니다 (예: 대동맥 0.278 → 0.471). 이는 모델이 작은 구조물의 세부 해부학적 정보를 잘 포착함을 의미합니다.
• 슬라이스 수에 따른 성능: 슬라이스 수가 증가할수록 (32 → 128) SigVLP 의 성능이 지속적으로 향상되는 반면, 2D 기반 모델 (DINOv3 등) 은 슬라이스 수가 많아질수록 3D 컨텍스트 손실로 인해 성능이 저하되었습니다.
• 계산 효율성: 동일한 성능을 내기 위해 DINOv3 보다 훨씬 적은 FLOP(연산량) 를 소모하며 더 높은 처리량 (Throughput) 을 달성했습니다.

5. 의의 및 결론 (Significance)

SigVLP 는 3D 의료 영상 처리의 핵심 난제인 가변적인 슬라이스 길이와 해부학적 연속성 유지 문제를 성공적으로 해결했습니다.

• 표준화 없는 학습: 보간이나 자르기를 통한 정보 손실 없이 원본 데이터의 특성을 유지하며 학습할 수 있는 새로운 패러다임을 제시했습니다.
• 정밀한 해부학적 이해: 전체적인 스캔 수준을 넘어 장기별, 국소적 수준에서의 텍스트 - 이미지 정렬을 가능하게 하여, 임상적으로 더 의미 있는 진단 지원 모델의 기반을 마련했습니다.
• 확장성: RoPE 와 Muon 옵티마이저를 활용한 아키텍처는 향후 더 큰 규모의 3D 의료 데이터셋과 복잡한 3D 추론 작업으로 확장 가능한 기반 모델 (Foundation Model) 로서의 가능성을 보여줍니다.

결론적으로, SigVLP 는 3D CT 영상과 텍스트 간의 정밀한 정렬을 통해 의료 AI 의 정확성과 일반화 능력을 획기적으로 향상시킨 선구적인 연구입니다.