OmniCT: Towards a Unified Slice-Volume LVLM for Comprehensive CT Analysis

이 논문은 CT 슬라이드의 국소 특징과 볼륨의 공간적 관계를 통합적으로 이해하여 기존 모델의 한계를 극복하고 임상적 유용성을 높인 통일된 슬라이드 - 볼륨 LVLM 인 'OmniCT'와 대규모 평가 데이터셋 'MedEval-CT'를 제안합니다.

핵심

🏥 OmniCT: 의사를 위한 '초능력' CT 스캔 분석가

이 논문은 의료용 인공지능, 특히 CT(컴퓨터 단층촬영) 스캔을 분석하는 새로운 AI 모델인 **'OmniCT'**를 소개합니다.

기존의 AI들은 CT 스캔을 볼 때 두 가지 방식 중 하나만 잘했습니다.

1. 2D 방식 (단면 보기): 한 장 한 장의 사진을 잘 보지만, 전체적인 3D 구조를 이해하지 못해 "이 혹이 어디까지 퍼졌지?" 같은 전체적인 맥락을 놓칩니다.
2. 3D 방식 (입체 보기): 전체적인 모양은 알지만, 아주 작은 병변 (예: 1cm 미만의 작은 혹) 같은 미세한 디테일을 놓치기 쉽습니다.

OmniCT는 이 두 가지의 단점을 없애고 장점만 합친 '완벽한 의사' 같은 존재입니다.

---

🧩 핵심 아이디어: "레고 블록"과 "현미경"의 만남

OmniCT 가 어떻게 작동하는지 일상적인 비유로 설명해 드리겠습니다.

1. 공간 일관성 강화 (SCE): "레고 블록을 이어 붙이다"

• 기존의 문제: 기존 AI 는 CT 스캔을 볼 때, 한 장 한 장의 사진을 따로따로 보거나 (2D), 너무 뭉개진 3D 덩어리로만 봤습니다.
• OmniCT 의 해결책:
  • 비유: CT 스캔은 마치 레고 블록이 수백 장 쌓인 것과 같습니다. OmniCT 는 인접한 레고 블록 3 개를 묶어서 하나의 '작은 3D 덩어리'로 만듭니다.
  • 효과: 이렇게 하면 AI 는 "이 장이 저 장과 어떻게 연결되는지"를 자연스럽게 이해하게 됩니다. 마치 책장을 넘기듯 연속적인 흐름을 보면서도, 동시에 입체적인 구조를 파악할 수 있게 됩니다.
  • 위치 표시: 각 블록에 "위, 아래, 앞, 뒤"라는 **3D 주소 (좌표)**를 붙여주어, AI 가 병변의 정확한 위치를 헷갈리지 않게 합니다.

2. 장기별 의미 강화 (OSE): "현미경으로 중요한 곳만 확대하다"

• 기존의 문제: CT 스캔은 512x512 해상도의 고화질 이미지로, 데이터 양이 너무 방대합니다. AI 가 모든 곳을 똑같이 보려고 하면 중요한 작은 병변 (예: 췌장의 작은 혹) 을 놓치기 쉽습니다.
• OmniCT 의 해결책:
  • 비유: 의사가 진찰할 때, 심장, 폐, 간처럼 중요한 장기에는 현미경을 대고 자세히 보지만, 주변 조직은 빠르게 훑어보는 것과 같습니다.
  • 작동 원리: OmniCT 는 먼저 "이 부분은 폐야, 저 부분은 간이야"라고 장기를 자동으로 구분합니다. 그리고 작은 장기나 병변이 있는 곳은 AI 가 더 자세히 보도록 (확대) 하고, 큰 장기는 정보를 압축해서 (축소) 효율적으로 처리합니다.
  • 결과: 중요한 병변은 놓치지 않으면서도, AI 가 처리해야 할 정보의 양은 줄여서 빠르고 정확하게 진단합니다.

3. MedEval-CT: "의사 국가고시" 같은 새로운 시험

• 이 모델을 평가하기 위해 연구진은 **세계 최대 규모의 CT 데이터셋과 시험 (MedEval-CT)**을 만들었습니다.
• 비유: 기존 시험지들이 "단순히 뼈가 부러졌는지"만 물어봤다면, 이 새로운 시험지는 **"폐렴이 간에 영향을 주었는지, 그리고 어떤 약을 써야 할지"**까지 묻는 고난도 임상 실전 시험입니다.
• 이 시험에는 170 만 개 이상의 질문이 포함되어 있어, AI 가 진짜 의사처럼 복잡한 상황을 판단할 수 있는지 검증합니다.

---

🏆 결과: 왜 이것이 혁신인가?

OmniCT 는 기존에 있던 어떤 의료 AI 보다도 훨씬 뛰어난 성능을 보여줍니다.

• 미세한 디테일: 1cm 미만의 작은 결절 (혹) 도 놓치지 않습니다.
• 전체적인 맥락: 종양이 주변 장기까지 침범했는지 등 3 차원적인 관계를 정확히 파악합니다.
• 균형 잡힌 능력: 폐, 간, 심장, 척추 등 어떤 장기에서도 고른 실력을 발휘합니다. (기존 AI 는 특정 장기만 잘하고 나머지는 못 하는 경우가 많았습니다.)

💡 결론

OmniCT 는 **"단면 사진과 입체 영상을 동시에 보는 능력"**과 **"중요한 부분만 집중해서 보는 능력"**을 하나로 통합한 모델입니다.

이 기술은 앞으로 의사들이 더 빠르고 정확하게 진단을 내리는 것을 돕고, 결국 환자의 생명을 구하는 데 결정적인 역할을 할 것으로 기대됩니다. 마치 초능력을 가진 최강의 보조 의사가 병원에 등장한 것과 같습니다.

한 줄 요약: OmniCT 는 CT 스캔을 "한 장 한 장"이 아니라 "하나의 입체적인 생명체"로 이해하며, 중요한 병변을 놓치지 않는 완벽한 의료 AI입니다.

기술 요약

1. 문제 정의 (Problem Statement)

컴퓨터 단층촬영 (CT) 은 심장, 폐, 간 등 주요 장기를 포함하며, 질병 스크리닝, 병변 평가, 종양 병기 결정 등 진단에 필수적인 고밀도 정보 영상 모달리티입니다. 그러나 기존 의료용 대규모 비전 - 언어 모델 (LVLM) 은 CT 분석에 있어 다음과 같은 이분법적 한계에 직면해 있었습니다.

• 슬라이스 기반 (Slice-driven) 모델: 2D 슬라이스 입력에 최적화되어 있어 국소적인 병변 (예: 수 mm 크기의 결절) 탐지나 리포트 생성에는 강점이 있으나, 슬라이스 간의 공간적 일관성 (Spatial Consistency) 을 파악하지 못해 3D 구조적 맥락을 이해하는 데 한계가 있습니다.
• 볼륨 기반 (Volume-driven) 모델: 3D 볼륨 데이터를 명시적으로 모델링하여 장기 수준의 공간 추론에는 유리하나, 세부적인 병변 감도 (Coarse granularity) 가 낮고, 2D 슬라이스 입력과의 호환성이 떨어져 다양한 임상 시나리오에 적용하기 어렵습니다.

이러한 슬라이스와 볼륨 모델링 간의 단절은 의료 LVLM 의 임상 적용을 가로막는 주요 병목 현상이었습니다.

2. 제안 방법론 (Methodology: OmniCT)

저자들은 이러한 격차를 해소하기 위해 OmniCT를 제안했습니다. 이는 2D 슬라이스의 효율성과 3D 볼륨의 공간 인식 능력을 통합한 통일된 슬라이스 - 볼륨 LVLM입니다. OmniCT 는 크게 두 가지 핵심 모듈과 하나의 평가 프레임워크로 구성됩니다.

가. 공간 일관성 강화 (Spatial Consistency Enhancement, SCE)

슬라이스와 볼륨 간의 표현 차이를 해소하고 3D 공간적 사전 지식을 주입하는 모듈입니다.

1. 볼륨 슬라이스 구성 (Volumetric Slice Composition, VSC): 인접한 슬라이스들을 채널 차원을 따라 구조적으로 연결하여 국소적으로 일관된 볼륨 단위 (3 개의 슬라이스 묶음) 를 생성합니다. 이를 통해 슬라이스 간 공간적 전환을 유지하면서도 2D/3D 입력을 통일된 형태로 처리합니다.
2. 3 축 위치 임베딩 (Tri-axial Positional Embedding, TPE): 재구성된 단위의 깊이 (Depth), 높이 (Height), 너비 (Width) 차원에 정현파 위치 인코딩을 주입하여, 모델이 3D 공간적 위치를 인식하도록 합니다.
3. MoE 하이브리드 프로젝션 (Mixture of Experts Hybrid Projection, MHP): 슬라이스 특화, 볼륨 특화, 공유 전문가 (Expert) 를 가진 MoE 구조를 도입합니다. 이는 시각 토큰을 LLM 의 표현 공간에 효율적으로 정렬 (Alignment) 하되, 슬라이스와 볼륨 입력의 특성에 따라 동적으로 라우팅하여 토큰 폭발을 방지하고 효율성을 극대화합니다.

나. 장기 수준 의미 강화 (Organ-level Semantic Enhancement, OSE)

임상 진단이 장기 단위로 이루어진다는 점을 반영하여, 장기별 의미 정보를 명시적으로 강화하는 모듈입니다.

1. 해부학적 영역 국소화: TotalSegmentator 등을 이용해 117 가지 장기 마스크를 생성하고, 이를 시각 토큰 공간에 매핑하여 특정 장기 영역의 토큰을 선택합니다.
2. 적응형 장기 특징 집계 (Adaptive Aggregation): 장기마다 크기와 토큰 길이가 다르므로, 이를 고정된 크기로 압축합니다. 작은 장기 (예: 췌장) 에는 '확대 효과'를 주어 미세 병변 특징을 강화하고, 큰 장기에는 '압축 효과'를 주어 중복을 줄입니다.
3. 맥락 융합: 집계된 장기별 특징을 전역 시각 토큰과 결합하여, 임상 추론에 가장 관련성 높은 구조를 부각시키는 의미 강화된 멀티모달 표현을 생성합니다.

3. 주요 기여 (Key Contributions)

1. CT 이미징을 위한 통일된 LVLM 패러다임: 슬라이스와 볼륨 표현 간의 간극을 메우고, 3D 공간적 사전 지식을 유지하면서 2D 정렬의 효율성을 확보한 최초의 통합 모델입니다.
2. 표현 강화 기술 (SCE & OSE): 공간적으로 일관되고 임상적으로 유의미한 표현을 위해 SCE 와 OSE 모듈을 설계하여, 미세한 병변 감도와 거시적 공간 추론 능력을 동시에 달성했습니다.
3. MedEval-CT (평가 프레임워크):
   • MedEval-CT-Dataset: 170 만 개 이상의 3D 볼륨과 32 만 개의 2D 슬라이스로 구성된 최대 규모의 CT VQA 데이터셋 (170,280 개 3D 볼륨, 327,063 개 2D 슬라이스).
   • MedEval-CT-Bench: 7 가지 임상 작업 유형 (GIR, MAI, AII, CRD 등) 과 13 개 장기에 대한 균형 잡힌 하이브리드 벤치마크.
   • MedEval-CT-Factory: 다양한 입력 형식 (DICOM, NIfTI 등) 을 표준화하고 통계적/의미적/LLM 기반 평가를 수행하는 평가 툴킷.
4. 압도적인 성능: 다양한 2D/3D 벤치마크에서 기존 의료 LVLM 및 일반 LVLM 을 크게 상회하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: OmniCT 는 2D 슬라이스 기반 벤치마크 (SLAKE, VQA-RAD 등) 와 3D 볼륨 기반 벤치마크 (M3D, CT-RATE, 3D-RAD) 모두에서 SOTA(State-of-the-Art) 성능을 기록했습니다.
  • 7B 파라미터 모델은 2D 벤치마크 평균 점수 81.45 (2 위 모델 대비 +11.01 점 향상) 를 달성했습니다.
  • 3D 벤치마크에서도 평균 66.15점을 기록하여 기존 3D 전문 모델 (CT-CHAT, M3D-LaMed 등) 을 압도했습니다.
• Ablation Study: SCE 와 OSE 모듈을 모두 적용했을 때 성능이 극대화되었으며, 특히 3D 볼륨 작업에서 두 모듈의 시너지 효과가 뚜렷했습니다.
• 장기별 및 작업별 분석: 췌장, 식도 등 해부학적으로 복잡한 소규모 장기에서도 기존 모델이 겪는 성능 저하를 극복했으며, 단순 인식부터 고난도 임상 추론 (CRD) 까지 모든 난이도 단계에서 일관된 강세를 보였습니다.
• 2D 인코더의 유효성: 3D 인코더 대신 2D 인코더 (SigLIP, DINOv3 등) 를 기반으로 3D 공간 정보를 주입하는 방식이 오히려 더 강력한 일반화 능력을 보임을 입증했습니다.

5. 의의 및 결론 (Significance)

OmniCT 는 의료 영상 이해 분야에서 2D 와 3D 모달리티를 통합하는 새로운 패러다임을 제시했습니다.

• 임상적 가치: 슬라이스 단위의 국소적 병변 탐지와 볼륨 단위의 장기 간 관계 추론을 동시에 수행할 수 있어, 실제 임상 진단 프로세스에 더 부합하는 AI 모델의 토대를 마련했습니다.
• 데이터 및 평가 표준: MedEval-CT 를 통해 의료 LVLM 평가의 공정성과 확장성을 확보했으며, 향후 더 복잡하고 대규모 임상 시나리오를 위한 표준 벤치마크로 자리 잡을 것으로 기대됩니다.
• 미래 전망: 이 연구는 의료 AI 가 단순한 이미지 분류를 넘어, 3D 공간적 맥락을 이해하고 임상적 추론을 수행하는 진정한 '보편적 의료 비전 - 언어 모델'로 발전하는 중요한 이정표가 됩니다.

프로젝트 링크: https://github.com/ZJU4HealthCare/OmniCT