기술 요약: 해상도와 축소의 만남: 3D 방사선 보고서 생성을 위한 효율적인 시각적 컨텍스트

문제 정의

시각-언어 모델(VLM)은 방사선 보고서 생성을 자동화하는 유망한 방안을 제공한다. 그러나 이 모델들을 전체 3D 컴퓨터 단층촬영(CT) 볼륨에 적용하는 것은 상당한 계산적 과제를 안겨준다. 현대적인 파운데이션 비전 인코더(VE)는 스캔당 수만 개의 시각 토큰을 생성할 수 있으며, 이는 다운스트림 대규모 언어 모델(LLM)의 주요 병목 현상을 초와한다. 시각-언어 프로젝터는 이 시퀀스를 압축하여 계산량을 줄일 수 있지만, 공격적인 압축은 임상적으로 중요한 세부 정보를 유실할 위험이 있다. 반대로, 고해상도 입력을 유지하려면 고정된 다운스트림 토큰 예산 내에서 효과적인 압축 전략을 유지해야 한다.

본 연구가 다루는 핵심 설계 질문은 "시각 토큰 예산"을 다음 세 가지 경쟁적인 차원에 어떻게 최적으로 할당할 것인가이다:

1. 입력 시야(Field of View, FOV): 전체 볼륨 인코딩 대 해부학적 관심 영역(ROI) 크로핑.
2. 공간 해상도: 표준 해상도 대 고해상도 입력.
3. 시각-언어 프로젝션: 프로젝터 아키텍처의 선택과 그 압축 비율.

방법론

저자들은 사전 학습된 고정(frozen) 비전 인코더, 학습 가능한 시각-언어 프로젝터, 그리고 지시어 튜닝된 LLM으로 구성된 표준 LLaVA 스타일의 3단계 VLM 아키텍처를 기반으로 한 체계적인 평가 프레임워크를 제안한다.

실험 설정

• 데이터셋: 두 개의 대규모 CT 보고서 데이터셋을 사용하였다: CT-RATE(50k 이상의 흉부 CT) 및 Merlin(25k 이상의 복부 CT).
• 비전 인코더(VE): 네 가지 이질적인 의료 파운데이션 모델을 벤치마킹하였다:
  • Primus: 3D Vision Transformer (ViT).
  • Curia: 축 방향 슬라이스를 독립적으로 인코딩하는 2D ViT.
  • Merlin: 3D CNN (ResNet 기반).
  • CT-FM: 3D CNN (SegResNet 기반).
• 프로젝터: 토큰을 유지하는 MLP 베이스라인과 함께 다섯 가지 토큰 감소 프로젝터를 평가하였다:
  • 그리드 기반(Grid-based): AveragePool, ConcatAdapter, TokenPacker.
  • 쿼리 기반(Query-based): AttentionPool, PerceiverResampler.
  • 압축 비율: 최대 64배 압축까지 평가함.
• LLM: 1.7B에서 4B 파라미터 범위의 다섯 가지 지시어 튜닝 모델(Qwen3, Qwen3-VL, Phi-4-mini, Gemma3).
• 평 평가 지표: LLM에서 추출된 레이블을 바탕으로 미세 조정된 분류기(CT-RATE용 RadBERT, Merlin용 ModernBERT)를 사용하여 계산된 Clinical Macro F1을 주요 지표로 사용하였다. 어휘적 지표(BLEU, ROUGE)는 최종 비교를 위해서만 보고되었다.

입력 레짐(Input Regimes)

연구는 고정된 LLM 토큰 예산 하에서 세 가지 입력 전략을 비교하였다:

1. Whole (전체): 리사이징된 전체 볼륨을 인코딩.
2. ROI (관심 영역): TotalSegmentator를 사용하여 해부학적 ROI(CT-RATE의 경우 폐, Merlin의 경우 전신 전경)로 크로핑.
3. High Resolution (고해상도): 멀티 블록 인코딩(Primus-4B) 또는 조밀한 축 방향 특징 집합(Curia-64S)을 통해 유효 해상도를 높임.

주요 기여

1. 설계 선택에 대한 체계적 평가: 입력 FOV와 해상도를 LLM 토큰 예산으로부터 분리하여, 두 개의 대규모 데이터셋에 걸쳐 VE, 프로젝터, LLM 간의 상호작용을 체계적으로 평가한 최초의 통제된 연구이다.
2. 일관된 전략으로서의 ROI 크로핑: 본 연구는 해부학적 가이드 기반의 ROI 크로핑이 가장 견고한 개입임을 확인하였다. 이는 20개 구성 중 19개에서 Clinical Macro F1을 개선하였으며, Primus의 경우 평균 +3.7 포인트, Curia의 경우 +1.1 포인트의 이득을 보였다.
3. 프로젝터에 따른 해상도 이점: 입력 해상도를 높이는 것이 항상 유익한 것은 아니며, 그 성공 여부는 프로젝터의 집합 메커니즘에 크게 의존함을 입증하였다. 강력한 압축을 효과적으로 수행할 수 있는 프로젝터(TokenPacker 및 PerceiverResampler)만이 고해상도 입력으로부터 이득을 얻는다.
4. 인코더의 지배력: 비전 인코더의 선택이 LLM의 선택보다 성능에 더 큰 영향을 미친다는 것을 보여주었다. ViT 기반 인코더(Primus, Curia)는 CNN 기반 인코더(Merlin, CT-FM)보다 성능이 현저히 뛰어났다.
5. 최첨단 성능(SOTA): 제안된 구성은 두 벤치마크 모두에서 새로운 SOTA 결과를 달성하여, CT-RATE에서는 49.5, Merlin에서는 49.0의 Clinical Macro F1에 도달하였다.

결과

• ROI vs. 전체 볼륨: ROI 크로핑이 전체 볼륨 인코딩보다 일관되게 우수한 성능을 보였다. 3D ViT(Primus)의 경우, 고정된 토큰 예산 내에서 유효 해상도가 높아진 덕분에 상당한 이득(+3.7 F1)을 얻었다. 이미 네이티브 인플레인 해상도 근처에서 작동하는 2D ViT(Curia)의 경우, 이득은 더 작았다(+1.1 F1).
• 고해상도의 영향:
  • CT-RATE의 경우, 높은 해상도는 Primus에서 성능 향상을 가져오지 못했으나(해상도 천장에 도달), PerceiverResampler와 결합된 Curia에서는 성능 향상을 가져왔다.
  • Merlin의 경우, 높은 해상도는 TokenPacker 또는 PerceiverResampler와 결합되었을 때 두 인코더 모두에서 일관된 이득을 주었으며, 특히 신장 낭종이나 담석과 같은 작은 병변을 탐지하는 데 도움이 되었다.
• 고해상도 입력의 영향:
  • 그리드 기반 프로젝터인 ConcatAdapter와 AveragePool은 정보 손실이나 파라미터 폭발로 인해 고해상도에서 성능이 저하되는 경우가 많았다.
• 토큰 압축:
  • 토큰을 유지하는 MLP는 Primus 인코더에 대해 토큰 감소형 프로젝터보다 일반적으로 더 나은 성능을 보였다.
  • Curia의 경우, 64배 압축 시 PerceiverResampler가 압축되지 않은 MLP 베이스라인을 능가하였다(CT-RATE에서 49.2 vs 48.5).
  • TokenPacker는 Merlin 데이터셋에 대한 Primus의 가장 강력한 압축 프로젝터였다.
  • ConcatAdapter는 입력 차원과 파라미터 수의 스케일링 문제로 인해 높은 압축률에서 심각한 성능 저하를 보였다.
• LLM의 영향: LLM의 선택이 성능에 영향을 미쳤지만(2.2~5.3 F1 변동), VE의 선택(>10 F1 변동)보다는 영향력이 적었다. 주목할 점은, 네이티브 비전 타워를 교체하더라도 멀티모달 사전 학습에서 초기화된 모델(Qwen3-VL)이 텍스트 전용 모델(Qwen3-1.7B)보다 우수했다는 것이다.

의의 및 주장

본 논문은 비전 토큰 예산의 할당이 확장 가능한 3D 방사선 보고서 생성을 위한 핵심적인 설계 변수라고 주장한다. 저자들은 다음과 같이 강조한다:

• ROI 크로핑은 계산 비용을 늘리지 않고 임상적 성능을 개선하는 가장 일관되고 효과적인 전략이다.
• 프로젝터 아키텍처는 고해상도 입력이 유익한지를 결정한다. 단순한 풀링이나 결합 전략은 강력한 압축 하에서 고해상도 데이터를 활용하는 데 실패하는 반면, 쿼리 기반 또는 구조적 집합(PerceiverResampler, TokenPacker)은 성공한다.
• 파운데이션 모델 적응: 비전 인코더의 선택이 시스템 성능의 지배적인 요소이며, 이는 향후의 노력이 단순히 LLM을 최적화하는 것이 아니라 견고한 의료 파운데이션 모델을 적응시키는 데 집중되어야 함을 시사한다.
• 임상적 관련성: 연구는 어휘적 지표가 의료 보고서 품질 측정에 신뢰할 수 없음을 강조하며, 자동화된 분류기로부터 도출된 Clinical Macro F1이 진단적 정확성에 대해 더 의미 있는 평가를 제공한다고 밝힌다.

저자들은 하드웨어 능력이 향려하고 있음에도 불구하고, 고해상도 영상 및 더 큰 모델과 함께 효율적인 비전 토큰 활용에 대한 요구가 커질 것이라고 결론짓는다. 따라서 입력 레짐과 프로젝터의 신중한 설계는 최첨단 3D 방사선 보고서 생성을 달성하는 데 있어 핵심적인 역할을 한다.