Automated Fracture Image Captioning Using Multimodal Vision-Language Models: A Comprehensive Comparative Study on a Clinically Curated Dataset

기술 요약: 멀티모달 시각-언어 모델을 이용한 자동 골절 영상 캡셔닝

문제 정의
딥러링은 골절 탐지 및 분류에서 전문가 수준의 성능을 달관했으나, 근골격계 방사선 사진에 대한 자연어 의료 보고서(영상 캡셔닝)를 자동으로 생성하는 연구는 여전히 미개척 분야로 남아 있다. 기존 문헌은 주로 흉부 X선(예: MIMIC-CXR)에 집중되어 있어, 골절 특화 캡셔닝에 있어서는 상당한 공백이 존재한다. 골절 방사선 사진은 골절 유형, 위치 및 심각도를 구분하는 미묘한 시각적 특징과 더 birlikte 폐 영상과는 다른 전문적인 언어적 레지스터(register)를 포함하는 독특한 과제를 제시한다. 또한, 수동 보고는 시간이 많이 소요되며, 특히 자원이 제한된 환경에서는 오류가 발생하기 쉽다. 다양한 시각-언어 아키텍처를 골절 특화 데이터셋에 대해 체계적으로 비교 평가한 연구가 부족하며, 저데이터 의료 시나리오에서 특정 모델이 수렴하지 못하는 조건에 대해서도 충분히 규명되지 않았다.

방법론
본 연구는 방글라데시 다카에 위치한 이븐 시나 의과대학(Ibn Sina Medical College)의 신규 임상 큐레이션 데이터셋을 사용하여 9가지 인코더-디코더 아키텍처를 종합적으로 벤치마킹하였다. 이 데이터셋은 정형외과 전문의가 작성한 전문가 주석 캡션이 포함된 710개의 골절 X선 이미지로 구성된다.

• 데이터 처리: 데이터셋은 층화 무작위 분할(stratified random splitting)을 통해 훈련(75%), 검증(10%), 테스트(15%) 세트로 나누었다. 제한된 데이터셋에서의 과적합을 완화하기 위해, 훈련 중 수평 뒤집기, 회전, 밝기/대조 조정, 가우시안 노이즈, 컬러 지터링(color jitter), 코스 드롭아웃(coarse dropout)을 포함하는 확률적 온더플라이(on-the-fly) 증강 파이프라인을 적용하였다.
• 모델 아키텍처: 본 연구는 세 가지 패러다임에 걸친 10가지 모델 조합(9개의 고유한 구성으로 그룹화)을 평가하였다:
  1. 모듈형 인코더-디코더 시스템: 6가지 시각 인코더(ViT-Base, Swin-Tiny, DeiT-Base, BEiT-Base, ConvNeXt-Tiny, CLIP-ViT)와 다양한 용량(Small, Medium, Large)의 GPT-2 디코더를 결로하였다.
  2. 엔드 투 엔드 시각-언어 사전 학습(VLP) 모델: BLIP-Base 및 GIT-Base.
  3. 사전 학습된 베이스라인: 일반 영상 캡셔닝에 사전 학습된 ViT-GPT2 체크포인트.
• 훈련 프로토콜: 모든 모델은 AdamW 최적화, 코사인 어닐링(cosine annealing) 학습률 스케줄 및 선형 웜업, 혼합 정밀도(FP16) 훈련, 그래디언트 클리핑을 사용하는 통일된 프로토콜 하에 훈련되었다. 평가는 표준 자연어 생성 지표인 BLEU-1부터 BLEU-4, METEOR, ROUGE-L 및 CIDEr 유사 합의 점수를 사용하여 수행되었다.

주요 기여

1. 데이터셋 큐레이션: 남아시아 3차 의료 기관에서 추출한 전문가 주석 골절 방사선 캡션 데이터셋(710개의 이미지-캡션 쌍)을 최초로 도입하였다.
2. 체계적 벤치마킹: 공정한 교차 아키텍처 비교를 위해 동일한 실험 조건 하에서 골절 캡셔닝을 위한 9가지 인코더-디코더 아키텍처에 대한 최초의 종합적인 비교 평가를 수행하였다.
3. 실패 모드 분석: 소규모 의료 데이터셋에 적용된 시각-언어 아키텍처에서 관찰된 세 가지 뚜렷한 실패 모드를 체계적으로 규명하였다:
   • 사소한 해답으로의 붕괴(Trivial Solution Collapse): 대조 학습 사전 학습 목적 함수가 퇴행적인 토큰 분포를 유도하여 CLIP 기반 모델에서 관찰되었다.
   • 최적화 발산(Optimization Divergence): 소형 인코더와 과도하게 큰 디코더(예: ViT-Base + GPT2-Large)를 결합할 때 훈련 불안정성을 초래하여 관찰되었다.
   • 사전 학습 목적 함수의 불일치(Pre-training Objective Misalignment): BEiT 및 GIT와 같은 모델에서 관찰되었으며, 마스크드 이미지 모델링 또는 통합 자기회귀 목적 함수가 크로스 어텐션 아키텍처보다 밀집된 임상 캡션 생성에 덜 전이 가능함을 보여주었다.
4. 효율성 및 성능 통찰: 통합된 목적 함수를 가진 시각-언어 사전 학습(BLIP)이 독립적으로 결합된 인코더-디코더 시스템보다 실질적으로 우수함을 입증하였으며, Swin-Tiny가 가장 매개변수 효율적인 솔루션임을 확인하였다.

결과

• 최고 성능: BLIP-Base가 모든 지표에서 가장 높은 성능(BLEU-4 = 0.3529, METEOR = 0.5297, ROUGE-L = 0.4640, CIDEr-like = 0.5051)을 달성하였다. 이 성공은 이미지-텍스트 대조 정렬, 매칭 및 언어 모델링을 공동으로 최적화하는 통합 사전 학습 전략 덕분이다.
• 최고의 모듈형 구성: DeiT-Base + GPT2-Medium이 가장 우수한 성능을 보이는 커스텀 조립 모델(BLEU-4 = 0.3058)로 나타났으며, 이는 의료 도메인에서 지식 증류 트랜스포머의 효능을 입증한다.
• 최고의 효율성: Swin-Tiny + GPT2-Small은 가장 높은 BLEU-4 매개변수당 효율(1.493 × 10⁻³)과 가장 짧은 훈련 시간을 제공하여, 자원이 제한된 배포 환경에 적합한 선택임을 보여주었다.
• 퇴행적 모델: 여러 구성이 의미 있는 수렴에 실패하였다. CLIP-ViT + GPT2-Small은 사소한 해답으로 붕괴하였다(BLEU-4 = 0.0030). ViT-Base + GPT2-Large는 심각한 최적화 발산을 겪었다(검증 손실 = 7.3868). GIT-Base와 BEiT-Base 또한 현저히 낮은 성능을 보였으며, 이는 이들의 사전 학습 목적 함수가 소규모 데이터셋에서의 특정 골절 캡셔닝 요구 사항과 덜 정렬되어 있음을 시사한다.
• 캡션 길이 보정: 성능이 좋은 모델들은 정답 평균 길이(25.9 단어)와 밀접하게 일치하는 캡션을 생성한 반면, 퇴행적 모델들은 참조 대비 20~87% 더 긴 캡션을 생성하는 체계적인 과잉 생성 현상을 보였다.

의의 및 주장
본 논문은 이 작업이 골절 방사선 캡셔닝을 위해 특별히 설계된 시각-언어 모델에 대한 최초의 엄격하고 통제된 비교 연구임을 주장한다. 주요 의의는 사전 학습 목적 함수의 정렬이 원시 매개변수 수보다 더 중요하다는 것을 입증한 데 있다. 즉, 247M 매개변수 모델(BLIP-Base)이 1,098M 매개변수 구성(ViT-Base + GPT2-Large)보다 실질적으로 우수한 성능을 보였다.

본 연구는 의료 AI 커뮤니티에 다음과 같은 실무적 지침을 제공한다:

• 아키텍처 선택: 높은 정확도가 요구되는 경우, BLIP과 같은 통합 VLP 모델이 우수하다. 자원이 제한된 환경에서는 Swin-Tiny + GPT2-Small이 성능과 효율성 사이의 최적의 균형을 제공한다.
• 훈련 안정성: 소규모 의료 데이터에서 작은 인코더를 매우 큰 디코더와 결합하는 것은 최적화 발산을 초래하므로 주의해야 한다.
• 진단적 유용성: 캡션 길이 보정은 전체 지표 계산 전에 수렴하지 않는 모델을 식별할 수 있는 신속하고 매개변수 불필요한 진단 기준으로 제안된다.

저자들은 데이터셋이 상대적으로 작고 단일 기관에서 추출되었음을 언급하며, 이로 인해 일반화가 제한될 수 있다는 한계를 인정하였다. 그들은 현재의 지표가 표준화된 벤치마크를 제공하지만, 향후 연구에서는 임상 전문가 평가를 포함하고 자동화된 시스템의 임상적 유용성을 완전히 검증하기 위해 더 크고 다양한 데이터셋을 탐색해야 한다고 결론지었다.