Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study

이 연구는 1,987 명의 환자 2 만 장의 관상동맥 조영술 이미지를 활용하여 InternVL2-4B 모델을 미세 조정함으로써 협착 탐지, 해부학적 구조 식별, 그리고 임상 보고서 자동 생성이 가능한 비전 - 언어 모델 (VLM) 의 개발과 성능을 평가하고, 의료 자원 부족 환경 및 효율성 향상을 위한 잠재력을 입증했습니다.

핵심

🏥 배경: 왜 이 연구가 필요한가요?

심장 혈관이 막히면 심장마비가 올 수 있습니다. 이를 진단하는 '황금 표준 (가장 확실한 방법)'은 관상동맥 조영술입니다. 이는 심장에 특수한 염료를 주입하고 X-ray 로 혈관을 촬영하는 영상입니다.

하지만 이 영상을 보고 "어디가 얼마나 막혔는지"를 설명하는 진단 보고서를 작성하는 것은 매우 어렵습니다.

• 비유: 마치 수천 장의 복잡한 지도를 한 번에 보고, "A 길은 50% 막혔고, B 길은 완전히 막혔네"라고 일일이 설명하는 작업입니다. 전문 심장 전문의도 이 작업을 하려면 시간과 집중력이 많이 듭니다.

🤖 연구의 목표: AI 가 "사진 보고"를 대신하게 하자!

연구팀은 **"시각 - 언어 모델 (VLM)"**이라는 최신 AI 를 훈련시켜서, 이 복잡한 심장 혈관 사진을 보고 자동으로 진단 보고서를 써주는 것을 목표로 했습니다.

기존의 AI 는 단순히 "막혔다/막히지 않았다"라고 분류만 했다면, 이번 연구의 AI 는 **자연어 (문장)**로 "왼쪽 혈관의 시작 부분에서 70% 막힌 것이 확인됩니다"라고 설명할 수 있기를 바랐습니다.

🛠️ 어떻게 만들었나요? (3 단계 훈련 과정)

연구팀은 AI 를 3 단계로 훈련시켰습니다.

1 단계: "가장 좋은 사진" 고르기 (Keyframe Selection)

• 상황: 심장 촬영은 동영상으로 찍힙니다. 하지만 모든 프레임이 다 중요한 건 아닙니다. 염료가 흐르기 전이나 다 흐른 뒤의 사진은 쓸모없죠.
• 비유: 수백 장의 스프레이 사진 중에서 가장 선명하게 혈관이 보이는 **단 한 장의 '히어로 사진'**을 골라내는 일입니다.
• 결과: AI 가 이 '히어로 사진'을 고르는 능력은 매우 뛰어났습니다 (전문가 수준에 가까움).

2 단계: "막힌 곳 찾기"와 "혈관 이름 붙이기" (Stenosis Detection & Anatomy Labelling)

• 상황: 골라낸 사진에서 "어디가 막혔는지 (병변)"를 찾고, "이 혈관은 이름이 뭐지?"라고 식별해야 합니다.
• 비유: 미로 속의 길을 찾아내고, 그 길의 이름을 정확히 외우는 작업입니다.
• 결과:
  • 막힌 곳 찾기: 꽤 잘했습니다. (약 60% 정확도)
  • 혈관 이름: 큰 혈관 (주요 도로) 은 잘 알아냈지만, **작은 가지 혈관 (골목길)**은 잘 못 알아냈습니다. 훈련 데이터에 큰 혈관 사진이 더 많았기 때문입니다.

3 단계: "진단 보고서 작성" (Report Generation)

• 상황: 여러 장의 사진을 보고 "환자의 상태를 종합하여 문장으로 설명"하는 것.
• 비유: 수백 장의 사진을 보고 한 편의 에세이를 쓰는 작업입니다.
• 결과: 아직은 부족했습니다.
  • AI 가 "막힌 곳이 없다"고 했는데 실제로는 막혀있거나 (놓침),
  • 막힌 곳이 없는데 "막혔다"고 거짓말을 하거나 (환각),
  • 심지어 훈련 데이터에 없던 "부작용" 같은 이상한 말을 섞어 쓰기도 했습니다.

💡 왜 보고서 작성은 어려웠을까요? (핵심 문제)

연구팀은 이 실패 원인을 교육 방식의 문제로 분석했습니다.

• 문제점: AI 에게 "이 5 장의 사진"을 보여주고 "한 장의 보고서"만 줬습니다.
• 비유: 5 개의 퍼즐 조각을 보여주고 "이걸로 완성된 그림을 설명해줘"라고 했을 때, AI 는 "어떤 조각이 어떤 부분을 설명하는지"를 구분하지 못하고 혼란스러워했습니다.
• 해결책: 앞으로는 "이 사진은 A 혈관, 저 사진은 B 혈관"이라고 하나하나 짝을 지어 가르쳐야 AI 가 더 잘할 것입니다.

🚀 결론 및 미래 전망

이 연구는 **"AI 가 심장 혈관 사진을 보고 진단서를 쓸 수 있다"**는 가능성을 처음 보여준 **시작점 (Proof of Concept)**입니다.

• 현재: 큰 혈관과 막힌 곳을 찾는 능력은 이미 꽤 훌륭합니다.
• 과제: 복잡한 문장으로 보고서를 쓰는 능력은 아직 초보 수준입니다.
• 미래 기대: 이 기술이 완성되면, 심장 전문의가 아닌 일반 의사도 정확한 진단을 내릴 수 있게 되고, 개발도상국처럼 전문의가 부족한 곳에서도 심장 질환을 잘 치료할 수 있게 됩니다. 또한, 불필요한 수술을 막고 보험 심사 등을 자동화하는 데도 쓰일 수 있습니다.

한 줄 요약:

"AI 가 심장 혈관 사진에서 **'막힌 곳'을 찾는 건 잘하지만, 그걸로 '보고서'를 쓰는 건 아직 서툴다는 것을 발견했고, 앞으로는 더 자세히 가르쳐서 전문의의 든든한 조수로 만들겠다!"

기술 요약

논문 요약: 관상동맥 조영술 분석 및 보고서 생성을 위한 비전 - 언어 모델 (VLM) 개발 및 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 관상동맥 질환 (CAD) 은 전 세계적으로 주요 사망 원인이며, 침습적 관상동맥 조영술 (Coronary Angiography) 은 진단의 금표준 (Gold Standard) 으로 간주됩니다.
• 문제점:
  • 조영술 영상 해석은 복잡하고 전문적인 훈련이 필요하며, 수동으로 보고서를 작성하는 데 많은 시간과 노력이 소요됩니다.
  • 기존 AI 연구들은 주로 분류 (Classification) 나 분할 (Segmentation) 에 초점을 맞추었으며, 단순한 수치적 결과를 넘어선 상세한 자연어 기반의 임상 보고서 생성에는 한계가 있었습니다.
  • 기존 신경망 기반 모델들은 구조화된 숫자 보고는 가능하지만, 병변의 위치, 인접 분지와의 관계, 해부학적 이상 등 임상적으로 중요한 서술적 뉘앙스 (Narrative nuances) 를 포착하지 못합니다.
• 가설: 대규모 언어 모델 (LLM) 의 언어 이해/생성 능력과 이미지 분석 능력을 통합한 비전 - 언어 모델 (VLM) 이 관상동맥 조영술 해석 및 보고서 생성에서 기존 방법보다 우수한 성능을 보일 수 있다.

2. 연구 방법론 (Methodology)

2.1 데이터셋 (Datasets)

• 총 4 개의 데이터셋 (CADICA, ADSD, ARCADE, AIMx) 을 활용하여 1,987 명의 환자, 2 만 개의 키프레임 (Keyframes) 을 수집했습니다.
• AIMx (Proprietary): 싱가포르 국립 심장센터에서 수집한 345 명의 환자 데이터로, 원본 영상 (DICOM) 과 진단 텍스트 보고서가 포함되어 있습니다.
• Open-source: CADICA, ADSD, ARCADE 데이터셋은 경계 상자 (Bounding Box) 주석과 stenosis(협착) 정보가 포함되어 있습니다.

2.2 모델 아키텍처 및 파인튜닝 (Model & Fine-tuning)

• 기반 모델: 오픈소스 VLM 인 InternVL2-4B를 사용했습니다.
• 학습 전략: 계산 효율성을 높이기 위해 LoRA (Low-Rank Adaptor) 방식을 적용하여 가중치를 파인튜닝했습니다.
• 하드웨어: NVIDIA RTX 4090 GPU 2 개를 사용했습니다.

2.3 주요 작업 파이프라인 (Key Tasks)

1. 키프레임 선택 (Keyframe Selection):
   • 영상에서 진단 정보가 포함된 프레임을 자동으로 선별하기 위해 Google ViT (vit-large-patch32-384) 를 파인튜닝했습니다.
   • 조영제 주입 전/후의 불필요한 프레임을 제거하고, 혈관이 명확하게 보이는 프레임을 선택합니다.
2. 협착 탐지 (Stenosis Detection):
   • VLM 을 사용하여 혈관 내 협착 부위를 탐지하고 경계 상자를 예측합니다.
   • 평가 지표: IoU (Intersection-over-Union) 임계값 0.5 를 기본으로 하되, 예측 박스의 60% 이상이 정답 박스에 포함되면 True Positive 로 간주하는 유연한 기준을 적용했습니다.
3. 해부학적 라벨링 (Anatomy Labelling):
   • SYNTAX 정의에 따른 관상동맥 분절 (Left Main, LAD, RCA 등) 을 식별하고 라벨링합니다.
4. 보고서 생성 (Report Generation):
   • 여러 개의 투사 각도 (Projection views) 에서 선택된 키프레임들을 입력받아, 협착 유무, 정도 (경미/중등도/심각), 해부학적 구조 등을 포함한 통합된 자연어 진단 보고서를 생성합니다.

3. 주요 결과 (Key Results)

• 키프레임 선택:
  • ViT 기반 선택기는 높은 성능을 보였습니다 (정확도 0.86, 정밀도 0.89, 재현율 0.93, F1 점수 0.91).
  • 진단 정보가 없는 프레임을 효과적으로 걸러내어 후속 VLM 학습의 노이즈를 줄였습니다.
• 협착 탐지 (Stenosis Detection):
  • 성능: 정밀도 0.56, 재현율 0.64, F1 점수 0.60.
  • 비교: 기존 YOLOv8x 모델 (동일 테스트셋 기준) 보다 성능이 우수하거나 동급인 것으로 나타났습니다. (단, 평가 지표 정의 차이로 직접 비교는 제한적임).
• 해부학적 라벨링 (Anatomy Labelling):
  • 성능: 가중 평균 정밀도 0.50, 재현율 0.43, F1 점수 0.46.
  • 특징: Left Main, proximal LAD/RCA 등 주요 혈관에서는 높은 점수 (0.7 이상) 를 기록했으나, Oblique Marginal, Diagonal 등 작은 분지에서는 성능이 저하되었습니다 (학습 데이터 불균형 및 해부학적 복잡성 때문).
• 보고서 생성 (Report Generation):
  • 성능: 정확도 0.42, 정밀도 0.19, 재현율 0.23.
  • 한계: 임상적으로 중요한 협착을 놓치거나 (False Negative), 존재하지 않는 병변을 생성하는 (Hallucination) 문제가 발생했습니다. 특히 Left Main 동맥의 협착을 모두 놓쳤으며, 학습 데이터의 문구를 그대로 반복하는 경향이 있었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. VLM 의 관상동맥 조영술 적용 시도: 관상동맥 조영술의 다중 투사 영상을 통합하여 자연어 기반의 종합 진단 보고서를 생성하는 최초의 연구 중 하나입니다.
2. 다중 작업 수행 능력 입증: 단일 모델 (InternVL2-4B) 로 키프레임 선별, 협착 탐지, 해부학적 라벨링, 보고서 생성이라는 일련의 복잡한 작업을 수행할 수 있음을 보여주었습니다.
3. 임상적 활용 가능성 제시:
   • 의사 지원: 실시간 시각적 보조 및 보고서 작성 시간 단축.
   • SYNTAX 점수 자동화: 협착 정도와 위치를 기반으로 SYNTAX 점수 계산을 자동화할 수 있는 잠재력.
   • 의료 격차 해소: 전문 개심술사가 부족한 자원 부족 지역에서도 진단의 질을 높일 수 있음.
   • 감사 및 교육: 불필요한 시술 감시 및 의학 교육용 도구로 활용 가능.
4. 평가 지표의 한계 지적: IoU 와 같은 전통적인 머신러닝 지표가 임상적 정확도를 완전히 반영하지 못할 수 있음을 논의하고, 정성적 평가의 중요성을 강조했습니다.

5. 결론 및 향후 과제 (Conclusion & Future Directions)

• 결론: VLM 은 협착 탐지와 해부학적 라벨링에서 유망한 성능을 보였으나, 다중 이미지 기반의 보고서 생성에서는 아직 전문가 수준의 정확도를 달성하지 못했습니다.
• 한계점:
  • 보고서 생성 시 각 이미지와 진단 내용 간의 명시적인 연결 (Annotation) 이 부족하여 약한 지도 학습 (Weakly-supervised) 문제가 발생했습니다.
  • 학습 데이터의 불균형 (정상 영상 부족) 과 작은 혈관 분지에 대한 데이터 부족.
• 향후 방향:
  • 개별 이미지와 해당 부분의 보고서 내용을 매칭하는 세밀한 주석 (Fine-grained annotation) 작업 필요.
  • DICOM 메타데이터 (투사 각도 등) 를 모델 입력에 추가하여 추론 능력 향상.
  • 더 큰 규모의 모델 (예: InternVL2-26B) 과 더 많은 데이터를 활용한 연구 진행.

이 연구는 관상동맥 조영술 분석을 위한 VLM 의 개념 증명 (Proof of Concept) 으로서, 향후 기술적 정제를 통해 임상 현장에 실용적으로 적용될 수 있는 강력한 기반을 마련했습니다.