Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

이 논문은 추론 시 안구 시선 데이터가 없어도 스캔패스 예측 모듈과 그래프 신경망 (GNN) 을 통해 생성된 시각 - 시선 토큰으로 대규모 언어 모델 (LLM) 을 미세 조정하여, 의사의 시각적 주의를 반영한 고품질의 방사선 보고서를 자동 생성하는 'Gaze2Report' 프레임워크를 제안합니다.

핵심

눈빛으로 쓰는 의학적 보고서: 'GAZE2REPORT' 이야기

이 논문은 의사가 엑스레이를 볼 때 눈을 어디에 집중하는지 (시선 추적 데이터) 를 활용하여, 인공지능이 더 정확하고 신뢰할 수 있는 방사선 보고서를 자동으로 작성할 수 있게 만든 새로운 기술을 소개합니다.

이 기술을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제점: "눈만 보고 쓴 보고서"의 한계

지금까지 엑스레이를 보고 보고서를 쓰는 AI 는 마치 사진을 찍은 카메라와 같았습니다. 카메라는 사물의 모양과 색을 잘 찍어내지만, "의사가 이 사진을 볼 때 어떤 부분에 가장 주목했는지"는 알 수 없죠.

• 비유: 가상의 탐정이 사건 현장 (엑스레이) 을 조사할 때, 단순히 사물만 기록하고 "범인은 여기 있었을 거야"라고 추측하는 것과 같습니다. 하지만 실제 형사 (전문 의사) 는 사건 현장의 특정 부분 (예: 문고리, 창문) 에 집중하며 증거를 찾습니다. 기존 AI 는 이 전문가의 '눈빛'과 '주의 집중' 을 놓치고 있었기 때문에, 보고서가 사실과 다르게 쓰이거나 중요한 병변을 놓치는 경우가 많았습니다.

2. 해결책: "의사의 눈빛을 따라가는 AI" (GAZE2REPORT)

이 연구팀은 AI 가 의사의 눈빛을 따라가도록 가르쳤습니다. 이를 위해 두 가지 핵심 기술을 사용했습니다.

A. 시선과 이미지를 연결하는 '그물망' (그래프 신경망, GNN)

의사의 눈이 엑스레이의 한 부분에서 다른 부분으로 이동할 때, 그 경로는 무작위가 아닙니다. 예를 들어, "심장"을 본 후 "폐"로 시선을 옮기는 식입니다.

• 비유: AI 는 의사의 눈이 엑스레이 위를 어떻게 움직이는지 연결고리 (그물망) 로 만들어 분석합니다. 마치 의사가 "여기 (폐) 가 이상하니까, 저기 (심장) 도 한번 확인해 봐"라고 눈빛으로 지시하는 것처럼, AI 는 이미지 조각들끼리 서로 대화하게 만들어 중요한 정보를 찾아냅니다.

B. "눈이 없는 상황"을 대비한 '가상 눈' (스캔패스 예측)

실제 진료실에서는 환자가 엑스레이를 찍을 때 의사의 눈동자 데이터를 실시간으로 수집하기 어렵습니다. (비용과 기술적 문제)

• 비유: 이 문제는 마치 "비서에게 "주인이 이걸 볼 때 어디를 봤을지 상상해 봐"라고 시키는 것과 같습니다. 연구팀은 AI 가 훈련 과정에서 의사의 눈빛 데이터를 학습해 두었다가, 실제 진료 시에는 그 데이터를 기억해 내어 (예측하여) 마치 눈빛 데이터를 가진 것처럼 작동하게 만들었습니다.

3. 어떻게 작동할까요? (간단한 프로세스)

1. 이미지 분석: 엑스레이 사진을 작은 조각 (패치) 으로 나눕니다.
2. 시선 시뮬레이션: AI 가 "의사라면 이 조각에 몇 초 동안 눈을 머물렀을까?"라고 예측합니다.
3. 정보 융합: 이미지 정보 + 예측된 시선 정보를 그물망 (GNN) 으로 섞어서 하나의 강력한 지시 명령 (프롬프트) 을 만듭니다.
4. 보고서 작성: 이 명령을 큰 언어 모델 (LLM) 에 입력하면, AI 는 마치 전문의가 직접 쓴 것처럼 자연스럽고 정확한 보고서를 작성합니다.

4. 왜 이것이 중요한가요? (결과)

• 더 정확한 진단: 기존 AI 들보다 병변 (폐렴, 물혹 등) 을 더 정확하게 찾아내고, 의학 용어도 더 적절하게 사용했습니다.
• 실제 진료 가능: 눈동자 데이터를 실시간으로 수집하지 않아도 (예측만으로) 좋은 성능을 내기 때문에, 실제 병원에서 바로 쓸 수 있습니다.
• 신뢰도 향상: AI 가 왜 그렇게 판단했는지 (어디를 봤는지) 를 추적할 수 있어, 의사들이 AI 의 결과를 더 신뢰하고 받아들일 수 있게 됩니다.

요약

이 기술은 "AI 가 의사의 눈빛을 흉내 내어, 엑스레이를 볼 때 중요한 부분을 놓치지 않고 더 똑똑한 보고서를 쓰게 만든 것" 입니다. 마치 초보자가 아닌, 베테랑 형사가 사건을 분석하듯 AI 가 엑스레이를 읽게 되어 환자 진단의 질을 높이는 혁신적인 시도입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 방사선 보고서 생성 (Radiology Report Generation) 을 위한 딥러닝 방법론들은 진단 효율성을 높였으나, 다음과 같은 한계를 가지고 있습니다.

• 의사 기반 의료 사전 지식 (Medical Priors) 의 부재: 대부분의 모델은 단순히 이미지에서 텍스트를 생성하는 데 집중하여, 방사선 전문의의 시각적 주의 (Visual Attention) 나 임상적 맥락을 충분히 반영하지 못합니다. 이로 인해 생성된 보고서의 구조적 설명과 질병 징후 간의 정합성이 떨어집니다.
• 다중 모달 데이터 융합의 어려움: 안구 시선 (Eye Gaze) 데이터는 전문의의 시각적 탐색 패턴을 반영하여 중요한 병변 영역을 파악하는 데 핵심적이지만, 이를 AI 워크플로우에 통합하는 것은 데이터 융합의 복잡성과 추론 (Inference) 단계에서 시선 데이터가 존재하지 않는다는 현실적 제약으로 인해 어렵습니다.
• 기존 접근법의 한계: 자연어 생성 (NLG) 지표는 개선될 수 있으나, 임상적 사실성과 정확성은 부족하며, 기존 시선 통합 모델 (예: EGGCA) 은 모달리티 간 상호작용을 충분히 활용하지 못해 성능이 제한적입니다.

2. 방법론 (Methodology)

저자들은 Gaze2Report라는 새로운 프레임워크를 제안하며, 이는 대규모 언어 모델 (LLM) 의 LoRA (Low-Rank Adaptation) 레이어를 미세 조정 (Fine-tuning) 하는 방식을 사용합니다. 주요 구성 요소는 다음과 같습니다.

A. 비주얼 - 시선 토큰 생성 (Visual-Gaze Token Generation)

1. 시각 토큰 추출: 입력된 흉부 X-ray 이미지를 패치 (Patch) 로 나누고 Vision Transformer (ViT) 를 통해 공간적 특징을 추출합니다.
2. 시선 토큰 생성: MedGaze 모델을 사용하여 스캔패스 (Scanpath) 를 예측합니다. 각 이미지 패치 내의 시선 고정점 (Fixation points) 들의 지속 시간을 집계하여, 해당 패치에 대한 전문의의 주의 분포를 반영하는 '시선 임베딩'을 생성합니다.
3. 다중 모달 상호작용 (GNN):
   • 각 패치를 노드로, 시각 토큰, 시선 토큰, 위치 인코딩을 노드 특징으로 하는 그래프를 구성합니다.
   • **그래프 신경망 (GNN)**을 적용하여 노드 간의 관계 (이웃 패치 간의 거리 기반) 를 학습하고, 시각적 특징과 시선 특징을 융합한 'Joint Visual-Gaze Embeddings'를 생성합니다. 이는 단순한 결합보다 복잡한 병변 간의 관계를 더 잘 포착합니다.

B. 프롬프트 튜닝 및 LLM 생성

• 생성된 시각 - 시선 토큰, 생성 지시어 (Instruction), 그리고 실제 보고서 토큰을 결합하여 멀티모달 프롬프트를 구성합니다.
• 이 프롬프트를 입력으로 받아 Llama2-7B 모델의 LoRA 레이어를 미세 조정하여 자동 회귀 (Autoregressive) 방식으로 보고서를 생성합니다.
• 추론 단계의 해결책: 실제 임상 환경에서는 추론 시 시선 데이터가 없습니다. 이를 해결하기 위해 보조 스캔패스 예측 모듈을 도입하여, 훈련 시에는 실제 시선을, 추론 시에는 예측된 시선을 사용하여 모델이 시선 입력 없이도 작동하도록 합니다.

3. 주요 기여 (Key Contributions)

1. GNN 기반 시각 - 시선 상호작용 강화: 방사선 보고서 생성 프레임워크에 그래프 신경망 (GNN) 을 도입하여 시각적 특징과 시선 정보를 효과적으로 융합했습니다. 이를 통해 LLM 이 모달리티의 관련성을 더 정확히 평가하고 보고서의 정확도를 높였습니다.
2. 시선 정보의 효과성 입증 및 추론 문제 해결: 이미지만 사용하는 것보다 이미지와 시선을 결합했을 때 성능이 우월함을 입증했습니다. 또한, 스캔패스 예측 모듈을 통해 추론 시 시선 데이터가 없어도 높은 성능을 유지하도록 하여 실제 임상 적용 가능성을 높였습니다.
3. 다양한 데이터셋에서의 포괄적 평가: NLG 지표 (BLEU, ROUGE 등) 와 임상적 효능 (Clinical Efficacy, CE) 지표를 모두 사용하여 모델의 언어적 품질과 임상적 정확성을 검증했습니다.

4. 실험 결과 (Results)

저자들은 REFLACX, IU-XRAY, MIMIC-CXR 등 3 개의 주요 데이터셋에서 실험을 수행했습니다.

• 자연어 생성 (NLG) 지표:
  • MIMIC-CXR 데이터셋에서 Gaze2Report 는 기존 최첨단 모델 (R2GenGPT, MET 등) 과 비교해 모든 지표 (BLEU-1~4, ROUGE-L, METEOR) 에서 최상의 성능을 기록했습니다.
  • 특히 BLEU-1 점수는 0.08, METEOR 는 0.07 만큼 향상되었습니다.
  • 시각 정보만 사용하는 베이스라인 (Base-1) 이나 단순 결합/크로스 어텐션 모델 (Base-2, Base-3) 보다도 GNN 기반의 Gaze2Report 가 우월한 성능을 보였습니다.
• 임상적 효능 (CE) 지표:
  • Chexbert 를 사용하여 14 가지 흉부 병변에 대한 정확도, 정밀도, 재현율, F1 점수를 평가했습니다.
  • Gaze2Report 는 R2GenGPT 대비 F1 점수가 0.055, 정밀도가 0.065 향상되었습니다.
  • 소규모 pleural effusion(흉수) 이나 aorta calcification(대동맥 석회화) 같은 중요한 임상 용어를 베이스라인보다 정확히 생성하는 정성적 결과를 보였습니다.
• 추론 시 시선 부재 시나리오:
  • 추론 시 시선 데이터가 없는 상황에서도 스캔패스 예측 모듈을 통해 Base-1 보다 높은 성능을 유지하며, 시선 데이터가 있는 경우에도 예측된 시선을 통해 기존 베이스라인을 능가하는 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 정확성 향상: 의사의 시각적 주의 패턴을 모델에 통합함으로써, 단순한 이미지 설명을 넘어 임상적으로 사실적이고 정확한 보고서를 생성할 수 있게 되었습니다.
• 실용성 확보: 추론 단계에서 고비용의 시선 추적 장비가 필요하지 않도록 스캔패스 예측을 도입하여, 실제 병원 환경에서의 배포 가능성을 크게 높였습니다.
• 해석 가능성 (Interpretability): GNN 을 통해 병변 영역과 시선 주의를 연결함으로써, 모델이 왜 특정 부분을 강조하여 보고서를 작성했는지에 대한 해석 가능성을 제공합니다.

이 연구는 의료 영상 분석 분야에서 시각적 주의 (Visual Attention) 와 대규모 언어 모델을 결합한 새로운 패러다임을 제시하며, 자동화된 방사선 보고서 생성의 질과 신뢰성을 한 단계 끌어올렸다는 점에서 의의가 큽니다.