Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models

기술 요약: 대형 비전 언어 모델의 흉부 X-ray 추론을 위한 시각적 귀속 재고

문제 제기
대형 비전 언어 모델 (LVLM) 은 방사선 보고서 생성 및 진단 보조와 같은 고위험 의료 시나리오에서 점점 더 많이 배포되고 있습니다. 그러나 임상적 신뢰성을 확보하는 데 있어 중요한 장벽은 모델의 출력을 입력의 특정 시각적 증거에 충실하게 귀속시킬 수 없다는 점입니다. 다양한 시각적 귀속 방법 (기반, 어텐션 기반, 교란 기반, 프롬프트 기반) 이 존재하지만, 의료 환경에서의 신뢰성은 아직 검증되지 않았습니다. 핵심적인 과제는 내부 모델 추론에 대한 객관적인 기준 (ground truth) 의 부재입니다. 인간의 주석은 종종 모델이 실제로 결정을 내리는 데 사용한 특정 시각적 단서보다는 임상적 관련성을 반영합니다. 따라서 기존 귀속 방법은 모델의 예측과 인과적으로 무관하지만 임상적으로 그럴듯한 영역을 강조하거나, 반대로 진정한 증거를 완전히 놓칠 수 있습니다.

방법론
저자들은 엄격한 인과 평가 프레임워크와 새로운 귀속 방법인 MedFocus라는 두 가지 접근 방식을 제안합니다.

1. 인과 평가 프레임워크 (MedGround-Bench):
   귀속의 충실성을 객관적으로 평가하기 위해 저자들은 전문가가 주석한 공간 영역을 포함하는 세 가지 흉부 X-ray(CXR) 데이터셋 (ImaGenome, VinDR-CXR, PadChest-GR) 에서 파생된 MedGround-Bench를 구축했습니다. 이 프레임워크는 전문가가 주석한 영역이 모델의 예측에 인과적으로 책임이 있음을 검증된 샘플만 유지하기 위해 3 단계 인과 필터링 과정을 사용합니다:

   • 정확성 필터링: LVLM 이 이진 VQA 질문 ("[속성] 의 증거가 있는가?") 을 올바르게 답한 샘플만 유지합니다.
   • 전경 반사실 편집: RadEdit 모델을 사용하여 주석 영역을 인페인팅하여 대상 속성을 제거합니다. 모델의 답변이 뒤집히는 경우 (예: "예"에서 "아니오"로) 만 샘플을 유지하여 해당 영역의 인과적 필요성을 확인합니다.
   • 배경 반사실 편집: 주석 영역 외부의 배경을 편집합니다. 모델의 답변이 변하지 않는 경우에만 샘플을 유지하여 전경 단계에서의 결정 변화가 일반적인 이미지 민감도의 산물이 아님을 보장합니다.
     이 과정을 통해 Qwen2.5-VL, Gemma3, MedGemma 를 포함한 6 개의 LVLM 과 두 가지 출력 모드 (직접 답변 및 단계별 추론) 에 걸쳐 3,940 개의 선별된 샘플 세트를 도출했습니다.

2. MedFocus 귀속 방법:
   기존 방법의 실패를 해결하기 위해 저자들은 개념 기반 인과 귀속 방법인 MedFocus를 제안합니다. 픽셀 수준의 saliency 접근법과 달리 MedFocus 는 임상적으로 의미 있는 해부학적 개념 (예: 왼쪽 폐, 심장 실루엣) 에서 작동합니다.

   • 개념 분할: **불균형 최적 수송 (UOT)**을 사용하여 알려진 주석이 있는 참조 정상 CXR 을 대상 이미지에 매핑하여 병리적 덩어리 변이를 수용함으로써 해부학적 영역을 국소화합니다. 이러한 초기 마스크는 MedSAM을 사용하여 깨끗한 경계로 정제됩니다.
   • 인과 개입: 각 개념에 대해 MedFocus 는 픽셀 마스크가 아닌 개념의 바운딩 박스를 0 으로 마스킹하여 반사실을 생성하고, 원래 출력 시퀀스의 토큰 수준 로그 확률의 누적 감소를 측정합니다.
   • 출력: 공간적 귀속 (바운딩 박스), 개념 수준의 설명 (해부학적 이름), 그리고 개입에 가장 크게 영향을 받는 추론 토큰을 식별하는 토큰 수준의 귀속을 생성합니다.

주요 결과

• 기존 방법의 실패: MedGround-Bench 에 대한 평가는 GradCAM, 통합 기울기 (Integrated Gradients), 어텐션 롤아웃 (Attention Rollout), 프롬프트 기반 접근법을 포함한 11 가지 기존 귀속 방법이 LVLM 예측을 주도하는 시각적 증거를 충실하게 식별하는 데 일관되게 실패함을 보여줍니다. 모델 아키텍처나 출력 모드에 관계없이 종종 정밀도가 낮은 확산 지도를 생성하거나 진정한 증거를 놓치는 집중된 지도를 생성합니다.
• MedFocus 성능: MedFocus 는 모든 데이터셋과 모델에서 모든 베이스라인을 크게 능가합니다. 직접 답변 모드에서 ImaGenome 에서 54.24% 의 IoU 를 달성하여 다음으로 좋은 방법 (기울기 가중 어텐션, 39.24%) 보다 우위를 점했습니다. 다른 방법들이 크게 저하되는 추론 모드에서도 강력한 성능을 유지합니다.
• 모델 행동 통찰: 연구 결과에 따르면 의학적으로 훈련된 모델 (MedGemma) 은 일반 모델보다 더 높은 귀속 충실성과 더 낮은 실패율을 보입니다. 또한, 단계별 추론을 생성하는 모델은 직접적인 답변을 제공하는 모델보다 해부학적으로 의미 있는 증거와 더 일관되게 상호작용하는 경향이 있습니다.
• 절차 연구: 2 단계 분할 파이프라인 (UOT + MedSAM) 과 개입을 위한 바운딩 박스 0 마스킹 사용이 종단간 분할이나 픽셀 수준 마스킹보다 우수한 성능을 보이는 중요한 설계 선택으로 확인되었습니다.

의의 및 주장
이 논문은 현재 귀속 방법이 모델이 실제로 사용한 시각적 증거와 일치하지 않는 경우가 많아 의료 LVLM 의 신뢰성을 보장하기에 부족하다고 주장합니다. 인과적으로 검증된 벤치마크와 개념 기반 귀속 방법을 도입함으로써 저자들은 다음을 제공합니다:

1. 격차의 증거: 모델이 올바르게 답변하더라도 기존 기술이 시각적 증거에 기반한 의료 LVLM 예측을 신뢰할 수 있게 하지 못함을 입증합니다.
2. 해결책: MedFocus 는 해석 가능한 해부학적 개념에 기반한 설명을 통해 저수준 시각적 증거와 고수준 임상적 이해를 연결하며, 더 충실하고 임상적으로 해석 가능한 공간적, 개념 수준, 토큰 수준의 귀속을 제공합니다.
3. 자원: 향후 의료 AI 연구에서 귀속 방법에 대한 엄격하고 인과적으로 기반을 둔 평가를 지원하기 위한 MedGround-Bench 의 공개.

저자들은 이 작업을 더 신뢰할 수 있는 의료 LVLM 을 향한 한 걸음으로 위치시키며, 신뢰할 수 있는 귀속은 임상가의 신뢰, 오류 탐지, 환자 안전에 필수적임을 강조합니다. 동시에 데이터 가용성 제약으로 인해 현재 프레임워크가 CXR 에 특화되어 있음을 인정합니다.