Generalised Medical Phrase Grounding

기술 요약: 일반화된 의료 구절 그라운딩 (Generalised Medical Phrase Grounding)

문제 정의 및 동기
의료 구절 그라운딩(Medical Phrase Grounding, MPG)은 방사선학적 소견에 대한 텍스트 설명을 대응하는 의료 영상 내 공간 영역으로 매핑하는 것을 목표로 한다. 기존의 MPG 시스템은 대부분 참조 표현 이해(Referring Expression Comprehension, REC) 패러다임을 따르지만, "하나의 구절에 하나의 박스"라는 제한적인 가정하에 작동한다. 이러한 정식화는 다음과 같은 임상적 현실과 일치하지 않는다:

1. 다중 영역 소견: 여러 해부학적 영역에 걸쳐 있는 병리 현상을 설명하는 구절 (예: "양측 하엽 음영").
2. 그라운딩이 불가능한 구절: 부정문 (예: "기흉 없음"), 정상 해부학적 구조에 대한 설명, 또는 비진단적 텍스트 (예: "PA 뷰 제공됨").
3. 불확실성: REC 모델에는 명시적인 신뢰도 점수가 부족하여, 영상 증거가 불충분할 때 시스템이 수행을 중단(abstain)할 수 있는 기능이 없다.

현재의 REC 기반 방법들은 이러한 복잡한 사례들을 훈련 및 평가 단계에서 필터링하여 제외하며, 이는 임상적 유용성을 제한한다. 또한, 값비싼 전문가 주석 기반의 바운딩 박스 데이터셋의 부족은 이러한 미묘한 차이를 처리할 수 있는 견고한 모델을 훈련하는 데 걸림돌이 된다.

방법론: MedGrounder 및 GMPG-ImaGenome
저자들은 **일반화된 의료 구절 그라운딩(Generalised Medical Phrase Grounding, GMPG)**을 제안하며, 이를 제로, 하나 또는 다수의 점수가 부여된 영역을 지원하고 신뢰도 점수를 포함하는 집합 예측(set prediction) 문제로 재정의한다. 이를 실현하기 위해, MDETR(Detection Transformer) 아키텍처를 기반으로 한 모델인 MedGrounder와 새로운 2단계 "약지도에서 전문가로(weak-to-expert)" 훈련 커리큘럼을 도입한다.

1. GMPG-ImaGenome을 통한 약지도 학습:

   • 저자들은 보고서 문장과 해부학적 영역을 연결하는 씬 그래프(scene graphs)를 포함하는 대규모 데이터셋인 Chest ImaGenome을 활용한다. 그러나 가공되지 않은 Chest ImaGenome 데이터는 중복된 부모-자식 영역 정렬을 포함하거나 그라운딩 불가능한 문장(부정/정상 소견)을 박스와 연결하는 등 GMPG 관점에서 노이즈가 많다.
   • 이들은 (LLaMA-3-70B를 활용한) LLM 보조 클리닝 파이프라인을 개발하여 이 데이터를 변환하였다. 이 파이프라인은 중복된 해부학적 영역을 제거하고, 그라운딩 불가능한 문장에 대한 허위 박스를 필터링한다.
   • 결과물인 GMPG-ImaGenome은 박스 수를 약 80% 감소시켜, 비그라운딩 가능 문장이 0개의 박스에 올바르게 매핑되는 더 깨끗한 약지도 학습 데이터를 제공한다.

2. 2단계 훈련 커리큘럼:

   • 1단계 (사전 훈련): MedGrounder는 정제된 GMPG-ImaGenome에서 사전 훈련된다. 이 단계는 모델이 보고서 문장을 해부학적 영역과 정렬하는 법을 가르치며, 결정적으로 그라운딩 불가능한 구절에 대해 수행을 중단(0개의 박스 예측)하는 법을 가르친다.
   • 2단계 (미세 조정): 사전 훈련된 모델은 더 작고 전문가가 주석을 달은 데이터셋(PadChest-GR 및 MS-CXR)에서 미세 조정된다. 이 데이터셋들은 일반적인 해부학적 영역이 아닌 특정 소견에 대한 정밀한 바운딩 박스를 포함한다.

3. 아키텍처 및 손실 함수:

   • MedGrounder는 이미지에 대해 ResNet-101 백본을, 텍스트에 대해 BioClinical ModernBERT를 사용한다.
   • 학습 가능한 오브젝트 쿼리(object queries)를 가진 트랜스포머 디코더를 사용하여 일련의 바운딩 박스와 신뢰도 점수를 예측한다.
   • 훈련 목적 함수는 헝가리안 매칭(Hungarian matching)을 사용하여 예측값을 실제 정답 박스에 할당한다. 그라운딩 불가능한 경우($K=0$)에는 모든 쿼리가 낮은 신뢰도를 예측하도록 감독된다. 다중 영역 사례의 경우, 여러 쿼리가 정답 박스에 할당된다.

주요 기여

• 태스크 정식화: 본 논문은 GMPG를 단일 박스 제약을 넘어 가변적인 수의 그라운딩 영역과 신뢰도 기반의 중단을 지원하는 임상적으로 정렬된 집합 예측 태스크로 정의한다.
• 데이터셋 구축: LLM 보조 클리닝 프로세스를 통해 Chest ImaGenome으로부터 유도된 약하게 주석 달린 사전 훈련 자원인 GMPG-ImaGenome을 공개하여, 대규모 그라운딩 데이터의 희소성 문제를 해결한다.
• 모델 성능: PadChest-GR에서 SOTA(최고 수준) 성능을 달성하고 MS-CXR에서 경쟁력 있는 결과를 보여주는 MedGrounder를 소개하며, 특히 다중 영역 구절에서 상당한 이득을 보인다.
• 모듈형 그라운디드 보고서 생성 (GRG): MedGrounder를 기존 보고서 생성기(예: MAIRA-2, CXRMate-RRG24)와 사후 결합하여, 생성기를 재학습하거나 값비싼 이미지-보고서-박스 삼중항을 요구하지 않고도 그라운딩된 보고서를 생성할 수 있음을 입증한다.

결과

• 제로샷 전이: MedGrounder는 PadChest-GR 및 MS-CXR 모두에서 강력한 제로샷 성능을 보이며, 일반 도메인 사전 훈련이나 직접적인 미세 조정에 의존하는 베이스라인들을 능가한다.
• 다중 영역 그라운딩: Medgrounder는 여러 박스를 필요로 하는 구절에 어려움을 겪는 REC 기반 베이스라인(예: MedRPG, AGPT)에 비해 다중 영역 구절에서 가장 큰 성능 향상을 달꾼다.
• 그라운딩 가능성: MedGrounder는 높은 부정 정확도(Negative Accuracy, N-Acc)를 달성하여, 부정되거나 정상인 소견에 대해 박스 생성을 올바르게 중단하는 능력을 보여주며, 이는 표준 REC 모델에는 거의 없는 기능이다.
• 절제 연구 (Ablation Studies):
  • 2단계 훈련(Weak-to-Expert)이 필수적임을 보여준다. 작은 전문가 데이터셋에 직접 미세 조정을 수행하면 성능이 거의 0에 가깝다.
  • Chest ImaGenome의 LLM 보조 클리닝이 결정적이다. 정제되지 않은 버전을 통한 사전 훈련은 그라운딩 가능성(0.0 N-Acc)을 학습하는 데 실패한다.
  • 의료 도메인 텍스트 인코더(BioClinical ModernBERT)를 사용하는 것이 일반 인코더(RoBERTa)보다 성능이 훨씬 뛰어나다.
• GRG 효율성: 그라운디드 보고서 생성을 위한 파이프라인에 통합되었을 때, MedGrounder는 경쟁력 있는 그라운딩 품질(하위 집합에서 Grounding F1 > 95%)을 달성하면서도 MAIRA-2와 같은 엔드 투 엔드 모델에 비해 5.5배 빠른 속도와 19배 적은 파라미터를 제공한다.

의의 및 한계
본 논문은 MedGrounder가 임상적으로 유의미한 구절 그라운딩을 위한 실용적이고 데이터 효율적인 경로를 제공한다고 주장한다. 그라운딩을 보고서 생성으로부터 분리함으로써, 생성기를 재학습하지 않고도 그라운딩 능력을 어떤 텍스트 생성기에든 추가할 수 있는 모듈형 배포를 가능하게 한다.

저자들은 다음과 같은 한계를 인정한다:

• 해부학적 정렬이 낮은 폐 소견(예: 결절)에 대한 성능은 해부학적 제약이 있는 소견(예: 심비대)에 비해 여전히 낮다.
• 단일 박스 성능은 기존 MPG 방법들과 비슷하거나 크게 능가하지 않는다.
• 현재의 평가 데이터셋은 짧고 집중된 텍스트 구간으로 구성되어 있으나, 실제 보고서는 더 길고 복잡하다. 바운딩 박스를 포함한 전체 길이의 보고서 문장 데이터셋은 현재 존재하지 않는다.

이 연구는 낮은 정렬 소견에 대한 국소화를 개선하기 위해 오브젝트 탐지 데이터셋을 통합하고, 더 큰 무주석 데이터셋에 대한 약한 지도를 생성하기 위한 주석 도구로서 MedGrounder를 사용하는 등의 향후 방향을 제시한다.