Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

기술 요약: 시너지적 지각-추론 거버넌스 (SPRG)

문제 정의
멀티모달 대규모 언어 모델(MLLM)은 임상 시각적 질의응답(VQA) 및 방사선 보고서 생성 분야에서 상당한 잠재력을 보여준다. 그러나 이러한 모델을 고위험 의료 환경에 배치하는 데 있어서는 "환각(hallucinations)", 구체적으로 모델이 영상 증거와 모순되거나 이를 뒷받침하지 못하는 결론을 유창하게 생성하는 시각적 오해석 문제가 걸림돌이 되고 있다. 기존의 완화 전략은 추가적인 학습, 외부 지식 베이스, 또는 복잡한 다단계 사후 검증 단계에 의존하는 경우가 많다. 이러한 접근 방식은 계산 비용과 파이프라인의 복잡성을 증가시키며, 다양한 모델과 임상 작업 전반에 걸쳐 일반화되는 데 실패하는 경우가 빈번하다. 또한, 많은 현재의 방법론들은 명시적인 해부학적 근거 없이 내부 통계적 보정에 의존하고 있어 견고성이 제한적이다.

방법론
저자들은 추론 시점에 이중 측면의 증거 주입을 통해 환각을 완화하도록 설계된 포괄적이고 학습이 필요 없는 프레임워크인 **시너지적 지각-추론 거버넌스(Synergistic Perception-Reasoning Governance, SPRG)**를 제안한다. 이 프레임워크는 세 가지 주요 구성 요소로 작동한다:

1. 해부학적 증거 추출:
   시스템은 검증 가능한 해부학적 증거를 추출하기 위해 MedSAM(의료 영상에 적응된 Segment Anything Model)을 활용한다. 후보 바운딩 박스 세트가 주어지면, MedSAM은 세그멘테이션 마스크를 생성한다. 이 마스크들은 임상적 맥락에서 유도된 세그멘테이션 마스크, 바운딩 박스, 그리고 해부학적 의미 레이블로 구성된 결정론적인 관심 영역(ROI) 사전 집합 $\mathcal{R}$로 처리된다.

2. 지각-추론 개입 메커니즘:
   프레임워크는 MLLM의 시각적 및 텍스트 트래젝토리(trajectory) 모두에 개입한다:

   • 텍스트 측 증로 주입: ROI 사전은 구조화된 영역 기술자(해부학적 레이블, 좌표, 차원)로 변환되어 이산적인 의미론적 토큰으로 직렬화된다. 이 토큰들은 모델이 답변을 생성하기 전 텍스트 프롬프트($\tilde{q}$)에 직접 주입된다. 이는 검증 가능한 외부 메모리를 통해 텍스트 추론 트래젝토리를 고정(anchor)한다.
   • 비전 측 활성화 재보정: 시스템은 시각적 패치 토큰에 대한 ROI 마스크의 공간적 커버리지 밀도를 계산한다. 시각적 특징($\tilde{V}$)에 소프트 마스크를 적용하여 활성화를 조절한다. 비-ROI 영역에 해당하는 특징은 감쇄(계수 $\beta$를 통해)시키고, ROI와 정렬된 특징은 보존하거나 강화(계수 $\alpha$를 통해)한다. 이는 배경 노이즈와 분포 외(out-of-distribution) 구조적 붕괴를 억제하여, 부적절한 시각적 경로를 효과적으로 "절제"한다.
   • 결합 모듈레이션: 두 전략은 상호 보완적인 정규화를 강제하기 위해 동시에 적용될 수 있다.

3. 작업 인지형 동적 라우터:
   서로 다른 임상 작업이 시각적 또는 텍스트적 제약에 대해 각기 다른 민감도를 가진다는 점을 인식하여, 저자들은 가볍고 오버헤드가 없는 라우터를 도입했다. 입력 질문을 네 가지 카테고리인 해부학(CA), 측정(CM), 증상(CS), **방사선 특징(CR)**으로 제로샷 분류한 후, 라우터는 최적의 개입을 동적으로 선택한다:

   • 해부학: 비전 측 재보정 (공간적 국소화).
   • 측정/증상: 텍스트 측 주입 (정밀한 의미론적 고정).
   • 방사선 특징: 결합 전략 (복합적인 교차 모달 추론).

주요 기여

1. 새로운 프레임워크: 원시 시각적 지각과 임상적 추론 사이의 간극을 메우는, 이중 측면의 검증 가능한 해부학적 증거를 주입하여 환각을 완화하는 학습 불필요 프레임워크를 소개한다.
2. 개입 메커니즘: ROI 가이드 활성화 변조를 통해 시각적 지각을 재보정하고, 해부학적 좌표에서 유도된 이산적 의미 토큰을 통해 텍스트 추론을 고정하는 메커니즘을 개발한다.
3. 동적 라우팅: 작업의 의미론에 따라 개입 전략을 조정하여 지각적 근거와 언어적 유창성의 균형을 맞추는 작업 인지형 라우터를 제안한다.
4. 포괄적 평가: 2개의 작업, 5개의 데이터셋, 6개의 MLLM(LLaVA-1.5, LLaVA-Med, Qwen3-VL, InternVL-3.5 포함)을 포함하는 엄격한 교차 모델, 교차 작업 평가를 확립한다.

결과
MM-VisHal(SLAKE, VQA-RAD) 및 CXR-VisHal(IU-Xray, MIMIC-CXR) 데이터셋에 대한 광범적한 실험은 본 프레임워크의 효능을 입증한다:

• 폐쇄형 작업 (Close-ended Tasks): 프레임워크는 테스트된 모든 MLLM에 대해 일관되게 베이스라인을 능가한다. 동적 라우팅 전략은 MM-VisHal에서 +3.2%, CXR-VisHal에서 **+2.4%**의 이득을 보이며 가장 높은 전체 정확도 향상을 달avis했다. 특정 전략은 도메인 특화된 강점을 보였다: 텍스트 측 주입이 전체 정확도에서 우세했고, 비전 측 제약은 해부학 관련 질문에서 탁월했으며, 결합 전략은 방사선 특징에 대해 가장 좋은 성능을 보였다.
• 개방형 작업 (Open-ended Tasks): MIMIC-CXR 보고서 생성 작업에서, 비전 측 개입은 가장 낮은 환각률(CHAIR 점수 12.76%)을 달성하여 시각적 오해석을 크게 줄였다. 텍스 측 개입은 높은 재현율을 유지하며 서사 품질(RaTEScore)을 개선했다. 결합 전략은 환각 억제와 보고서 완결성 사이의 강력한 균형을 제공했다.
• 어블레이션 연구 (Ablation Studies): 개선 사항이 ROI 좌표의 특정 공간적 근거에 의존한다는 점(무작위 바운딩 박스는 성능을 저하시킴)과 최적의 시각적 가중치 설정이 $(\alpha=1.0, \beta=0.1)$임을 확인하였다.

의의
본 논문은 SPRG가 임상 워크플로우에서 시각적으로 근거가 있고 제어 가능한 생성을 향한 실용적이고 학습이 필요 없는 경로를 제공한다고 주장한다. MedSAM을 통해 추출된 검증 가능한 해부학적 증거를 활용함으로써, 이 방법은 모델 재학습이나 복잡한 외부 검색 시스템 없이도 증거와 일치하지 않는 출력이라는 핵심적인 장벽을 해결한다. 저자들은 본 접근 방식이 기존 베이스라인보다 우수한 견고성을 제공하여, 폐쇄형 추론 정확도를 최대 ~6% 향고하고 개방형 환각을 ~35% 감소시킴으로써 고위험 의료 의사결정에서 MLLM의 신뢰성을 높인다고 강조한다.