기술 요약: VIHD - 시각적 개입 기반 환각 탐지

문제 제기

의료 멀티모달 대규모 언어 모델 (MLLM) 은 시각적 질문 답변 (VQA) 과 자동 보고서 생성을 통해 임상 진단을 지원하는 데 상당한 잠재력을 보여주었습니다. 그러나 중요한 한계가 존재합니다. 이러한 모델은 종종 환각된 응답을 생성하는데, 이는 언어적으로 일관되지만 제공된 시각적 증거와 모순되는 출력입니다. 이러한 오류는 임상적 의사결정에 상당한 위험을 초래합니다.

기존의 환각 탐지 방법은 일반적으로 세 가지 범주로 분류됩니다:

1. 지도 학습 기반 탐지: 노동 집약적인 주석 데이터셋이 필요하며 새로운 도메인이나 아키텍처에 대한 일반화가 어렵습니다.
2. 외부 검증: 보조 모델이나 지식 베이스에 의존하여 상당한 계산 오버헤드를 초래하고 외부 도구에 대한 의존성을 높입니다.
3. 내적 탐지: 추가 학습 없이 불확실성이나 논리적 일관성을 추정하는 자체 완결형 방법입니다. 효율적이기는 하지만, 현재 내적 접근법은 종종 휴리스틱적이고 맥락 무관한 외부 교란에 의존합니다. 이들은 MLLM 을 블랙박스로 취급하여 디코딩 과정에서 생성된 토큰과 특정 시각적 증거 간의 내부 인과적 의존성을 탐지하지 못합니다.

방법론: VIHD 프레임워크

저자들은 **VIHD(시각적 개입 기반 환각 탐지)**를 제안합니다. 이는 표적적이고 세밀한 시각적 개입을 통해 교차 모달 추론의 충실도를 탐지하도록 설계된 학습이 불필요한 프레임워크입니다. 이 방법은 세 가지 명확한 단계로 작동합니다:

1. 시각적 의존성 탐지 (VDP)

모델이 시각적 증거에 가장 크게 의존하는 지점을 식별하기 위해, VIHD 는 LLM 디코더 내의 어텐션 메커니즘을 분석합니다.

• 메커니즘: 생성된 토큰과 입력 시각 토큰 간의 어텐션 가중치를 모든 디코더 레이어와 어텐션 헤드에 걸쳐 계산합니다.
• 위치 특정: 이러한 가중치를 집계하여 레이어별 시각적 의존성 ($s^{(l)}$) 을 정량화합니다. 그런 다음 이 방법은 누적 시각적 의존성이 가장 강한 $w$개의 연속된 레이어 윈도우 $[l^*, l^*+w-1]$를 식별합니다. 이를 통해 교차 모달 어텐션이 가장 두드러지는 지점에 개입이 적용되도록 보장합니다.

2. 시각적 개입 디코딩 (VID)

시각적으로 지배적인 레이어가 식별되면, VIHD 는 특정 시각적 증거가 억제될 때 모델의 출력이 어떻게 변화하는지 관찰하기 위해 표적 개입을 수행합니다.

• 메커니즘: 식별된 윈도우 내의 디코딩 과정에서, 알고리즘은 현재 생성된 토큰에 대해 상대적으로 가장 높은 어텐션 가중치를 갖는 시각적 토큰 중 상위 $\rho$ 비율을 마스킹합니다.
• 결과: 이는 교란된 시각적 표현에 조건부인 "개입된 응답"($r'$) 을 생성합니다. 원래 응답 ($r$) 과 개입된 응답 ($r'$) 을 비교함으로써, 이 방법은 모델이 특정 시각적 토큰에 의존하는 정도를 드러냅니다.

3. 보정된 시맨틱 엔트로피 (CSE)

환각의 심각도를 정량화하기 위해, VIHD 는 응답의 시맨틱 분포에 기반한 지표를 계산합니다.

• 샘플링: 모델은 $M$개의 독립적인 샘플링 실행을 수행하여 두 가지 응답 집합을 생성합니다: 일반 응답 $\{r^{(i)}\}$과 시각 개입 응답 $\{r'^{(i)}\}$.
• 클러스터링: 이러한 응답들은 사전 학습된 모델 (DeBERTa-Large-MNLI) 을 사용하여 시맨틱 동등성 클래스로 클러스터링되며, 이를 통해 일반 시맨틱 분포 $P(s)$와 개입된 분포 $P(s')$가 도출됩니다.
• 적응형 융합: 개입의 영향이 쿼리 세분성에 따라 달라진다는 점을 인식하여, VIHD 는 적응형 융합 전략을 사용합니다:
  • 분포가 밀접하게 일치할 때 (코사인 유사도 $\ge \tau$), 공유된 시맨틱을 강화하기 위해 상호 보완적 융합을 사용합니다.
  • 분포가 이질적일 때, 마스킹으로 인한 환각을 억제하기 위해 대조적 융합을 사용합니다.
• 지표: 최종 **보정된 시맨틱 엔트로피 (CSE)**는 이 융합된 분포에서 계산됩니다. 더 높은 CSE 는 원래 출력과 개입된 출력 간의 의미적 분산이 크다는 것을 나타내며, 이는 환각에 대한 강력한 신호로 작용합니다.

주요 기여

1. VIHD 프레임워크: 블랙박스 휴리스틱 교란을 넘어, 내부 인과적 의존성을 탐지하기 위해 세밀한 시각적 개입을 활용하는 학습 불필요한 방법론의 도입.
2. 적응형 파이프라인: 핵심 레이어를 위치 특정하는 시각적 의존성 탐지 (VDP), 고어텐션 토큰을 마스킹하는 시각적 개입 디코딩 (VID), 그리고 적응형 분포 융합을 통해 심각도를 정량화하는 보정된 시맨틱 엔트로피 (CSE) 로 구성된 3 단계 파이프라인 설계.
3. 경험적 우위성: 다양한 의료 VQA 벤치마크와 모델 아키텍처에 걸쳐 VIHD 가 최첨단 내적 방법보다 일관되게 우월함을 입증한 광범위한 검증.

실험 결과

저자들은 두 가지 의료 MLLM(Hulu-4B 및 Lingshu-7B) 을 사용하여 세 가지 의료 VQA 벤치마크 (VQA-RAD, SLAKE, VQA-Med-2019) 에서 VIHD 를 평가했습니다. 환각 라벨은 GREEN 모델을 사용하여 생성되었으며, 성능은 AUC(ROC 곡선 아래 면적) 와 AUG(GREEN 곡선 아래 면적) 를 통해 측정되었습니다.

• 성능 향상: VIHD 는 토큰 불확실성, 일관성 기반, 시맨틱 불확실성 기준을 포함한 7 가지 경쟁 방법보다 일관되게 우월한 성능을 보였습니다.
  • Hulu-4B에서 VIHD 는 모든 질문에 걸쳐 평균 AUC 를 8.57% 향상시켰으며, VQA-RAD 데이터셋에서는 12% AUC 증가라는 상당한 개선을 달성했습니다.
  • Lingshu-7B에서는 전체적으로 평균 AUC 3.22% 향상이라는 우위를 유지했습니다.
• 효율성: VIHD 의 추론 시간은 샘플당 약 11.59 초였으며, 이는 선도적인 기준인 VASE(샘플당 11.55 초) 와 유사하여 성능 향상이 추가적인 계산 비용 없이 달성되었음을 나타냅니다.
• 절차 제거 연구 (Ablation Studies):
  • 모든 구성 요소 (VDP, VID, CSE) 중 하나를 제거하면 성능 저하가 발생하여 전체 파이프라인의 필요성이 검증되었습니다.
  • 고어텐션 마스킹이 무작위 또는 저어텐션 마스킹보다 우월한 것으로 밝혀졌으며, 이는 중요한 시각적 토큰을 표적으로 삼는 것이 효과적인 보정에 중요함을 확인시켜 주었습니다.
  • 슬라이딩 윈도우 너비 $w = L/2$와 마스킹 비율 $\rho = 10\%$가 최적의 하이퍼파라미터로 확인되었습니다.

중요성 및 주장

이 논문은 VIHD 가 환각 탐지를 위한 세밀한 시각적 의존성의 중요성을 강조한다고 주장합니다. 외부 휴리스틱 교란에서 모델의 자체 어텐션 메커니즘에 기반한 내부 표적 개입으로 전환함으로써, VIHD 는 모델이 언제 환각을 생성하는지 탐지하기 위한 더 신뢰할 수 있는 신호를 제공합니다.

저자들은 VIHD 를 주석된 환각 데이터셋이나 외부 검증 도구가 필요 없는 배포 친화적이고 학습이 불필요한 솔루션으로 위치시킵니다. 다양한 모델 용량과 데이터셋 특성에 걸쳐 일관된 개선이 관찰된 것은, 이 방법이 언어적으로 그럴듯하지만 시각적 근거가 부족한 의료 주장을 생성하는 MLLM 의 핵심 문제를 효과적으로 해결함을 시사합니다. 해당 코드는 이 분야의 추가 연구를 촉진하기 위해 공개되었습니다.