From Attribution to Abstention: Training-Free Attention-Based Auditing for Clinical Summarization

논문 개요: ClinTrace

이 논문은 임상 요약 (Clinical Summarization) 작업에 멀티모달 대규모 언어 모델 (MLLM) 을 배포할 때 발생하는 할루시네이션 (Hallucination, 사실과 다른 정보 생성) 문제와 투명성 부족 문제를 해결하기 위해 제안된 ClinTrace라는 프레임워크를 소개합니다. ClinTrace 는 추가적인 학습 (Training-free) 이나 보조 모델 없이, 트랜스포머 기반 MLLM 이 생성 과정에서 이미 계산하는 디코더 어텐션 (Decoder Attention) 가중치만을 활용하여 두 가지 핵심 신호를 추출합니다.

1. 문제 정의 (Problem)

• 임상 환경의 요구사항: 의료 분야 (방사선 보고서 요약, 의사 - 환자 대화 요약 등) 에서는 모델의 유창한 생성 능력뿐만 아니라, 각 문장이 어떤 근거 (텍스트 또는 이미지) 에서 유래했는지 명확히 추적할 수 있어야 하며 (Traceability), 근거가 부족한 문장은 식별되어 경고되어야 합니다 (Reliability Monitoring).
• 기존 방법의 한계:
  • 사후 분석 (Post-hoc) 기법: 그라디언트 기반 또는 어텐션 롤아웃 기법은 분류 작업에는 적합하지만, 개방형 생성 (Open-ended generation) 에서는 적용이 어렵습니다.
  • 학습 기반 기법: RLHF 나 대비적 디코딩 (Contrastive Decoding) 은 할루시네이션을 줄일 수 있지만, 비용이 많이 들고 생성된 문장별 출처를 제공하지 못하며, 왜 특정 문장이 생성되었는지 의사가 검증할 수 있는 메커니즘이 부족합니다.
  • 검색 증강 생성 (RAG): 외부 지식을 활용하지만 입력 문서 자체로의 추적을 제공하지는 못합니다.

2. 방법론 (Methodology: ClinTrace)

ClinTrace 는 MLLM 의 생성 과정에서 발생하는 어텐션 텐서 (Attention Tensors) 를 단일 패스 (Single Pass) 로 분석하여 다음 두 가지 신호를 추출합니다.

1. 소스 어트리뷰션 (Source Attribution):

   • 생성된 각 문장을 지지하는 입력 텍스트 구간 (Sentence spans) 과 이미지 (Image patches) 를 매핑합니다.
   • 프로세스:
     • Chunking: 입력 문서를 문장 단위 증거 단위로 분할합니다.
     • Attention Pooling: 생성된 토큰 $y_t$에 대한 모든 레이어와 헤드의 어텐션 가중치를 평균화하여 단일 벡터 $\bar{a}_t$를 생성합니다 (노이즈 제거 및 안정성 확보).
     • Assignment: 각 토큰이 가장 높은 어텐션을 보인 소스 문장을 할당하고, 문장 수준에서는 토큰들의 일관된 지지를 기반으로 소스 문장 집합을 결정합니다.

2. 그라운디드니스 스코어 (Groundedness Score, $\phi$):

   • 생성된 문장이 소스 증거에 얼마나 확고하게 기반하고 있는지를 정량화합니다.
   • 원리: 문장이 사실에 기반할 때 토큰들은 특정 소스 구간으로 집중된 어텐션 (High concentration) 을 보이며, 할루시네이션일 때는 어텐션이 분산 (Diffuse) 됩니다.
   • 계산: 토큰 수준의 어텐션 집중도를 집계하여 문장별 스코어를 산출합니다.
   • Abstention (자발적 포기): 스코어가 임계값 ($\phi_{min}$) 이하인 문장은 임상가 검토를 위해 표시하거나 출력에서 제외합니다.

3. 주요 기여 (Key Contributions)

1. 학습 없는 (Training-Free) 감사 레이어: 추가 학습이나 추론 비용 증가 없이, 기존 MLLM 의 어텐션 가중치만으로 정밀한 출처 인용과 할루시네이션 탐지를 동시에 수행합니다.
2. 의료 특화 파인튜닝의 중요성 발견: 일반 목적 모델보다 의료 데이터로 파인튜닝된 모델이 어텐션 패턴이 더 구조화되어 있어, 할루시네이션 탐지 및 자기 감사 (Self-auditing) 에 훨씬 효과적임을 입증했습니다.
3. 신뢰성 기반 Abstention 메커니즘: 그라운디드니스 스코어를 활용하여 가장 근거가 약한 20% 의 출력을 임상가 검토용으로 남기는 전략을 제안하여, 전체 출력의 신뢰도를 획기적으로 높였습니다.
4. 세 가지 신호의 상관관계 입증: 어트리뷰션 정확도, 그라운디드니스 스코어, 사실성 (Faithfulness) 이 동일한 어텐션 신호의 서로 다른 측면임을 실증했습니다.

4. 실험 결과 (Results)

실험은 CliConSummation(의사 - 환자 대화) 과 MIMIC-CXR(방사선 보고서) 데이터셋에서 Qwen3-8B(일반 목적) 와 HuatuoGPT-Vision-7B(의료 파인튜닝) 모델을 사용하여 수행되었습니다.

• 소스 어트리뷰션 성능:

  • ClinTrace 는 임베딩 기반 및 자기 어트리뷰션 베이스라인을 크게 능가했습니다.
  • HuatuoGPT-Vision-7B: 방사선 요약에서 Text F1 97.22%, 대화 요약에서 94.09% 달성.
  • Qwen3-8B: 방사선 요약에서 Text F1 92.15%, 대화 요약에서 88.48% 달성.
  • 의료 파인튜닝 모델이 더 높은 어트리뷰션 품질을 보였습니다.

• 할루시네이션 탐지 (Groundedness):

  • HuatuoGPT-Vision-7B: AUROC 0.767 (임베딩 기반 베이스라인 0.764 보다 약간 우세). 가장 신뢰도가 낮은 20% 의 문장을 제외했을 때 모든 문장이 사실과 다른 것으로 판명됨 (P@20 = 1.0).
  • Qwen3-8B: AUROC 0.586으로 상대적으로 낮았으나, 여전히 P@20 = 0.75 를 기록하여 임상적 유용성을 보임.

• Abstention 을 통한 신뢰성 향상:

  • HuatuoGPT-Vision-7B: 가장 근거가 약한 20% 의 출력을 제외했을 때, 사실성 (Faithfulness) 이 **61.7% 에서 72.6%**로 11 포인트 상승했습니다.
  • Qwen3-8B: 일반 목적 모델은 Abstention 곡선이 비단조적 (Non-monotonic) 이어서 극단적인 제외 시 신뢰도 향상이 제한적이었습니다.

5. 의의 및 시사점 (Significance)

• 임상 AI 배포 전략: "모든 질문에 답하는 것"보다 "언제 모르는지 아는 것"이 임상 AI 에 더 가치 있음을 보여줍니다. ClinTrace 는 불확실성을 임상가에게 표출하여 최종 판단을 위임하는 안전 장치를 제공합니다.
• 모델 선택 가이드: 의료 분야에 MLLM 을 도입할 때, 단순한 성능 지표뿐만 아니라 도메인 적응 (Medical Finetuning) 이 어텐션의 해석 가능성과 안전 신호의 신뢰성을 높인다는 점을 고려해야 합니다.
• 비용 효율성: 추가적인 추론 비용이나 모델 재학습 없이 기존 인프라에서 즉시 적용 가능한 감사 (Audit) 레이어를 제공합니다.

이 논문은 MLLM 의 내부 신호 (어텐션) 를 활용하여 임상 환경에서 필요한 투명성과 안전성을 동시에 확보할 수 있는 실용적인 프레임워크를 제시했다는 점에서 의의가 큽니다.