Explaining Sources of Uncertainty in Automated Fact-Checking

Sun 등 저자의 논문 "Automated Fact-Checking 에서의 불확실성 원인 설명"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 을 활용한 자동 사실 확인은 종종 증거가 상충되거나 일치하는 다중 문서에 대한 추론을 수반합니다. LLM 은 판정 (지지, 반박, 중립) 을 예측할 수 있지만, 현재 설명 가능한 AI(XAI) 방법들은 인간 사용자에게 모델의 불확실성을 적절히 전달하지 못합니다.

• 기존 방법의 한계: 기존 접근법은 맥락화하기 어려운 수치적 신뢰도 점수만 제공하거나 ("I'm not sure"와 같은) 모델의 내부 상태를 충실히 반영하지 못하는 모호한 자연어 회피 표현을 사용합니다.
• 격차: 결정적으로 기존 시스템은 모델이 왜 불확실한지 설명하지 못합니다. 사실 확인 작업에서 불확실성의 주요 원인이 되는 주장과 증거 간, 혹은 서로 다른 증거 조각 간의 상충과 일치를 구체적으로 드러내지 못하므로, 인간 사실 확인자가 이견을 효과적으로 해결하거나 논쟁점을 검증하는 것을 방해합니다.

2. 방법론: CLUE 프레임워크

저자들은 특정 증거 상호작용에 기반한 자연어 설명 (NLEs) 을 생성하는 플러그 앤 플레이 방식의 화이트박스 프레임워크인 CLUE(Conflict-&-Agreement-aware Language-model Uncertainty Explanations) 를 제안합니다. CLUE 는 미세 조정 (fine-tuning) 이나 금표 (gold-label) 설명이 필요 없이 추론 시간 (inference time) 에만 작동합니다.

프레임워크는 세 단계로 구성됩니다:

A. 불확실성 점수화

시스템은 모델 출력 로짓 (logits) 에서 유도된 예측 엔트로피를 사용하여 모델 불확실성을 정량화합니다.

• 주어진 입력 $X$(주장 + 증거) 에 대해, 후보 레이블 $\{SUPPORTS, REFUTES, NEUTRAL\}$의 소프트맥스 분포에 걸쳐 엔트로피 $u(X)$를 계산합니다.
• 이는 모델에 구애받지 않는 스칼라 불확실성 점수를 제공하며, 여러 샘플링 실행을 필요로 하지 않습니다.

B. 상충 및 일치 스패인 상호작용 식별

불확실성의 원인을 식별하기 위해 CLUE 는 주장 ($C$) 과 증거 조각 ($E_1, E_2$) 사이, 그리고 증거 조각들 사이의 중요한 텍스트 스패인 상호작용을 추출합니다.

1. 추출: 모델 최종 레이어의 어텐션 메커니즘을 사용하여 입력 부분 간의 중요한 토큰 상호작용을 식별합니다. Louvain 알고리즘을 적용하여 이러한 토큰을 커뮤니티로 클러스터링하고, 구체적인 스패인 쌍 (예: 주장 내 구절과 증거 내 구절) 을 추출합니다.
2. 관계 라벨링: 보조 모델 ($L_{rel}$) 이 전체 맥락에 기반하여 추출된 각 스패인 쌍을 일치 (Agree), 상충 (Disagree), **무관 (Unrelated)**으로 라벨링합니다.
3. 선택: 어텐션 점수에 기반하여 상위 $k$(예: 3 개) 개의 가장 중요한 스패인 상호작용을 선택합니다.

C. 불확실성 설명 생성

CLUE 는 추출된 상호작용을 두 가지 다른 변형을 사용하여 자연어 설명으로 변환합니다:

1. CLUE-Span(지시 기반): 추출된 스패인 쌍과 해당 관계 라벨을 퓨샷 (few-shot) 프롬프트에 직접 삽입합니다. 모델은 이러한 특정 일치나 상충이 어떻게 신뢰도에 영향을 미치는지 설명하도록 지시받습니다.
2. CLUE-Span+Steering(내재적 어텐션 조종): 프롬프트 외에도 생성 중 모델의 어텐션 가중치를 수정합니다. 비대상 토큰의 가중치는 낮추고 선택된 스패인 상호작용 내 토큰의 가중치는 높여, 모델이 식별된 상충/일치에 추론을 집중하도록 강제합니다.

3. 주요 기여

• 불확실성 지향 설명을 위한 첫 프레임워크: CLUE 는 모델 불확실성을 특정 상충되거나 일치하는 증거 스패인으로 명시적으로 추적하는 NLEs 를 생성하는 최초의 시스템입니다.
• 화이트박스 및 플러그 앤 플레이: 미세 조정 없이 작동하며, 모델의 실제 추론 과정에 설명이 충실하도록 내부 모델 신호 (로짓 및 어텐션) 를 활용합니다.
• 이중 메커니즘: 불확실성 설명 생성을 최적화하기 위해 지시 기반 프롬프팅과 어텐션 조종 간의 비교를 도입합니다.
• 인간 중심 설계: "작업 과정 (showing the work)"을 보여줌으로써 사실 확인자의 실용적 요구를 충족시키고, 특히 증거 간 긴장감이 존재하는 지점을 강조합니다.

4. 실험 결과

프레임워크는 세 가지 LLM(Qwen2.5-14B, Gemma-2-9B, OLMo-2-13B)과 두 가지 데이터셋(HealthVer 및 DRUID) 에서 평가되었습니다.

자동 평가

• 충실도 (Entropy-CCT): 저자들은 설명 내 교란 토큰의 존재와 모델 예측 엔트로피의 결과적 변화 간의 상관관계를 측정하는 Entropy-CCT 지표를 도입했습니다.
  • 결과: 기준 프롬프팅 방법은 부정적 충실도(중요하지 않은 토큰을 언급함) 를 보였습니다. 두 CLUE 변형 모두 이를 반전시켰으며, CLUE-Span+Steering이 가장 높은 양의 상관관계 ($r_{pb} = 0.102$까지) 를 달성하여 설명이 모델의 불확실성 원인을 충실히 반영함을 나타냈습니다.
• 스패인 커버리지 및 불필요성: CLUE 변형들은 기준선보다 추출된 중요한 스패인을 더 많이 커버하고 관련 없는 스패인을 더 적게 도입했습니다.
• 레이블 - 설명 함의: CLUE 설명은 예측된 판정과 논리적으로 더 일관성이 있었습니다.

인간 평가

• 참가자: 12 명의 인간 평가자가 120 개의 설명을 평가했습니다.
• 선호도: CLUE 생성 설명은 기준선 (24–34%) 에 비해 **67–78%**의 비율로 1 순위 선호도를 기록했습니다.
• 정성적 지표: CLUE 설명은 유용성, 커버리지, 비중복성, 일관성 측면에서 유의미하게 높은 점수를 받았습니다.
• 트레이드오프: 두 CLUE 변형 간 약간의 트레이드오프가 관찰되었습니다: CLUE-Span+Steering은 추출된 스패인을 엄격히 준수하여 더 높은 충실도를 달성한 반면, CLUE-Span은 추출된 스패인이 단편적일 때 더 나은 유창성으로 인해 전반적인 품질/현실성 측면에서 약간 더 높은 평가를 받았습니다.

5. 중요성 및 영향

• 인간-AI 격차 해소: 불확실성을 증거 상충과 명시적으로 연결함으로써 CLUE 는 인간 사실 확인자가 AI 가 왜 불확실한지 이해하게 하여 검증 노력을 더 효과적으로 집중할 수 있게 합니다.
• 고위험 작업에서의 신뢰성: 이 방법은 단순한 판정 예측을 넘어 실행 가능한 통찰력을 제공하여, 허위 정보가 피해를 입힐 수 있는 건강 및 뉴스와 같은 도메인에서 중요합니다.
• 일반화 가능성: 이 프레임워크는 질문 답변이나 검색 증강 생성 (RAG) 과 같이 상충되는 정보를 포함하는 모든 다중 문서 추론 작업에 적용 가능합니다.
• 향후 방향: 논문은 단편적 스패인을 피하기 위한 더 나은 스패인 추출의 필요성과, 설명 생성에서 충실도와 현실성 간의 균형을 맞추기 위한 추가 연구를 강조합니다.

결론적으로 CLUE 는 사실 확인을 위한 설명 가능한 AI(XAI) 에서 중요한 진전을 이루었으며, 판정 정당화에서 근거 기반 추론을 통해 불확실성의 원인을 설명하는 것으로 초점을 이동시켰습니다.