Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM

1. 연구 배경 및 문제 정의 (Problem)

디지털 플랫폼에서의 오정보 (misinformation) 와 허위 정보 (disinformation) 의 확산은 심각한 사회적 위험을 초래합니다. 이를 해결하기 위한 자동화된 사실 확인 (Claim Verification) 시스템이 개발되고 있으나, 기존 시스템에는 다음과 같은 한계가 존재합니다.

• 단일 정보원 의존: 대부분의 시스템이 위키피디아 (Wikipedia) 와 같은 단일 지식 소스에만 의존하여 증거를 수집합니다.
• 이견 (Disagreement) 무시: 다양한 소스 간의 모순이나 이견을 고려하지 않아, 실제 세계 정보의 복잡성을 반영하지 못합니다.
• 해석 가능성 부족: 사용자에게 소스 간의 불일치를 투명하게 보여주지 못해, 정보의 신뢰성을 판단하기 어렵습니다.

이러한 한계를 극복하기 위해, 저자들은 다양한 관점 (지원 및 반대) 을 포괄하고, 여러 정보원을 통합하며, 소스 간 불일치를 정량화하는 새로운 시스템을 제안합니다.

2. 제안된 방법론 (Methodology)

제안된 시스템은 이중 관점 (Dual-Perspective) 과 다중 소스 (Multi-Source) 기반의 검색 및 검증 프레임워크로 구성됩니다. 주요 단계는 다음과 같습니다.

2.1 이중 관점 증거 검색 (Dual-Perspective Evidence Retrieval)

• 부정형 주장 생성: 각 주장 (Claim) 에 대해 명시적으로 부정한 형태 (Negated Claim) 를 생성합니다. (예: "비타민 B12 결핍이 호모시스테인을 증가시킨다" → "비타민 B12 과잉이 호모시스테인을 감소시킨다")
• 검색 전략: 원래 주장과 부정형 주장 모두를 사용하여 증거를 검색합니다. 이를 통해 지지 (Support) 와 반박 (Contradiction) 정보를 모두 포착하여 편향 (Confirmation Bias) 을 줄입니다.

2.2 다중 소스 통합 (Multi-Source Aggregation)

• 소스 다양성: 위키피디아 (일반적/트렌드), PubMed (과학/의학 전문), Google (웹 검색) 의 세 가지 주요 지식 소스를 활용합니다.
• 검색 및 선별: 각 소스에서 Top-K 문서를 검색한 후, SPICED 임베딩을 사용하여 주장과 유사도가 높은 문장을 선별합니다.
• 중복 제거 및 통합: 검색된 문장들을 정규화 (소문자화, 문장 부호 제거) 하고, 중복을 제거한 후 (Deduplication), 각 소스별 Top-P 문장을 통합하여 단일 주장에 대한 통합 증거 집합 (Unified Evidence Set) 을 구성합니다.

2.3 LLM 을 활용한 검증 및 불일치 정량화

• Zero-shot 검증: 통합된 증거 집합을 사용하여 5 가지 최신 LLM (Llama 70B/405B, Phi-4, Qwen 2.5, Mistral) 이 주장의 진실성 (Supported, Refuted, Not Enough Evidence) 을 예측합니다.
• 소스 간 불일치 시각화: 각 소스별 예측 확률 (Log-probabilities) 을 분석하여 소스 간 합의 (Agreement) 와 불일치 (Disagreement) 를 정량화합니다.
  • 높은 확률 분산: 소스 간 불일치 및 불확실성 신호.
  • 낮은 확률 분산: 소스 간 높은 합의 및 확신 신호.
  • 이를 KDE (Kernel Density Estimation) 등을 통해 시각화하여 사용자에게 투명하게 제공합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 검색 전략: 주장과 그 부정형을 모두 활용하여 지지 및 반박 증거를 포괄하는 이중 관점 검색 전략을 도입했습니다.
2. 다중 소스 통합의 효과 입증: 단일 소스 의존이 아닌, 위키피디아, PubMed, Google 의 증거를 통합함으로써 사실 확인 성능이 향상됨을 실증했습니다.
3. 해석 가능성 강화: 소스 간 불일치를 정량화하고 시각화하여, 모델의 결정에 대한 신뢰도와 불확실성을 사용자에게 투명하게 전달하는 메커니즘을 제시했습니다.

4. 실험 결과 (Results)

저자들은 SciFact, PubHealth, Averitec, LIAR 등 4 개의 벤치마크 데이터셋과 5 개의 LLM 을 사용하여 실험을 수행했습니다.

• 성능 향상:
  • 부정형 주장 추가: 원래 주장만 사용할 때보다 부정형 주장을 함께 검색했을 때 정확도 (Accuracy) 와 F1 점수가 평균 2~10% 향상되었습니다. (예: SciFact 에서 Llama 70B + Google 조합은 정확도 10.4% 증가).
  • 다중 소스 통합: 단일 소스 (특히 위키피디아) 보다 통합된 증거 (Merged) 를 사용할 때 성능이 크게 개선되었습니다. (예: Averitec 데이터셋에서 Llama 405B 의 경우 통합 증거 사용 시 위키피디아 대비 F1 점수 68.8% 향상).
• 불일치 분석:
  • 모든 소스가 합의하는 경우 높은 확신 (High Confidence) 을 보였으며, 소스 간 이견이 있을 경우 확신도가 낮아지고 분산이 커지는 경향을 확인했습니다.
  • 이는 특히 개방형 도메인 (Averitec, LIAR) 에서 더 뚜렷하게 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 사실 확인 시스템이 단순한 정답 도출을 넘어, 정보의 복잡성과 소스 간 이견을 어떻게 처리하고 사용자에게 전달할지에 대한 새로운 패러다임을 제시합니다.

• 신뢰성 있는 시스템 구축: 다양한 관점과 모순을 수용함으로써 더 견고하고 투명한 사실 확인 시스템을 구축할 수 있음을 보였습니다.
• 해석 가능성 (Interpretability): 모델의 예측뿐만 아니라, 각 정보원이 어떻게 다른지 (또는 같은지) 를 시각적으로 보여주어 사용자의 정보 판단을 돕습니다.
• 향후 과제: 시간 민감성 (Time-aware) 검색, 다국어 지원, 긴 문맥 처리, 그리고 할루시네이션 (Hallucination) 감소 등을 통해 시스템을 더욱 고도화할 계획입니다.

결론적으로, 이 논문은 대규모 언어 모델 (LLM) 과 다중 소스 검색을 결합하여, 오정보를 식별하는 데 있어 '모순'과 '다양성'을 자원으로 활용하는 접근법의 유효성을 입증했습니다.