Entailed Opinion Matters: Improving the Fact-Checking Performance of Language Models by Relying on their Entailment Ability

1. 문제 정의 (Problem)

자동화된 사실 확인 (Automated Fact-Checking) 은 인터넷상의 허위 정보 확산을 막기 위해 중요하지만, 기존 연구들은 다음과 같은 한계를 겪고 있습니다.

• 정확도 부족: 기존 엔드 - 투 - 엔드 학습, 검색 증강 생성 (RAG), 프롬프트 엔지니어링 등의 방법은 실제 배포에 필요한 수준의 정확도를 달성하지 못했습니다.
• 모순된 증거 처리의 어려움: 주어진 주장 (Claim) 에 대해 상충되거나 모순되는 증거 (Evidence) 가 존재할 때, 언어 모델은 혼란을 겪으며 성능이 저하됩니다.
• 대규모 모델의 비효율성: 초대규모 생성 언어 모델 (GLM) 을 프롬프트 기반으로 사용할 경우 비용이 너무 높고, 소규모 GLM 을 사용할 경우 편향 (Bias) 과 환각 (Hallucination) 문제가 발생합니다.
• 기존 방법론의 한계: 기존 연구들은 증거를 단순히 집계하거나 주석 (Attention) 점수에 의존하여 처리했으나, 명시적으로 증거를 '지지' 또는 '반박'으로 분류하고 이를 논리적으로 추론하는 과정이 부족했습니다.

2. 제안된 방법론 (Methodology)

저자들은 GLM(Generative Language Models) 의 추론 (Entailment) 능력을 활용하여 ELM(Encoder-Only Language Models) 을 학습시키는 새로운 학습 패러다임을 제안합니다. 이 과정은 크게 3 단계로 이루어집니다 (Figure 1 참조):

1. 추론 (Entailment):
   • GLM 에게 주장과 관련 증거들을 입력합니다.
   • GLM 이 각 증거가 주장을 '지지 (Supporting)'하는지 '반박 (Refuting)'하는지 분류합니다.
2. 증거 통합 (Evidence Consolidation):
   • 분류된 증거들을 바탕으로 GLM 이 간결한 **지지 논거 (Supporting Justification)**와 **반박 논거 (Refuting Justification)**를 생성합니다.
   • 이 논거들은 GLM 의 내부 지식과 증거를 종합하여 생성된 '설명 (Explanation)' 역할을 합니다.
3. 진실성 예측 (Veracity Prediction):
   • 생성된 지지/반박 논거와 원본 주장을 결합하여 **ELM(예: RoBERTa, XLNet)**을 미세 조정 (Fine-tuning) 합니다.
   • ELM 은 이 논거들을 입력받아 주장의 진실성 (True, False, Half-true 등) 을 예측합니다.

이 접근법은 GLM 의 강력한 언어 이해 능력을 '지도 신호 (Supervision Signal)'로 활용하여, 상대적으로 가볍고 효율적인 ELM 이 사실 확인을 수행하도록 돕는 것이 핵심입니다.

3. 주요 기여 및 실험 설계 (Key Contributions & Experiments)

저자는 3 가지 연구 질문 (R1~R3) 을 바탕으로 3 가지 학습 기반 실험 (TBE) 과 4 가지 추론 기반 실험 (IBE) 을 수행했습니다.

• 데이터셋: 단언어 (LIAR-RAW, RAW-FC), 다언어 (X-Fact, Ru22fact), 멀티모달 (Factify-2, MOCHEG, VERITE) 등 다양한 도메인에서 실험을 진행했습니다.
• 실험 구성:
  • TBE-1 (Raw Evidence): 원본 증거 문장만으로 ELM/GLM 학습.
  • TBE-2 (Overall Understanding): GLM 이 생성한 '주장 - 증거에 대한 전체 이해'를 바탕으로 학습.
  • TBE-3 (Entailment Understanding): 제안된 핵심 방법. GLM 이 생성한 '지지/반박 논거'를 입력으로 사용하여 ELM 을 학습.
  • IBE (Inference Based): GLM 을 직접 프롬프트하여 추론하는 방법들 (Zero-shot, CoT 등) 과 비교.

4. 주요 결과 (Results)

• 성능 향상 (TBE-3 의 우위):

  • LIAR-RAW 데이터셋: TBE-3(논거 기반 학습) 은 베이스라인 대비 **최대 28.57%**의 Macro-F1(MF1) 향상을 기록했습니다.
  • RAW-FC 데이터셋: TBE-3 은 베이스라인 대비 **최대 44.26%**의 MF1 향상을 보였습니다. (RoBERTa + Llama 기반 논거 사용 시 MF1 0.88 달성).
  • IBE(추론 기반) 의 한계: GLM 을 직접 프롬프트하여 추론하는 방법들은 TBE-3 에 비해 일관되게 낮은 성능을 보였습니다. 이는 GLM 이 직접 추론할 때 발생하는 환각과 편향을 ELM 학습을 통해 교정하는 것이 더 효과적임을 시사합니다.

• Ablation Study (절단 실험):

  • 지지 논거와 반박 논거 중 하나를 제거할 경우 성능이 급격히 하락했습니다. 특히 지지 논거를 제거했을 때의 성능 저하가 반박 논거 제거보다 더 컸습니다. 이는 두 가지 논거 모두 필수적임을 보여줍니다.
  • 증거의 양이 너무 많을 경우 (Overload) 성능이 저하되는 경향이 있었으나, TBE-3 은 이를 잘 처리했습니다.

• 설명 품질 분석:

  • Llama가 생성한 논거가 가장 높은 주관적 점수 (정보성, 논리성 등) 를 받았으며, 이는 Llama 기반 논거로 학습된 모델이 가장 높은 사실 확인 성능을 보인 것과 일치했습니다.
  • ELM 은 'True/False'와 같은 극단적인 레이블의 경우 핵심 사실 단어에 높은 어텐션 (Attention) 을 보였으나, 'Half-true'와 같은 모호한 경우 어텐션이 분산되는 경향이 있었습니다.

• 도메인 일반화 (Domain Generalization):

  • 멀티모달: Factify-2, MOCHEG, VERITE 데이터셋에서 TBE-3 은 베이스라인 대비 **최대 54.10%**의 성능 향상을 기록했습니다.
  • 다언어: X-Fact, Ru22Fact 데이터셋에서도 **최대 19.70%**의 성능 향상을 보이며, GLM 기반 논거가 다언어 및 멀티모달 맥락에서도 효과적임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 자동화된 사실 확인 분야에서 다음과 같은 중요한 통찰을 제공합니다.

1. 새로운 학습 패러다임: GLM 의 추론 능력을 직접적인 예측기로 사용하는 대신, 고품질의 논거 (Justification) 를 생성하여 ELM 을 학습시키는 '중간 단계'를 도입함으로써, 비용 효율적이면서도 높은 정확도를 달성했습니다.
2. 해결책의 실용성: 초대규모 모델을 상시 실행하는 대신, GLM 으로 '지식'을 추출하고 경량화된 ELM 으로 '판단'을 수행하는 구조는 실제 배포 환경에 매우 적합합니다.
3. 다양한 환경에서의 강건성: 단일 언어뿐만 아니라 다언어 및 멀티모달 환경에서도 일관된 성능 향상을 보여주어, 이 방법론이 범용적인 사실 확인 솔루션으로 확장 가능함을 증명했습니다.

결론적으로, **"Entailed Opinion Matters"**는 생성형 AI 의 논리적 추론 능력을 활용하여 기존의 사실 확인 모델이 겪는 모순된 증거 처리의 어려움을 해결하고, 성능을 획기적으로 개선한 획기적인 연구로 평가됩니다.