Multilingual, Multimodal Pipeline for Creating Authentic and Structured Fact-Checked Claim Dataset

논문 요약: 다국어 및 다모달 팩트체크 데이터셋 구축을 위한 파이프라인

1. 문제 제기 (Problem)

• 미스정보의 확산: 온라인 플랫폼을 통한 허위 정보의 급속한 확산으로 인해 강력하고, 최신이며, 설명 가능하고 다국어인 팩트체크 자원의 필요성이 절실합니다.
• 기존 데이터셋의 한계:
  • 언어 및 모달리티 편향: 대부분의 벤치마크가 영어 중심이며 텍스트에만 의존하고 있습니다. 이미지와 비디오 등 미스정보 확산의 핵심인 시각적 요소를 다루지 못합니다.
  • 구조적 부족: 기존 데이터셋은 주장 (Claim), 증거 (Evidence), 판정 (Verdict) 간의 상세한 연결고리가 부족하며, 증거의 출처나 유형에 대한 구조화된 주석이 거의 없습니다.
  • 자동화 시스템의 한계: 기존 자동 팩트체크 시스템은 검색된 문서를 단순 텍스트로 취급하여, 전문 팩트체크 기관이 사용하는 1 차 자료 (공식 기록, 전문가 증언 등) 와 2 차 자료의 차이를 구분하지 못하거나, 증거의 맥락 의존성을 반영하지 못합니다.

2. 방법론 (Methodology)

저자들은 프랑스어와 독일어 기반의 사실적 팩트체크 데이터를 구축하기 위해 5 단계의 확장 가능한 파이프라인을 제안했습니다.

• 데이터 수집 및 전처리 (Steps 1-4):

  • ClaimReview 피드 활용: 구글 팩트체크 API 와 각 출판사 웹사이트를 통해 검증된 주장과 해명 기사 (Debunking articles) 를 수집합니다.
  • 크롤링 및 메타데이터 강화: 각 출판사의 구조에 맞춰 기사를 크롤링하고, 내장된 이미지, 캡션, 비디오를 추출합니다.
  • 판정 정규화: 각 팩트체크 기관마다 다른 평점 체계 (True/False, 수치, 서술형 등) 를 ClaimsKG 의 표준 레이블 (True, False, Mixture, Other) 로 매핑하여 통일합니다.
  • 증거 카테고리 분류: GPT-4o 를 사용하여 주장의 맥락 (텍스트, 이미지, 통계 등) 에 따라 증거 소스를 분류합니다.

• 증거 추출 및 정교한 스키마 (Step 5 - 핵심 기여):

  • 저널리즘 기반 증거 스키마: 단순 텍스트 매칭이 아닌, 저널리즘의 검증 프로세스 (소스 비판, 삼각측량) 를 반영한 6 가지 세분화된 증거 카테고리를 정의했습니다.
    1. Expert Testimony: 전문가의 증언 및 분석.
    2. Quantitative Data & Statistics: 수치, 통계, 조사 데이터.
    3. Official Records & Legal/Policy Documents: 공식 기록, 법률, 정책 문서.
    4. Media Record: 언론 보도 및 소셜 미디어 게시글.
    5. Multimedia Evidence: 사진, 영상, 오디오, 스크린샷 등 시각/청각 증거.
    6. Eyewitness & Firsthand Accounts: 목격자 증언 및 1 차 경험.
  • LLM 활용 추출: 제로샷 (Zero-shot) 프롬프팅을 통해 LLM 이 해명 기사에서 위 카테고리에 맞춰 증거를 추출하고, 이를 근거로 판정을 내리는 정당화 (Justification) 를 생성하도록 합니다.

• 평가 (Evaluation):

  • G-Eval (LLM-as-a-judge): GPT-4o 를 사용하여 생성된 증거 추출 및 정당화의 정확성 (Correctness), 일관성 (Coherence), 완전성 (Completeness) 을 평가했습니다.
  • 인간 평가: 인간 어노테이터를 통해 모델 출력의 신뢰성을 검증하고, LLM 평가 결과와의 상관관계를 확인했습니다.
  • 다모달 평가: 텍스트만 사용하는 경우와 이미지/비디오 프레임을 포함한 경우를 비교하여 시각적 증거 통합의 효과를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 재현 가능한 파이프라인: 구조화된 메타데이터와 증거 주석이 포함된 다국어·다모달 팩트체크 데이터셋을 구축하는 완전한 스크립트 기반 파이프라인을 공개했습니다.
2. 대규모 신규 데이터셋: 프랑스어 (5,170 개 주장) 와 독일어 (3,555 개 주장) 로 구성된 대규모 데이터셋을 제공하며, 각 주장에 해명 기사, 시각적 증거, 저널리즘 검증 기준에 따른 분류된 증거가 포함되어 있습니다.
3. 기관별 검증 관행 분석: 다양한 팩트체크 기관 간 증거 사용 패턴 (예: 과학 관련 기관은 전문가 증언과 정량적 데이터를 선호, 일부 기관은 멀티미디어를 많이 활용) 을 분석하여 유럽 내 검증 관행의 차이를 규명했습니다.
4. LLM 성능 벤치마킹: 증거 추출 및 정당화 생성을 위한 다양한 LLM(Gemini, Qwen, Llama) 및 멀티모달 LLM 의 성능을 체계적으로 비교 평가했습니다.

4. 결과 (Results)

• 모델 성능:
  • 증거 추출 및 정당화 생성: Gemini-2.5-Pro가 모든 평가 지표 (정확성, 일관성, 완전성) 에서 가장 높은 점수를 기록했습니다. Qwen2.5 와 Llama3.3 은 상황에 따라 성능이 엇갈렸으나, 전반적으로 Gemini 가 우세했습니다.
  • 다모달 통합 효과: 텍스트만 사용할 때와 이미지/비디오를 포함할 때를 비교한 결과, Gemini-2.5-Pro는 시각적 증거를 통합했을 때 일관성과 정확성이 더욱 향상되는 것으로 나타났습니다. 반면, Qwen2.5-VL 은 텍스트와 시각 신호 간의 정합성이 상대적으로 낮았습니다.
• 데이터 통찰:
  • 언어별 차이: 프랑스어 출판물은 정량적 데이터, 멀티미디어, 목격자 증언을 독일어 출판물보다 상대적으로 더 많이 활용했습니다.
  • 판정별 차이: "부분적 진실 (Partially true)"로 판정된 주장들은 문서 증거 (전문가, 공식 기록, 통계) 에 가장 크게 의존하는 반면, "기타 (Other)" 범주는 이러한 문서 증거의 비율이 낮았습니다.
• 평가 신뢰도: 인간 어노테이터와 LLM 평가자 (G-Eval) 간의 결과에 높은 상관관계가 있어, LLM 을 활용한 대규모 평가의 신뢰성을 입증했습니다.

5. 의의 및 의의 (Significance)

• 해석 가능한 팩트체크 모델 개발: 단순한 진위 판별을 넘어, "어떤 증거로 인해 어떤 결론에 도달했는지"를 구조적으로 설명하는 해석 가능 (Explainable) 한 AI 모델 개발의 기반을 마련했습니다.
• 저널리즘과 AI 의 융합: 자동화 시스템이 전문 팩트체크 기관의 복잡한 검증 프로세스 (1 차 자료 우선, 소스 비판 등) 를 모방할 수 있도록 돕는 데이터 인프라를 제공합니다.
• 다국어·다모달 연구의 확장: 영어 중심의 연구에서 벗어나, 프랑스어와 독일어 등 비영어권 언어와 시각적 요소를 포함한 미스정보 검증 연구의 표준을 제시합니다.
• 문화적·조직적 비교 연구: 서로 다른 국가와 미디어 환경에서 팩트체크 기관들이 어떻게 다른 증거를 활용하는지 비교 분석할 수 있는 토대를 제공하여, 검증 전략의 문화적 차이를 이해하는 데 기여합니다.

이 논문은 단순한 데이터셋 제공을 넘어, 팩트체크의 본질적인 과정인 '증거 기반 추론'을 AI 가 학습하고 모방할 수 있도록 하는 방법론적 혁신을 제시했다는 점에서 의의가 큽니다.