기술 요약: ChronoFact – 타임라인 기반 시계열적 사실 검증

문제 정의

디지털 허위 정보의 확산에는 **시계열적 주장(temporal claims)**이라는 중요한 범주가 포함됩니다. 이는 명시적 요소(예: "1953년에") 또는 암시적 요소(예: "다른 사건 이전에")를 포함하는 시간 특정적 문장을 의미합니다. 기존의 사실 확인 시스템은 개별 사건의 진위 여부에만 집중하여, 사건의 **연대순(chronological order)**과 **시간적 관계(temporal relationships)**를 간과하기 때문에 이러한 주장을 정확하게 검증하는 데 실패하는 경우가 많습니다.

현재의 한계점은 다음과 같습니다:

• 순서에 대한 간과: 시스템이 개별 사건은 참이라고 검증하면서도, 그 사건들의 순서가 증거와 모순되는 경우(예: 증거는 반대의 상황을 보여주는데 협상이 폭격 이후에 일어났다고 주장하는 경우)를 놓칠 수 있습니다.
• 복잡성 처리 능력 부족: 기존 방식은 중첩된 사건(동시에 발생하는 사건)이나 반복되는 사건(동일한 사건이 여러 시점에 걸쳐 발생하는 경우)이 포함된 주장을 처리하는 데 어려움을 겪습니다.
• 데이터 부족: 현재의 데이터셋(예: T-FEVER, T-FEVEROUS)은 주로 단일 사건 중심의 주장이거나 엄격한 연대순 의존성이 부족하여, 실제 세계의 복잡한 시계열적 서사를 포착하지 못합니다.

방법론: ChronoFact 프레임워크

ChronoFact는 주장과 증거 모두에 대해 일관된 타임라인을 구축하고 비교함으로써 시계열적 주장을 검증하도록 설계된 새로운 프레임워크입니다. 이 시스템은 다음 모듈들을 통해 작동합니다:

1. 이벤트 추출 및 인코딩

• 이벤트 추출: 시스템은 GENRE 모델을 사용하여 관련 위키피디아 문서를 검색하고, AllenNLP의 의미 역할 레이블링(Semantic Role Labeling)을 사용하여 주장과 증거로부터 이벤트를 추출합니다. 각 이벤트는 핵심 정보와 시간적 인자(temporal arguments)로 풍부하게 구성됩니다.
• 이벤트 인코더: 이벤트는 flan-T5 모델을 사용하여 토큰화 및 처리됩니다.
  • 토큰 표현: 표준 토큰 임베딩이 생성됩니다.
  • 시간적 인코딩: 날짜 토큰에 대해 평균 풀링(mean pooling)을 적용한 후, 컨텍스트 내 가장 이른 날짜로부터의 거리에 기반한 위치 인코딩(positional encoding)을 수행합니다.
  • 최종 표현: 이벤트 수준(CLS 토큰)과 토큰 수준의 표현이 결합됩니다.

2. 다층 어텐션 인코더 (Multi-level Attention Encoder)

증거 이벤트가 주장 이벤트와 얼마나 관련이 있는지 결정하기 위해, 프레임워크는 세 가지 수준에서 어텐션 점수를 계산합니다:

• 토큰 수준: 모든 토큰 쌍 간의 코사인 유사도.
• 이벤트 수준: 주장 이벤트와 증거 이벤트의 CLS 표현 간 코사인 유사도.
• 시간 수준: 평균 풀링된 날짜 표현 간의 코사인 유사도.
  최종 어텐션 점수는 이 세 수준의 평균이며, 하위 분류를 위해 증거 이벤트를 가중치 할당하는 데 사용됩니다.

3. 분류 모듈

프레임워크는 세 가지 상호 연결된 분류기를 채택합니다:

• 주장 이벤트 분류기 (Claim Event Classifier): 어텐션 점수로 가중치를 둔 상위-$k$개의 관련 증거 이벤트를 바탕으로 각 개별 주장 이벤트의 진위 여부(지지, 반박, 정보 부족)를 예측합니다.
• 연대순 분류기 (Chronological Order Classifier): 이것은 핵심적인 혁신 요소입니다. 이 분류기는 주장 이벤트의 순서가 증거 이벤트의 타임라인과 일치하는지 평가합니다.
  • 증거 이벤트는 관련도에 따라 정렬되며, GPT를 사용하여 주장 이벤트와 함께 연대순 시퀀스를 구축합니다.
  • 두 개의 Bi-LSTM이 재정렬된 주장 및 증거 이벤트 시퀀스를 인코딩합니다.
  • 최종 분류기는 주장의 연대순이 증거에 의해 지지되는지 혹은 반박되는지를 예측합니다.
• 주장 분류기 (Claim Classifier): 이벤트 분류기와 연대순 분류기의 출력을 종합하여 주장 전체의 진위 여부를 결정합니다.

4. 학습 전략

모델은 다음과 같은 복합 손실 함수를 사용하여 학습됩니다:

• 교차 엔트로피 손실 ($L_{cross}$): 개별 이벤트 레이블, 연대순, 그리고 전체 주장 레이벨을 예측하기 위한 표준 손실입니다.
• 소프트 로직 손실 ($L_{soft}$): Gödel t-norm을 사용하여 논리적 일관성을 강제합니다. 이는 모든 구성 이벤트가 지지되고 연대순이 올바를 때만 전체 주장이 "지지(Supported)"되도록 보장합니다. 만약 어떤 이벤트라도 반박되거나 순서가 틀리면 주장은 "반박(Refuted)"됩니다.
• 전체 손실: $L = (1-\mu)L_{cross} + \mu L_{soft}$ 형태의 가중 결합입니다.

주요 기여

1. ChronoFact 프레임워크: 개별 이벤트 검증을 넘어 전체 주장 서사의 연대순 정확성을 평가하는 체계적인 접근 방식을 제공합니다. 이 프레임워크는 증거를 타임라인으로 조직함으로써 중첩 및 반복되는 이벤트를 명시적으로 처리합니다.
2. ChronoClaims 데이터셋: 40,249개의 훈련, 3,544개의 검증, 3,735개의 테스트 주장을 포함하는 새로운 벤치마크 데이터셋입니다. 여기에는 다음과 같은 복잡한 시계열 구조가 포함됩니다:
   • 3~5개의 이벤트를 가진 주장.
   • 명시적 및 암시적 시간 표현.
   • 중첩 및 반복되는 이벤트 시나리오.
3. 다층 추론: 의미적 및 시간적 관련성을 동시에 포착하기 위해 토큰, 이벤트, 시간 수준의 어텐션 메커니즘을 통합했습니다.

실험 결과

프레임워크는 ChronoClaims, T-FEVER, T-FEVEROUS, T-QuanTemp를 대상으로 평가되었습니다.

• ChronoClaims에서의 성능: ChronoFact는 **85.49%**의 매크로 F1 점수를 달성하여 최첨단 베이스라인(예: TACV 63.42%, GPT-4o 61.93%)을 크게 앞질렀습니다.
  • 이벤트 수가 증가함에 따라(3, 4, 5개) 성능 저하가 다른 모델보다 적게 나타나 뛰어난 견고성을 입증했습니다.
  • 다른 모델들이 어려움을 겪었던 중첩(84.86% F1) 및 반복(80.89% F1) 이벤트 유형에서 탁월한 성능을 보였습니다.
• 일반화 능력: T-FEVER 및 T-FEVEROUS에서도 (단일 이벤트 중심의 특성에도 불구하고) 각각 56.29%와 47.78%의 최고 매크로 F1 성능을 기록했습니다.
• 절제 연구 (Ablation Studies): 연대순 분류기를 제거했을 때 가장 큰 성능 저하(예: ChronoClaims에서 85.49%에서 76.88%로 하락)가 발생했으며, 이는 이벤트의 순서를 검증하는 것이 정확도에 결정적임을 확인시켜 줍니다.

의의 및 주장

저자들은 ChronoFact가 현재의 오정보 탐지 시스템이 가진 결정적인 결함, 즉 사건의 순서를 추론하지 못하는 문제를 해결한다고 주장합니다. 이 프레임워크는 사실 검증을 독립적인 팩트 체크의 집합이 아닌 타임라인 정렬 문제로 취급함으로써, 개별 사실은 참이지만 서사적으로는 연대순상 불가능한 경우 발생하는 거짓 양성(false positives)을 방지합니다.

본 논문은 기존 연구들(TACV 등)이 검색이나 개별 이벤트 추론을 위해 시간 정보를 활용하기는 하지만, 주장과 증거 사이의 연대순 일관성을 검증하는 데는 실패한다는 점을 강조합니다. Yossi Yona와 Davie Dodds와 관련된 사례 연구에서 보여준 것처럼, 사건의 순서 불일치를 감지하고 복잡한 시간적 역학(중첩 및 반복)을 처리하는 ChronoFact의 능력은 자동화된 사실 확인 분야에서 상당한 진보를 나타냅니다.