Retrieving Climate Change Disinformation by Narrative

1. 문제 정의 (Problem Statement)

기후 변화 관련 허위 정보 (Disinformation) 탐지는 기존에 **고정된 분류 체계 (Fixed Taxonomies)**에 의존해 왔습니다. 그러나 허위 정보의 내러티브는 빠르게 진화하며 새로운 형태가 등장하기 때문에, 미리 정의된 레이블 집합을 가진 분류 모델은 새로운 내러티브를 감지하는 데 한계가 있습니다.

또한, 내러티브 식별을 단순한 검색 (Retrieval) 문제로 재정의할 때 다음과 같은 기술적 난제가 존재합니다:

• 추상적 설명과 구체적 텍스트 간의 격차: 내러티브의 핵심 메시지 (예: "CO2 는 식물 음식이다") 는 추상적이지만, 이를 지지하는 실제 텍스트들은 다양한 표현과 논리적 함의 (Logical Entailment) 를 통해 간접적으로 표현됩니다.
• 기존 검색 모델의 한계: 표준 밀도 검색 (Dense Retrieval) 이나 임베딩 기반 모델은 표면적 의미 매칭에는 강하지만, 내러티브의 핵심 메시지나 논리적 구조를 파악하는 데 취약합니다.

2. 방법론 (Methodology)

저자들은 기후 허위 정보 탐지를 내러티브 검색 (Narrative Retrieval) 작업으로 재정의했습니다. 주어진 내러티브의 핵심 메시지를 쿼리로 사용하여 코퍼스 내 텍스트를 정렬하는 방식입니다. 이를 위해 제안된 핵심 프레임워크는 **SpecFi (Speculative Fiction)**입니다.

2.1. SpecFi 프레임워크

SpecFi 는 추상적인 내러티브 설명과 구체적인 텍스트 구현체 사이의 격차를 메우기 위해 **가상 문서 (Hypothetical Documents)**를 생성하는 HyDE(Hypothetical Document Embeddings) 전략을 활용합니다.

• 작동 원리:

  1. Few-Shot 예시 선택: 각 내러티브 쿼리에 대해 코퍼스에서 관련 예시 텍스트를 하나 선택합니다.
  2. 가상 문서 생성: 선택된 예시와 내러티브 설명을 바탕으로 LLM 을 사용하여 해당 내러티브를 지지하는 10 개의 가상의 문서 (Hypothetical Documents) 를 생성합니다.
  3. 검색 수행: 생성된 가상 문서들을 임베딩하여 집계 (Aggregated) 한 후, 이를 기반으로 테스트 세트에서 관련 문서를 검색합니다.

• 두 가지 변형 (Variants):

  • SpecFi-DR (Dense Retrieval): 코퍼스에서 가장 유사한 실제 텍스트를 Few-Shot 예시로 사용합니다.
  • SpecFi-CS (Community Summary): NodeRAG 기반의 이질적 그래프 (Heterogeneous Graph) 를 구축하고, Leiden 알고리즘을 통해 커뮤니티 감지를 수행합니다. 이때 생성된 **커뮤니티 요약 (Community Summaries)**을 Few-Shot 예시로 사용합니다. 이는 레이블 없이 텍스트만으로부터 내러티브 구조를 추출한 것입니다.

2.2. 데이터셋 및 평가 지표

• 데이터셋: CARDS(2,904 개 텍스트), Climate Obstruction(CO, 255 개), PolyNarrative 기후 변화 하위집합 (PN-CC) 등 3 가지 기후 허위 정보 데이터셋을 재사용하여 검색 평가에 활용했습니다.
• 지표: MAP (Mean Average Precision), nDCG, R-Precision 등 표준 정보 검색 지표를 사용했습니다.
• 내러티브 변동성 (Narrative Variance, $V_i$): 내러티브 그룹 내 텍스트 임베딩의 분산 정도를 측정하는 새로운 지표를 제안했습니다.

3. 주요 기여 (Key Contributions)

1. 내러티브 기반 검색 평가: 고정된 분류가 아닌 검색 관점에서 3 가지 기후 허위 정보 데이터셋을 재평가했습니다.
2. SpecFi 프레임워크 제안: 추상적 내러티브와 구체적 텍스트 간의 격차를 해결하기 위해 가상 문서 생성과 그래프 기반 커뮤니티 요약을 결합한 새로운 아키텍처를 제시했습니다.
3. 내러티브 변동성 (Narrative Variance) 의 발견: 내러티브 내 텍스트의 분산 정도 ($V_i$) 가 검색 난이도와 강한 상관관계가 있음을 통계적으로 증명했습니다. 특히 표준 검색 모델은 변동성이 높은 내러티브에서 성능이 급격히 저하되지만, SpecFi-CS 는 이를 견디는 강건성을 보입니다.
4. 레이블 없는 내러티브 구조 추출: 그래프 기반 커뮤니티 감지 (NodeRAG) 를 통해 생성된 요약문이 전문가가 만든 분류 체계 (Taxonomy) 와 높은 일치도를 보임을 발견했습니다. 이는 레이블이 없는 텍스트에서도 내러티브 구조를 자동으로 추출할 수 있음을 시사합니다.

4. 실험 결과 (Results)

• 성능 (CARDS 데이터셋 기준):
  • **SpecFi-CS (Abliterated Gemma-3-27b)**가 MAP 0.505를 기록하여, 모든 레이블 없는 설정 중 가장 높은 성능을 보였습니다.
  • 기존 밀도 검색 (Dense Baseline, MAP 0.299) 과 SpecFi-DR(MAP 0.457) 보다 우월한 성능을 발휘했습니다.
  • CO 데이터셋에서는 SpecFi-DR 이 SpecFi-CS 보다 약간 더 좋은 성능을 보였으나, 이는 데이터셋의 특성 (짧은 텍스트, 광고 문구 등) 에 기인한 것으로 분석되었습니다.
• 내러티브 변동성과의 상관관계:
  • BM25와 Qwen3-Embedding-4B는 내러티브 변동성이 높은 그룹에서 MAP 가 각각 **63.4%**와 51.8% 감소했습니다.
  • 반면, SpecFi-CS는 변동성이 높아도 MAP 감소폭이 **32.7%**에 그쳐 가장 강건한 성능을 보였습니다.
  • 부분 상관 분석 (Partial Correlation) 을 통해 이 결과가 표본 크기 ($m_i$) 의 영향이 아님을 확인했습니다.
• 커뮤니티 요약의 수렴:
  • NodeRAG 를 통해 생성된 커뮤니티 요약문 중 11 개가 전문가 분류 체계와 상위 수준에서 일치했습니다. 이는 그래프 기반 방법이 레이블 없이도 내러티브 구조를 포착할 수 있음을 의미합니다.
  • 실패 사례 (Collapse, Drift) 를 분석하여 Leiden 알고리즘의 해상도 조정이나 태도 (Stance) 인식의 필요성을 지적했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 유연한 허위 정보 모니터링: 고정된 분류 체계에 의존하지 않고, 새로운 내러티브가 등장할 때마다 핵심 메시지를 쿼리로 입력하여 실시간으로 탐지할 수 있는 유연한 전략을 제시했습니다.
• 강건한 검색 아키텍처: 내러티브의 표현 방식이 다양할 때 (High Variance) 발생하는 검색 성능 저하를 해결하기 위해, 그래프 기반 요약과 가상 문서 생성을 결합한 SpecFi-CS 가 효과적인 해결책임을 입증했습니다.
• 레이블 없는 구조 발견: 레이블이 없는 대량의 텍스트 데이터에서도 그래프 기반 커뮤니티 감지를 통해 전문가 수준의 내러티브 구조를 추출할 수 있음을 보여주어, 미래의 새로운 허위 정보 트렌드 탐지에 중요한 통찰을 제공했습니다.

이 연구는 기후 변화 허위 정보뿐만 아니라, 진화하는 다양한 형태의 허위 정보 내러티브를 추적하고 대응하기 위한 정보 검색 및 자연어 처리 분야의 새로운 패러다임을 제시합니다.