A Causal Graph Approach to Oppositional Narrative Analysis

이 논문은 인간 편향이 개입된 기존 블랙박스 모델을 대체하여, 담화 내 개체 간 상호작용을 그래프로 표현하고 노드 수준의 인과 추정을 통해 최소 인과 서브그래프를 추출함으로써 대립적 내러티브 분류 성능을 획기적으로 향상시키는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"음모론이나 대립적인 이야기를 어떻게 기계가 이해하고, 그 속의 핵심 주범을 찾아낼 수 있을까?"**에 대한 해답을 제시합니다.

기존의 방법들은 마치 **블랙박스 (Black Box)**처럼, "이 단어가 나오니까 음모론이야!"라고 단순히 확률만 계산했습니다. 하지만 이 연구는 그보다 훨씬 더 똑똑하고 설명 가능한 방법을 고안해냈습니다.

이 연구의 핵심 아이디어를 일상적인 비유로 설명해 드릴게요.

---

1. 기존 방식 vs. 새로운 방식: "수사관"의 차이

• 기존 방식 (블랙박스):
  마치 무작위 검색을 하는 수사관 같습니다. "이 단어가 많이 나오니깐 의심스럽다"라고만 판단합니다. 하지만 왜 의심스러운지, 누가 누구와 연결되어 있는지 그 관계를 모릅니다. 마치 범인 목록만 보고 "저 사람이 범인일 것 같아"라고 추측하는 것과 비슷합니다.

• 이 연구의 방식 (인과 관계 그래프):
  이 연구는 수사관 + 범죄 조직도 분석가를 합친 듯한 방식입니다.

  1. 이야기 속의 등장인물 (주체) 들을 찾아냅니다.
  2. 그들 사이의 **연결고리 (관계)**를 그림 (그래프) 으로 그립니다.
  3. 가장 중요한 것은 **"누가 진짜로 사건을 일으켰는가?"**를 **인과 관계 (Cause & Effect)**로 증명한다는 점입니다.

2. 핵심 기술 3 단계: "수사 과정"을 따라가 보세요

이 연구가 사용하는 방법은 크게 세 단계로 나뉩니다.

① 등장인물과 관계도 그리기 (그래프 구축)

이야기를 읽으면, 기계는 "정부", "백신", "5G" 같은 단어들을 **등장인물 (노드)**로 인식합니다. 그리고 "정부가 백신을 숨겼다"라는 문장은 **연결선 (에지)**으로 그립니다.

• 비유: 마치 범죄 조직도를 그리는 것과 같습니다. 누가 누구를 지시하고, 누가 누구와 공모하는지 선으로 연결해 봅니다.

② 불필요한 정보 제거 (최소 인과 서브그래프)

여기서부터가 이 연구의 가장 멋진 부분입니다. 조직도에는 정말 중요한 핵심 인물도 있지만, 그냥 주변에 서 있는 부수적인 인물들도 많습니다.

• 비유: 수사관이 "이 사건을 해결하는 데 정말 필요한 핵심 인물은 누구일까?"라고 생각하며, 조직도에서 불필요한 사람을 지워나갑니다.
• 만약 "정부"라는 사람만 남겼을 때에도 "음모론"이라는 결론이 나온다면, "백신"이나 "5G" 같은 다른 요소는 사실 핵심이 아니라는 뜻입니다.
• 이 과정을 통해 **가장 작지만 핵심적인 '범인 목록' (최소 인과 서브그래프)**만 남깁니다.

③ "만약에?" 시나리오 테스트 (인과 추론)

마지막으로 기계는 가상 시나리오를 실행합니다.

• 질문: "만약 '정부'라는 인물을 이 이야기에서 지워버린다면, 음모론이라는 결론이 여전히 나올까?"
• 결과: 만약 지웠을 때 결론이 달라진다면, 그 인물은 **진짜 핵심 원인 (Causal Node)**입니다.
• 비유: 마치 레고 블록을 하나씩 떼어보며, "이 블록을 빼면 탑이 무너지나?"를 확인하는 것과 같습니다. 탑이 무너지는 그 블록이 바로 '핵심 원인'입니다.

3. 왜 이 방식이 특별한가요?

• 편견을 줄입니다: 사람이 미리 "이건 나쁜 놈이야"라고 정해둔 규칙을 따르지 않습니다. 기계가 스스로 관계와 인과를 찾아냅니다.
• 설명 가능합니다: "왜 음모론이라고 판단했나요?"라고 물으면, 기계는 "이 두 인물이 연결되어 있고, 이 두 명만으로도 결론이 나오기 때문입니다"라고 구체적인 이유를 보여줍니다.
• 성능이 뛰어납니다: 이 방법으로 테스트한 결과, 기존에 가장 잘하던 방법들보다 **정확도 (F1 점수 0.93)**가 더 높았으며, 1 위를 차지했습니다.

4. 결론: "진짜 이유"를 찾아내는 탐정

이 논문은 단순히 "음모론을 찾아내는 것"을 넘어, "왜 그것이 음모론으로 보이는지 그 구조와 이유를 증명하는" 새로운 방식을 제시했습니다.

마치 진짜 탐정이 사건 현장의 모든 흔적을 분석하여, "이 사건은 A 가 B 를 부추겨서 일어난 것이 확실하다"라고 논리적으로 증명하는 것과 같습니다. 이는 가짜 뉴스나 조작된 정보를 찾아내는 데 매우 강력한 무기가 될 수 있습니다.

한 줄 요약:

"이 연구는 기계가 이야기를 읽을 때, 단순히 단어를 나열하는 게 아니라 등장인물들의 관계를 그림으로 그려서, 진짜 사건을 일으킨 '핵심 주범'을 찾아내는 탐정 같은 시스템을 만들었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 음모론 (Conspiracy theories) 은 공공 여론 조작 및 민주적 제도에 대한 공격 수단으로 악용될 수 있으며, 특히 COVID-19 팬데믹 기간 동안 소셜 미디어를 통한 음모론적 내러티브는 사회적 불신을 조장했습니다.
• 기존 방법의 한계:
  • 기존 텍스트 분석 방법은 사전 정의된 온톨로지 (ontology) 에 기반한 주석 데이터에 의존하며, 이는 블랙박스 모델에 인간의 편향을 내재화시킵니다.
  • 대부분의 접근법은 비정형적이고 선형적인 패턴 인식에 의존할 뿐, 담화에서 자연스럽게 발생하는 개체 간의 구조적 상호작용을 모델링하지 못합니다.
  • 역할 (Role) 할당에 기반한 기존 방식은 참여의 연속적이고 확산된 특성을 포착하지 못하며, 컨텍스트의 미묘함과 숨겨진 의도를 가진 용어 사용으로 인해 자동화 및 주석 작업에 어려움이 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 내러티브 텍스트를 **개체 - 상호작용 그래프 (Entity-Interaction Graph)**로 표현하고, 이를 기반으로 **인과적 추론 (Causal Inference)**을 수행하여 음모론적 내러티브를 탐지하고 분류하는 새로운 프레임워크를 제안합니다.

주요 단계별 프로세스:

1. 스팬 추출 및 개체 분류 (Span Extraction & Entity Classification):
   • SpERT 아키텍처를 기반으로 하여, 입력 텍스트에서 가능한 모든 개체 후보 (Span) 를 추출합니다.
   • BERT 인코더 (LOCO 데이터셋으로 미세 조정된 후 동결됨) 를 사용하여 문맥 임베딩을 생성하고, 선형 분류기를 통해 개체 유형을 할당합니다.
2. 이분 그래프 (Bipartite Graph) 및 초그래프 (Hypergraph) 구성:
   • 추출된 개체 (Vertex set $V$) 와 관계 노드 (Vertex set $E$) 로 구성된 이분 그래프를 생성합니다.
   • Gumbel-Sigmoid 추정기를 사용하여 이산적인 관계 소속을 결정하며, 이를 초그래프 (Hypergraph) 구조로 해석하여 개체 간의 복잡한 상호작용을 모델링합니다.
3. 이질적 그래프 트랜스포머 (HGT) 분류:
   • 생성된 그래프를 기반으로 **Heterogeneous Graph Transformer (HGT)**를 사용하여 그래프 레벨의 분류 (음모론 vs 비판적 내러티브) 를 수행합니다.
   • HGT 는 구조적 및 의미적 이질성을 고려하여 노드와 엣지 유형에 의존하는 프로젝션 행렬을 통해 역할별 영향 패턴을 포착합니다.
4. 인과 그래프 증류 (Causal Graph Distillation) 및 ITE 추정:
   • HyperSCI 모델을 도입하여 각 개체 (노드) 가 최종 분류에 미치는 **개별 치료 효과 (Individual Treatment Effect, ITE)**를 추정합니다.
   • 혼란 변수 (Confounder) 제어: MLP 와 Wasserstein 거리 정규화를 통해 혼란 변수의 영향을 제거합니다.
   • 간섭 (Interference) 모델링: HyperGNN 레이어를 사용하여 인접 노드 간의 정보 전파 (Spillover effect) 를 고려합니다.
   • Leave-One-Out (LOO) 기법: 실제 반사실 (Counterfactual) 레이블이 부재하므로, 노드를 제거한 그래프를 생성하여 합성 데이터를 구축하고 ITE 를 계산합니다.
5. 최소 인과 서브그래프 추출:
   • 추정된 ITE 를 기반으로 그래프를 정렬하고, 불필요한 노드를 가지치기 (Pruning) 하여 최소한의 인과 서브그래프를 추출합니다. 이를 통해 모델의 의사결정 근거를 해석 가능하게 만듭니다.

3. 주요 기여 (Key Contributions)

1. 인과 그래프 표현 (Causal Graph Representation): 사전 정의된 역할 스키마에 의존하지 않고, 내러티브 텍스트에서 개체 - 상호작용 그래프를 추출하는 파이프라인을 제안했습니다.
2. 최소 인과 그래프 증류 (Minimal Causal Graph Distillation): 노드의 개별 치료 효과 (ITE) 를 추정하고 불필요한 노드를 제거하여 최소 인과 서브그래프를 추출하는 증류 절차를 도입했습니다. 이는 모델의 투명성과 해석 가능성을 높입니다.
3. 그래프 어텐션 분류 방법: 제안된 방법은 음모론 벡터 탐지에 효과적임을 입증하며, 지정된 분류 태스크에서 F1-score 0.93을 기록하여 기존 접근법들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: PAN 2024 Oppositional Narratives 태스크 (Telegram 메시지 기반, 영어/스페인어) 를 사용했습니다.
• 성능:
  • F1-Macro Score: 0.920 (음모론: 0.895, 비판적: 0.945)
  • Matthews Correlation Coefficient (MCC): 0.8407
  • 순위: 공식 벤치마크에서 1 위를 차지했습니다.
• 효율성:
  • 전체 파라미터 수는 약 109M 으로, 2 위인 DeBERTa-large 기반 모델 (304M 파라미터) 보다 약 1/3 수준으로 매우 경량화되었습니다.
  • BERT 인코더는 동결 (Frozen) 되었고, 그래프 구성 및 추론 컴포넌트는 약 200K 미만의 추가 파라미터만 사용합니다.
• 인과성 및 해석 가능성:
  • PEHE (Heterogeneous Effect 추정 정밀도): 0.2994
  • ATE (평균 치료 효과): 0.0218 (개별 단위 간 인과적 영향이 미세하게 분포됨을 시사)
  • 최소 서브그래프 압축률: 평균 **75.2%**의 압축률을 달성했습니다. 즉, 모델은 전체 개체의 일부만으로도 정확한 분류가 가능함을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 구조적 상호작용 모델링: 텍스트를 단순한 시퀀스가 아닌 개체 간의 구조적 관계로 모델링함으로써, 기존 선형 모델이 놓치던 음모론의 복잡한 특성을 포착했습니다.
• 해석 가능성 (Explainability): 블랙박스 모델의 한계를 극복하고, 어떤 개체 (노드) 가 음모론 분류에 결정적인 인과적 영향을 미쳤는지 구체적으로 식별할 수 있는 프레임워크를 제공했습니다.
• 도메인 적응: 소규모 태스크 데이터셋의 한계를 극복하기 위해 대규모 음모론 코퍼스 (LOCO) 를 활용한 도메인 적응 전학습 (Domain-Adaptive Pre-training) 전략이 효과적이었습니다.
• 윤리적 고려: 이 기술은 허위 정보 캠페인 탐지에 유용하지만, 동시에 정치적 반대세력 검열 도구로 악용될 수 있는 이중적 성격을 지니고 있음을 인정했습니다.

이 논문은 자연어 처리 분야에서 **인과 추론 (Causal Inference)**과 **그래프 신경망 (GNN)**을 결합하여 복잡한 내러티브 분석 문제를 해결하는 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.