Conspiracy Frame: a Semiotically-Driven Approach for Conspiracy Theories Detection

1. 문제 정의 (Problem Definition)

• 배경: 음모론 (Conspiracy Theories, CTs) 은 반권위주의적 내러티브로, 사회적 갈등을 유발하고 정치적 정보에 대한 대중의 인식을 왜곡합니다. 이는 정보 무질서 (Information Disorder) 의 확산에 중요한 역할을 합니다.
• 기존 연구의 한계:
  1. 계산적 관점: 기존 데이터셋은 대부분 이진 분류 (Binary Classification) 또는 다중 레이블 분류에 초점을 맞추고 있어, 음모론의 구조적 특징 (내러티브의 구성 방식) 을 구분하지 못합니다. 이는 음모론을 허위 정보 (Disinformation) 나 선전 (Propaganda) 과 명확히 구분하기 어렵게 만듭니다.
  2. 주제적 관점: 기존 NLP 리소스들은 주로 COVID-19, 백신, 기후 변화 등 특정 주제에 국한되어 있어, 다양한 분야의 음모론에 대한 일반화 (Generalizability) 가 부족합니다.
• 핵심 과제: 음모론의 내용 (Topic) 이 아닌 구조 (Structure) 와 의미 (Semantics) 를 기반으로 한 보다 일반화 가능하고 설명 가능한 (Explainable) 탐지 방법론의 필요성.

2. 방법론 (Methodology)

가. 음모론 프레임 (Conspiracy Frame) 설계

• 이론적 기반: 프레임 의미론 (Frame Semantics, Fillmore) 과 기호학 (Semiotics) 을 결합하여 음모론의 내러티브 구조를 정의했습니다.
• 5 가지 프레임 요소:
  • 핵심 요소 (Core):
    • Plan: 악의적인 목적을 달성하기 위한 사건, 상황, 행동 (예: 강제 백신, 민족 대체).
    • Secret: 계획에 대한 은밀함의 뉘앙스 (예: 진실을 침묵시키다, 미디어가 속이다).
  • 비핵심 요소 (Non-core):
    • In-group: 피해를 입는 '우리' (예: 기독교인, 원주민).
    • Out-group: 적대적인 '그들' (예: 엘리트, 미디어).
    • Call-to-action: 재앙을 막기 위해 취해야 할 행동 (예: 시위 조직하기).
• 정의: "도덕적으로 악한 집단이 비밀스러운 계획을 통해 희생자를 해치고, 이를 막지 않으면 재앙이 초래된다는 내러티브."

나. Con.Fra. 데이터셋 구축

• 데이터 수집: Telegram 의 35 개 주요 음모론 채널에서 2023-2024 년 동안 수집된 11,618 개 채널 중 상위 채널의 메시지 2,577 개를 대상으로 합니다.
• 주석 (Annotation) 프로세스:
  1. 1 차 세션 (코퍼스 생성): 13 명의 annotator 가 2,077 개의 메시지를 5 가지 프레임 요소에 따라 스팬 (Span) 수준으로 주석.
     • 결과: 음모론 메시지 20.63%, 비음모론 77.00% (불균형 분포).
     • 일관성: 전체 주석 간 Kappa 0.41 (중간), 스팬 주석 간 Kappa 0.63~0.81 (상당).
  2. 2 차 세션 (LLM 평가): 500 개의 새로운 (Out-of-domain) 메시지에 대해 LLM 의 분류 및 스팬 탐지 성능을 평가.

다. 실험 설정 및 프레임 정렬

• FrameNet 정렬: Con.Fra. 데이터셋의 Plan과 Secret 스팬을 FrameNet(v1.7) 의 어휘 단위 (Lexical Units) 와 매핑하여 추상적인 의미 패턴 (예: 'Kinship', 'Ingest_substance') 을 추출했습니다.
• LLM 평가 모델: LLaMA-3.3 (8B, 70B) 사용.
• 프롬프트 전략 비교:
  1. Zero-shot: 정의만 제공.
  2. Few-shot: 예시 제공.
  3. Frame-guided: Few-shot 예시 + FrameNet 기반의 의미적 힌트 (Frame hints) 추가.
• 평가 지표: 정밀도 (Precision), 재현율 (Recall), F1 점수, 그리고 인간 평가자 선호도를 기반으로 한 ELO 랭킹 시스템.

3. 주요 기여 (Key Contributions)

1. Conspiracy Frame 개념 제안: 음모론의 내용적 특징이 아닌, 기호학적 구조 (계획, 비밀, 집단 구분, 행동 촉구) 를 정의한 새로운 의미 표현 체계.
2. Con.Fra. 데이터셋 공개: Telegram 메시지에 대해 스팬 수준으로 세밀하게 주석된 최초의 대규모 코퍼스.
3. 의미론적/기호학적 접근의 도입: 단순 분류를 넘어, 음모론 내러티브의 구조적 패턴을 이해하고 설명할 수 있는 기반 마련.
4. FrameNet 매핑 분석: 음모론 텍스트에서 추출된 스팬이 어떤 추상적인 의미 프레임 (예: 'Ingest_substance', 'Firefighting') 과 연결되는지 분석하여, 주제와 무관한 고차원적 신념 패턴을 규명.

4. 실험 결과 (Results)

가. 분류 및 스팬 탐지 성능

• 모델 크기 영향: 70B 모델이 8B 모델보다 성능이 우세했으나 (F1 +3.1, Recall +3.8), 모델 크기의 영향은 제한적이었습니다.
• 프롬프트 전략 비교 (In-domain):
  • 분류 (Classification): Zero-shot, Few-shot, Frame-guided 모두 F1 점수가 유사했습니다. Frame-guided 는 정밀도 (Precision) 는 높였으나 재현율 (Recall) 은 Few-shot 에 비해 낮았습니다. 의미적 프레임 정보가 분류 성능을 획기적으로 높이지는 못했습니다.
  • 스팬 탐지 (Span Detection): Zero-shot 은 모든 요소에서 가장 낮은 성능을 보였습니다. Few-shot 과 Frame-guided 가 우세했으나, 두 전략 간에는 요소별 (Secret, Call-to-action 등) 로 상이한 결과가 나타났습니다.
• 범주 외 (Out-of-domain) 평가:
  • ELO 랭킹 결과, 70B 모델이 8B 모델보다 일관되게 높은 성능을 보였습니다.
  • Frame-guided vs Few-shot: 텍스트 분류에서는 Frame-guided 가 우세했으나 (830/1000), 스팬 탐지에서는 Few-shot 이 더 좋은 성능을 보였습니다 (213/1000).

나. 정성적 분석 (Qualitative Analysis)

• 프레임 매핑 결과:
  • 인간과 LLM 모두 EXECUTE_PLAN이나 SECRECY_STATUS 같은 핵심 프레임보다는 POLITICAL_LOCALES(정치적 장소), STATEMENT(진술), INGEST_SUBSTANCE(섭취), FIREFIGHTING(소방/투쟁) 등의 프레임을 더 빈번하게 활성화했습니다.
  • 이는 음모론이 구체적인 주제보다는 침입, 전염, 전쟁 등의 은유적 메타포와 정치적 권력 구조를 재현하는 경향이 있음을 시사합니다.
• 오류 분석:
  • Frame-guided 의 장점: 암시적인 '비밀 (Secret)'을 파악하는 데 강점이 있음 (예: "머리에 심으려 한다"를 조작으로 해석).
  • Few-shot 의 장점: 불필요한 문맥을 포함하지 않고 핵심 문장을 정확히 추출하는 정밀도 우위.
  • 한계: Frame-guided 접근법이 때로는 문맥을 과도하게 확장하거나, 반대로 핵심 인과관계를 단편화하는 경향이 있음.

5. 의의 및 결론 (Significance & Conclusion)

• 의의:
  • 음모론 탐지를 단순한 분류 문제를 넘어 구조적 의미 분석의 영역으로 확장했습니다.
  • 프레임 의미론을 통해 음모론 내러티브가 어떻게 구성되는지 (Us vs. Them, Secret Plan, Catastrophe) 를 체계적으로 설명할 수 있는 틀을 제공했습니다.
  • LLM 이 음모론을 인식하는 방식에 대한 통찰을 제공하며, 향후 더 설명 가능한 AI 시스템 개발의 기초가 됩니다.
• 한계 및 향후 과제:
  • 현재 프레임 기반 접근법이 In-context 학습에서 명확한 성능 향상을 가져오지는 못함.
  • 향후 작업: 프레임 의미론을 프롬프트 힌트 수준을 넘어, 지식 그래프 (Knowledge Graph) 를 구축하여 LLM 을 미세 조정 (Fine-tuning) 하거나 사전 학습 (Pre-training) 하는 방식으로 심층 통합할 계획. 이를 통해 모델이 프레임 간의 관계와 도메인 연결을 구조적으로 학습하도록 함.

이 논문은 음모론 탐지 기술이 단순한 키워드 매칭이나 분류를 넘어, 기호학적 구조와 의미론적 프레임을 이해하는 방향으로 진화해야 함을 강력히 주장합니다.