Angry but Accurate: Detecting and Profiling the Counter-Misinformation Ecosystem on Twitter

문제 정의
소셜 미디어상의 허위 정보는 공적 담론에 상당한 위협이 되지만, 많은 수의 일반 사용자들이 거짓 주장에 적극적으로 대응하며 활동하고 있다. 그러나 '반(反) 허위 정보 생태계'(허위 사실을 바로잡는 사용자 및 콘텐츠)는 여전히 충분히 규명되지 않은 상태로 남아 있다. 이 분야의 지배적인 가정은 부정적 감정이 허위 정보의 주요 특징이라고 제안하며, 이는 교정적 콘텐츠가 더 중립적일 것임을 암시한다. 또한, 기존의 탐지 방법들은 URL이나 해시태그 샘플링에 의존하는 경우가 많아, 특정 태그가 없거나 텍스트로만 구성된 허위 정보를 놓치기 쉽다. 따라서 규모 있는 수준에서 허위 정보에 맞서는 이들의 언어적 및 계정 수준 특성을 이해하고, 특히 교정적 게시물이 목표로 하는 허위 정보와 정서적 및 구조적 프로필이 어떻게 다른지 결정할 필요가 있다.

연구 방법론
저자들은 2020~2021년 사이의 코로나19 관련 트윗 대규모 코퍼스를 사용하여 반 허위 정보 생태계를 탐지하고 프로파일링하기 위해 3단계 파이프라인을 채택하였다:

1. 데이터 추출 및 쌍 형성: 연구진은 다양한 출처(예: PolitiFact, Snopes)로부터 15,374개의 고유한 팩트 체크된 코로나19 허위 주장들을 수집하였다. BM25 검색 기법을 사용하여 이 주장들을 대규모 공개 트위터 데이터셋과 연결함으로써, 1,537,400개의 후보 주장-트윗 쌍을 생성하였다.
2. 입장 탐지 (NLI): 코로나19 허위 정보 데이터로 사전 미세 조정되고, GPT-4o(Controllable Misinformation Generation을 통해)로 생성된 합성 데이터로 보강된 도메인 특화 자연어 추론(NLI) 모델을 적용하였다. 이 모델은 텍스트를 주장에 대한 지지(supporting), 반대(opposing), 또는 중립(neutral)으로 분류한다. 중복 및 모호한 사례를 필터링한 후, 최종 분석 샘플은 264,737개의 트윗(지지 195,922개, 반대 68,815개)으로 구성되었다.
3. 프로파일링 및 비교: 연구진은 친(親) 허위 정보 그룹과 반(反) 허위 정보 그룹 간의 23가지 사용자 및 텍스트 수준 특징을 비교하였다. 특징에는 다음이 포함된다:
   • 감정: Demux 모델을 사용한 에크만(Ekman)의 6가지 기본 감정(분노, 혐오, 공포, 기쁨, 슬픔, 놀람) 점수.
   • 독성: DeToxify를 통한 7가지 독성 점수.
   • 봇 가능성: Botometer X API를 통한 점수.
   • 사용자/텍스트 속성: 계정 생성일, 팔로워 수, 리스트 등록 횟수, 트윗 길이, 활동 수준.
   • 예측 모델링: 이러한 23가지 특징만을 기반으로 입장을 예측하는 머신러닝 분류기(Random Forest, XGBoost 등)를 학습시켜 분리 가능성을 평가하였다.

주요 결과
본 연구는 반 허위 정보 생태계의 정서적 및 구조적 프로필에 관한 몇 가지 역설적인 발견을 도출하였다:

• 정서적 톤: 부정적 감정이 허위 정보의 특징이라는 가정과 달리, 정보를 반대하는 게시물은 이를 지지하는 게시물보다 유의미하게 높은 수준의 부정적 감정을 나타냈다. 구체적으로, 반 허위 정보 트윗은 슬픔(Cliff's $\delta = -0.125$), 분노($\delta = -0.098$), 혐오($\delta = -0.097$) 측면에서 더 높은 점수를 기록했다. 반대로, 친 허위 정보 트윗은 더 긴 문장 길이와 더 높은 수준의 놀람을 특징으로 했다.
• 사용자 특성: 반 허위 정보 콘텐츠를 게시하는 사용자들은 더 "기성(established)"적인 경향을 보였다. 이들은 허위 정보를 퍼뜨리는 사용자들에 비해 계정 생성일이 더 오래되었고, 팔로워 수가 많으며, 리스트 등록 횟수가 높고, 전반적인 활동량(트윗/리트윗)이 더 많았다.
• 봇 활동: 봇 가능성 점수는 두 그룹을 유의미하게 구분하지 못했으며, 이는 자동화된 계정들이 이 데이터셋 내에서 어느 한쪽 측면에 불균형하게 집중되어 있지 않음을 시사한다.
• 예측 분리 가능성: 이 특징들로 학습된 머신러닝 모델은 우연(chance)보다 약간 높은 수준의 일관된 정확도로 친 허위 정보와 반 허위 정보 입장을 구분할 수 있었다 (Random Forest $F1 = 0.632$, 정확도 = 0.620). SHAP 분석은 슬픔, 혐오, 그리고 짧은 트윗 길이가 '반대' 입장의 강력한 예측 변수임을 확인해주었다.

의의 및 주장
본 논문은 교정적 게시물이 목표로 하는 허위 정보보다 종종 더 정서적으로 부정적이라는 점을 입증한 최초의 대규모 이산 감정(discrete-emotion) 측정 연구라고 주장한다. 저자들은 이 발견이 부정적 감정이 허위 정보를 식별하는 신뢰할 만한 신호라는 기존의 휴리스틱에 도전한다고 논한다.

주된 의의는 플랫폼 거버넌스 및 콘텐츠 중재에 주는 시사점에 있다. 저자들은 감정이 격앙된 콘텐츠를 잠재적 허위 정보로 플래그 지정하도록 설계된 시스템이, 교정적 담론과 반 허위 정보 생태계의 근간을 이루는 기성 사용자층을 의도치 않게 억압할 수 있다고 경고한다. 본 연구는 허위 정보를 퇴치하기 위해서는 단순히 허위 콘텐츠를 억제하는 것뿐만 아니라, 그에 대응하여 발생하는 교정적 콘텐츠를 이해하는 것이 필요함을 시사한다.

한계점
저자들은 몇 가지 제약 사항을 언급하였다: 본 연구는 코로나19와 트위터(2020~2021)에 국한되어 있어, 다른 주제나 시대로의 일반화가 어려울 수 있다. 감정 및 봇 탐지를 위한 사전 학습된 모델에 대한 의존은 잠재적 편향을 초래할 수 있다. NLI 분류기는 견고하지만 완벽하지 않으며, LLM 생성 합성 데이터를 학습에 사용하는 것은 태스크 플리핑(task flipping) 및 특정 콘텐츠 유형의 과소 대표성 위험을 수반한다. 마지막으로, 관찰된 그룹 간 차이는 개별 트윗 수준에서는 미미하므로, 이러한 특징들은 신뢰할 만한 개별 트윗 신호라기보다는 분포적 경향성을 반영한다.