기술 요약: TikTok 내 의심스러운 허위 정보의 다중 모드 탐지를 위한 새로운 하이브리드 지능형 접근 방식

문제 정의

TikTok과 같은 소셜 미디어 플랫폼에서 멀티미디어 콘텐츠가 급격히 확산됨에 따라, 허위 정보를 식별하는 데 있어 중대한 과제가 발생하고 있습니다. 텍스트 중심의 오정보와 달리, 비디오 기반의 허위 정보는 텍스트, 오디오, 시각적 단서를 활용하여 대중의 의견을 조작하고 민주적 절차를 방해하는 설득력 있는 서사를 구축합니다. 기존의 머신러닝(ML) 방식은 종종 훈련 데이터셋의 편향성, 해석 가능성의 부족, 그리고 다양한 양상(텍스트, 오디오, 비디오)을 실시간으로 효과적으로 융합하는 데 어려움을 겪습니다. 또한, 현재의 방법들은 탐지 결정에 대한 투명한 설명을 제공하지 못하는 경우가 많은데, 이는 사용자 신뢰와 규제 준수에 있어 매우 중요합니다. 본 연구는 높은 정확도로 의심스러운 허위 정보를 탐지할 뿐만 아니라, 탐지를 유도하는 행동적 단서에 대해 설명 가능하고 인간이 읽을 수 있는 통찰력을 제공하는 시스템의 필요성을 다룹니다.

방법론

저자들은 딥러닝(DL)의 계산 능력과 퍼지 논리(Fuzzy Logic)의 해석 가능성을 결-합한 **하이브리드 지능형 프레임워크(Hybrid Intelligent Framework)**를 제안합니다. 이 방법론은 **미세 언어적 현상 모델(Granular Linguistic Model of Phenomena, GLMP)**을 기반으로 하며, 네 가지 주요 구성 요소로 이루어져 있습니다.

1. 개념화 프레임워크 (Conceptualisation Framework)

이 시스템은 심리사회적 특성, 구체적으로 Big-5 성격 모델(개방성, 성실성, 외향성, 우호성, 신경증)에 근거합니다. 전문가 패널은 허위 정보 유포자들에게서 공통적으로 나타나는 행동 패턴(예: 정치적 맥락에서의 높은 신경증)을 식별하기 위해 차원과 속성을 정의했습니다.

2. 다중 모드 특징 분석기 (Multimodal Feature Analyser - 딥러닝 구성 요소)

이 구성 요소는 세 가지 양상으로부터 데이터를 추출하고 평가합니다.

• 오디오 (Audio): 음성 전사에는 Whisper를, 음향 분석에는 MyProsody를 활용합니다. 반응 시간, 기분, 유창성(휴지/방해), 그리고 기본 주파수(목소리의 균일성)를 측정합니다.
• 텍스트 (Text): 전사된 오디오를 Spacy를 사용하여 처리합니다. 구체성, 조직성, 모호성, 중복성 및 감정 극성을 분석합니다. 주제 분류는 EuroVoc 또는 IPTT 분류 체계를 사용하여 수행됩니다.
• 비디오 (Video): OpenCV와 DeepFace를 사용하여 얼굴 랜드마크(68포인트 검출기)와 제스처를 탐지합니다. 시선 활동(응시, 깜빡임), 입 움직임, 머리 움직임을 추적하며, 얼굴 표정(분노, 공포, 행복 등)을 분류하여 스트레스나 불안 징후를 식별합니다.

3. 다중 모드 허위 정보 탐지기 (Multimodal Disinformation Detector - 퍼지 논리 구성 요소)

추출된 지표들은 **지각 매핑(Perception Mappings, PMs)**과 **계산적 지각(Computational Perceptions, CPs)**의 계층적 구조를 통해 처리됩니다.

• 계층적 지각 매핑 (Hierarchical Perception Mapping, HPM): 이 재귀적 구조는 저수준 측정치(1차 PM)를 속성(2차), 차원(3차), 그리고 행동(4차)으로 집계합니다.
• 집계 (Aggregation): 하위 레벨의 입력값들은 퍼지 규칙 또는 가중 평균 연산자를 사용하여 언어적 레이블(예: "낮음", "중간", "높음")을 생성하도록 집계됩니다.
• 최종 집계: 다섯 가지 행동 차원은 **초케 적분(Choquet Integral)**을 사용하여 결합됩니다. 이 함수는 각 행동을 독립적인 변수로 취급하는 대신, 행동 간의 상호 의존성(예: 신경증과 낮은 우호성이 어떻게 상호작용하는지)을 고려합니다. 출력값은 "허위 정보 의심"을 나타내는 단일 값입니다.

4. 프롬프트 생성 및 보고 (Prompt Generation and Reporting)

설명 가능성을 보장하기 위해, 시스템은 계층적 퍼지 출력을 구조화된 자연어로 변환하는 **프롬프트 생성기(Prompt Generator, PG)**를 사용합니다. 이 프롬프트들은 거대언어모델(LLM), 특히 GPT-4에 입력되어, 최종 의심 점수로 이어진 구체적인 행동적 단서(예: "이 사람은 에너지가 낮고 표현력이 부족하므로 매우 외향적이지 않다")를 상세히 설명하는 종합적이고 일관된 보고서를 생성합니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다.

1. 새로운 하이브리드 프레임워크: 특징 추출을 위한 딥러닝과 해석 가능한 의사결정을 위한 퍼지 논리(특히 GLMP 및 Choquet Integral)를 통합한 TikTok용 다중 모드 탐지 시스템을 제안합니다.
2. 계층적 지각 매핑 (HPM): 복잡한 현상을 모델링하기 위한 재귀적 구조를 정의하여, 다양한 수준의 세밀함(원시 측정치부터 고수준 행동까지)에서 행동을 포착할 수 있는 유연성을 제공합니다.
3. 설명 가능한 보고: HPM 출력을 활용하여 상세하고 인간이 읽을 수 있는 보고서를 생성함으로써, 전통적인 딥러닝 모델의 "블랙박스" 문제를 해결합니다.

실험 결과

프레임워크는 두 가지 별도의 실험을 통해 평가되었습니다.

실험 1: 특정 맥락 검증 (RQ1)

• 데이터셋: 사전 등록된 설문 조사 연구에서 추출한 6가지 주제(예: COVID-19, 정치적 사건)를 다루는 24개의 TikTok 스타일 비디오.
• 결과: 유효하지 않은 항목(예: 얼굴이나 오디오가 없는 비디오)을 필터링한 후 19개의 비디오가 평가되었습니다. 시스템은 19개 중 18개의 비디오에 대해 의심 수준을 정확히 식별하였으며, 이는 예상된 "허위 정보"(높음/중간) 또는 "교정/반박"(낮음) 레이블과 일치했습니다. 이를 통해 특정 통제된 맥락에서 허위 정보 사용자를 식별하는 모델의 능력을 확인했습니다.

실험 2: 확장성 및 광범위한 맥락 (RQ2)

• 데이터셋: 15,835개의 비디오 데이터셋 중 우크라이나 침공(2022)과 관련된 5,172개의 비디오.
• 결과: 시스템은 비디오를 다섯 가지 언어적 의심 단계로 분류했습니다:
  • 낮음: 16.1% (831개)
  • 낮음/중간: 21.8% (1,127개)
  • 중간: 25.5% (1,318개)
  • 중간/높음: 22.0% (1,135개)
  • 높음: 14.7% (761개)
• 분석: 이 분포는 다양한 위험 정도를 차별화하는 모델의 역량을 입증했습니다. 생성된 보고서는 높은 의심을 받는 비디오와 연관된 행동적 특성(예: 높은 신경증, 낮은 우호성)에 대한 세밀한 통찰력을 제공했습니다.

의의 및 주장

저자들은 본 연구가 설명 가능성에 특별히 중점을 둔, TikTok 비디오 내 의심스러운 허위 정보 식별을 위한 다중 모드 방법론을 채택한 최초의 시도라고 주장합니다.

• 해석 가능성: 표준 딥러닝 분류기와 달리, 이 시스템은 특정 행동적 단서(신체 언어, 언어 패턴, 텍스트 일관성)를 바탕으로 결정에 대한 투명하고 추적 가능한 근거를 제공하여 사용자가 '왜' 해당 영상이 플래그 지정되었는지 이해할 수 있게 합니다.
• 하이브리드 지능: 패턴 인식의 딥러닝과 논리적 추론의 퍼지 논리를 결합함으로써, 결과에 대한 설명 능력을 희생하지 않으면서 인간 행동의 복잡성을 다룰 수 있는 강력한 접근 방식을 제공합니다.
• 실행 가능한 통찰력: 고품질의 구조화된 보고서를 생성함으로써 원시 데이터를 실행 가능한 정보로 전환하며, 이는 개인정보 보호나 표현의 자유를 침해하지 않으면서 허위 정보 캠페인을 탐지하는 데 도움을 줍니다.

본 논문은 이러한 접근 방식이 유망함을 보여주지만, 향-후 연구에서는 메트릭 의존성, 비영어권 콘텐츠에 대한 번역 문제, 그리고 딥페이크 탐지 기술과의 통합 문제를 해결해야 한다고 결론짓습니다.