Misinformation Span Detection in Videos via Audio Transcripts

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 온라인 허위 정보 (Misinformation) 는 정치적 양극화, 민주주의 훼손, 공중보건 위협 등 심각한 사회적 문제를 야기합니다. 특히 YouTube 나 TikTok 과 같은 플랫폼에서 매일 업로드되는 방대한 양의 비디오 콘텐츠는 허위 정보의 주요 매개체가 되고 있습니다.
• 기존 연구의 한계: 기존 연구들은 비디오 전체가 허위 정보를 포함하는지 여부를 이진 분류 (Video-level classification) 하는 데 집중했습니다. 이는 "어떤 비디오가 문제인가"는 알려주지만, "비디오 내의 어느 특정 구간 (Span) 에서 허위 주장이 발생했는지" 에 대한 맥락을 제공하지 못합니다.
• 문제 정의: 본 논문은 비디오 내 허위 정보 스팬 탐지 (Misinformation Span Detection) 라는 새로운 과제를 정의합니다. 긴 인터뷰나 방송 영상 내에서 허위 주장이 구체적으로 언급된 시간 구간을 자동으로 식별하는 것을 목표로 합니다. 이는 팩트체커와 플랫폼 운영자가 정확한 시점에 경고 라벨을 부착하거나 컨텍스트를 제공할 수 있도록 돕습니다.

2. 데이터셋 구축 (Datasets)

연구팀은 허위 정보 스팬 탐지 과제를 수행하기 위해 브라질 팩트체크 기관인 Aos Fatos와 협력하여 두 가지 새로운 데이터셋을 구축하고 공개했습니다.

1. BOL4Y 데이터셋:
   • 브라질 전 대통령 자이르 보우소나로 (Jair Bolsonaro) 의 4 년 임기 동안 제기된 538 개의 비디오와 2,355 개의 허위 주장을 포함합니다.
   • Aos Fatos 의 팩트체크 보고서와 비디오 소스를 매칭하여 구축되었습니다.
2. EI22 (Election Integrity 22) 데이터셋:
   • 2022 년 브라질 대통령 선거 당시 유권자들이 제기한 선거 부정 주장과 관련된 77 개의 비디오와 78 개의 허위 주장을 포함합니다.
   • 두 데이터셋 모두 오디오를 텍스트 대본 (Transcript) 으로 변환하고, 각 허위 주장이 등장하는 정확한 시간 스팬을 주석 (Annotation) 으로 표기했습니다.

3. 방법론 (Methodology)

연구팀은 비디오의 오디오를 텍스트로 변환한 후, 자연어 처리 (NLP) 모델을 활용하여 허위 정보 구간을 탐지하는 3 단계 접근법을 제시했습니다.

1. 전사 및 세그먼트화 (Transcription & Segmentation):
   • OpenAI 의 Whisper 모델을 사용하여 비디오 오디오를 텍스트 대본으로 변환합니다.
   • Whisper 는 자동으로 오디오를 30 초 이내의 세그먼트 단위로 분할합니다.
2. 임베딩 생성 및 매칭 (Embedding Generation & Matching):
   • 브라질 포르투갈어에 특화된 BERTimbau 모델을 사용하여 각 텍스트 세그먼트와 팩트체크된 주장 (Claim) 을 벡터 임베딩으로 변환합니다.
   • 코사인 유사도 (Cosine Similarity) 를 계산하여 팩트체크 주장과 가장 유사한 텍스트 세그먼트를 후보로 선정합니다.
   • 임계값 (0.7 이상) 을 적용하고, 주장이 여러 세그먼트에 걸쳐 있을 경우 앞뒤 세그먼트도 포함하여 매칭합니다.
3. 수동 주석 및 분류 (Manual Annotation & Classification):
   • 매칭된 세그먼트에 대해 인간 주석자가 허위 주장의 범위를 정확히 확인하고 주석을 달았습니다.
   • 최종적으로 이진 분류 (Binary Classification) 문제로 설정하여, 각 세그먼트가 '허위 정보 포함 (Positive)'인지 '아님 (Negative)'인지 분류하는 모델을 학습시켰습니다.

4. 실험 및 결과 (Results)

연구팀은 BERTimbau와 PTT5(T5 아키텍처 기반) 모델을 사용하여 다양한 실험을 수행했습니다.

• 성능 지표: 클래스 불균형 (허위 정보 구간이 전체의 극히 일부) 을 고려하여 Macro F1 점수를 주요 평가 지표로 사용했습니다.
• 주요 결과:
  • 최고 성능: BERTimbau 모델을 1 대 75 비율로 언더샘플링 (Undersampling) 하여 학습했을 때 Macro F1 점수 0.68을 기록하여 가장 좋은 성능을 보였습니다.
  • 데이터 품질 영향: 팩트체크 기관에서 편집된 정제된 주장 (Edited version) 을 사용할 때보다, 실제 녹음된 텍스트 (Original/Transcribed version) 를 사용할 때 성능이 낮아졌습니다. 이는 오디오 전사의 노이즈가 모델 성능에 부정적인 영향을 미칠 수 있음을 시사합니다.
  • 시간적 분석 (Temporal Analysis): 과거 데이터로 학습하여 미래의 허위 정보를 탐지하는 시나리오 (Walk-forward 및 Expand 방식) 에서도 모델이 일정 수준의 성능 (F1 0.5~0.8) 을 유지하여 실용성을 입증했습니다.
  • 크로스 데이터셋 성능: BOL4Y 데이터셋으로 학습한 모델을 EI22 데이터셋 (다른 화자, 다른 주제) 으로 테스트했을 때 F1 점수 0.71을 기록하여, 모델이 다른 출처의 허위 주장에도 일반화되어 적용 가능함을 보였습니다.

5. 주요 기여 (Key Contributions)

1. 최초의 시도: 비디오 내 허위 정보의 구체적인 시간 구간 (Span) 을 탐지하는 첫 번째 연구로, 기존 비디오 레벨 분류를 넘어선 새로운 연구 방향을 제시했습니다.
2. 새로운 데이터셋 공개: 500 개 이상의 비디오와 2,400 개 이상의 주석된 허위 정보 구간을 포함한 두 개의 대규모 데이터셋 (BOL4Y, EI22) 을 공개했습니다. 이는 해당 분야의 벤치마크로 활용될 것입니다.
3. 오픈 소스 리소스: 데이터셋뿐만 아니라 오디오, 원본 비디오, 전사 텍스트, 학습 코드 등을 Zenodo 및 HuggingFace 를 통해 공개하여 연구 커뮤니티의 재현성을 높였습니다.

6. 의의 및 향후 전망 (Significance)

• 실용적 적용: 이 연구는 팩트체커가 수동으로 긴 비디오를 검토하는 시간을 단축하고, 소셜 미디어 플랫폼이 허위 주장이 발생하는 정확한 시점에 경고 라벨이나 추가 컨텍스트를 오버레이 (Overlay) 로 제공할 수 있는 기술적 기반을 마련합니다.
• 규제 대응: EU 의 디지털 서비스 법 (DSA) 등 플랫폼의 콘텐츠 관리 책임을 강화하는 규제 흐름에 맞춰, 자동화된 콘텐츠 모니터링 도구 개발의 필요성을 충족시킵니다.
• 미래 연구: 다중 모달 (Multi-modal) 접근법이나 대규모 언어 모델 (LLM) 을 활용한 허위 정보 탐지 연구의 기초를 제공하며, 다양한 기계학습 기법의 적용 가능성을 열어줍니다.

이 논문은 비디오 기반 허위 정보 대응의 패러다임을 "전체 비디오 판별"에서 "정밀한 구간 탐지"로 전환하는 중요한 이정표로 평가됩니다.