Multimodal Analysis of State-Funded News Coverage of the Israel-Hamas War on YouTube Shorts

논문 개요

이 연구는 유튜브 쇼츠 (YouTube Shorts) 와 같은 단형식 (short-form) 비디오 플랫폼에서 국가 주도 (state-funded) 언론이 이스라엘 - 하마스 전쟁을 어떻게 보도하는지 분석하기 위해 제안된 다중 모달 (multimodal) 분석 파이프라인을 다룹니다. 텍스트 (대본), 시각 (프레임), 메타데이터를 통합하여 정서적 태도 (sentiment) 와 시각적 장면 유형 (scene types) 의 패턴을 체계적으로 규명하는 것을 목표로 합니다.

1. 연구 문제 (Problem)

• 배경: 유튜브 쇼츠, 틱톡, 인스타그램 등 단형식 비디오는 정치적 소통과 분쟁 보도의 주요 매체가 되었으나, 이러한 형식에서 지정학적 사건이 어떻게 재현되는지에 대한 연구는 부족합니다.
• 문제점: 단형식 비디오는 복잡한 사건을 단순한 내러티브로 압축하여 맥락적 뉘앙스보다 감정적 반응을 우선시할 수 있으며, 제작자의 이념적 입장에 대한 정보가 부족할 수 있습니다.
• 연구 질문 (RQ): 국가 주도 또는 국가 지원 언론사 (Al Jazeera, BBC, Deutsche Welle, TRT World) 가 주요 (지) 정치적 행위자를 보도할 때, 감정 (sentiment) 과 시각적 장면 유형 (visual scene types) 을 어떻게 다르게 사용하는가?

2. 방법론 (Methodology)

저자들은 자동 전사, 의존성 기반 속성 링크, 속성 기반 감성 분석 (ABSA), 그리고 시각 언어 모델 (VLM) 을 활용한 시각 장면 분류를 결합한 파이프라인을 구축했습니다.

2.1 데이터 수집

• 대상: 2023 년 10 월 7 일 이후 12 개월 동안 수집된 4 개 언론사 (Al Jazeera, BBC, DW, TRT World) 의 유튜브 쇼츠 2,371 개.
• 전처리: 비영어권 콘텐츠 36 개를 제외하고 최종 2,335 개를 분석 대상으로 선정.

2.2 텍스트 처리 및 감성 분석 (Text & ABSA)

• 전사 (Transcription): Whisper (large-v3) 를 사용하여 오디오를 텍스트로 변환. 유튜브 자동 자막보다 정확도가 높음.
• 속성 링크 (Aspect Linking): 의존성 파서 (dependency parser) 를 사용하여 텍스트에서 10 가지 주요 범주 (이스라엘, 팔레스타인, 하마스, 유대인, 이슬람 등) 에 해당하는 '속성 (aspect)'과 그 문법적 연결어를 추출. 총 3,252 개의 속성 - 문장 쌍을 생성.
• 감성 분석 (ABSA):
  • 기존 데이터셋과 다른 도메인 (정치적 뉴스) 에 맞춰 모델을 파인튜닝.
  • 모델 비교: RoBERTa-base, DeBERTa-v3-base/large, Qwen2.5-7B LLM 등을 비교.
  • 결과: 대규모 LLM 이나 전용 ABSA 모델보다 **작은 도메인 적응형 모델 (DeBERTa-v3-base) 이 가장 높은 성능 (Macro-F1: 81.9%)**을 보임.

2.3 시각적 장면 분석 (Visual Scene Analysis)

• 프레임 샘플링: 비디오당 초당 1 프레임 (1 FPS) 비율로 총 94,000 개 이상의 프레임을 추출.
• 장면 분류 (Scene Classification):
  • VLM 활용: Qwen3-VL (4B) 모델을 사용하여 이미지를 7 가지 의미론적 장면 유형으로 분류.
  • 세부 분류 체계:
    1. 전투/군사 행동 (Combat/Military)
    2. 파괴/인도적 위기 (Destruction/Humanitarian Crisis)
    3. 정치/외교 행사 (Political/Diplomatic Event)
    4. 뉴스/인터뷰 (News Media/Interview)
    5. 시위/시위 (Public Protest)
    6. 상징/종교 의식 (Symbolic/Religious Ritual)
    7. 기타/불명 (Other/Unknown)
• 성능: 홀드아웃 테스트에서 전체 정확도 86.9% 달성. 특히 뉴스/인터뷰 장면에서 97% 의 높은 정확도를 보임.

3. 주요 결과 (Key Findings)

3.1 채널별 감성 패턴 (Cross-Outlet Sentiment)

• Al Jazeera (AJ) 와 TRT World: 이스라엘에 대한 강한 부정적 감정과 팔레스타인 관련 주제에 대한 지속적인 긍정적 감정을 보임. 양극화 (Polarization) 가 뚜렷함.
• BBC 와 DW: 상대적으로 중립적인 태도를 유지하지만, 여전히 부정적 감정의 빈도가 긍정적 감정보다 높음.
• 시청자 반응: AJ 와 TRT 의 긍정적 (팔레스타인 편) 프레임이 높은 조회수를 기록한 반면, BBC 는 부정적 프레임이 더 많은 조회수를 얻음.

3.2 시간적 동향 (Temporal Trends)

• 이스라엘: 1 년 내내 일관되게 부정적으로 묘사됨.
• 팔레스타인: 2023 년 12 월 (미 상원 점거 시위 등) 에 긍정적 감정이 급증.
• 시각적 장면:
  • 뉴스/인터뷰 (34.7%): 가장 빈번한 장면 유형.
  • 파괴/인도적 위기 (16.4%): 전쟁 초기와 2024 년 7~9 월 (칸 유니스 위기 등) 에 피크를 기록.
  • 시위 (12.5%): 10 월 7 일 직후 발생하여 4~5 월 대학 캠퍼스 시위 기간에 집중됨.
  • 전투 장면 (4.8%): 전체적으로 드물지만 2024 년 10 월로 갈수록 빈도가 급증.

3.3 텍스트와 시각의 불일치

• 기존 연구는 텍스트와 시각적 단서가 일치한다고 가정했으나, 이 연구에서는 명시적인 일치보다는 미묘한 상호작용을 발견.
• 감정적 단서는 인터뷰이의 발언, 현장의 구호, 텍스트 오버레이, 시각적 프레이밍이 복합적으로 작용하여 나타남.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 다중 모달 파이프라인 제안: 유튜브 쇼츠와 같은 단형식 콘텐츠의 정치적 보도를 분석하기 위해 텍스트 (ABSA) 와 시각 (VLM 기반 장면 분류) 을 통합한 새로운 방법론을 제시.
2. 효율적인 모델의 우위 입증: 거대 언어 모델 (LLM) 이나 초대형 트랜스포머보다 **작은 도메인 특화 모델 (DeBERTa-v3-base)**이 특정 작업 (정치적 ABSA) 에서 더 높은 성능을 보임을 실증. 이는 인문학 연구에 자원 효율적인 접근법의 가치를 강조함.
3. 시각적 분류 체계 개발: 전쟁 보도의 시각적 특성을 포착하는 7 가지 장면 유형 분류 체계 (Taxonomy) 를 개발하고, 이를 통해 실제 세계의 사건 (시위, 파괴, 외교 행사 등) 과 시각적 보도의 연동성을 확인.
4. 실용적 적용 가능성: 이 파이프라인은 틱톡, 인스타그램 등 다른 단형식 플랫폼으로 확장 가능하며, 알고리즘 기반 비디오 환경에서의 감정 패턴과 시각적 단서를 정량화하는 템플릿을 제공.

5. 결론

이 연구는 국가 주도 언론이 유튜브 쇼츠를 통해 이스라엘 - 하마스 전쟁을 보도할 때, 텍스트와 시각적 요소를 통해 어떻게 특정 정치적 서사를 강화하는지를 보여줍니다. 특히, 감정적 프레임이 시청자 참여 (조회수) 와 어떻게 연결되는지를 규명하였으며, 소규모 모델과 도메인 적응 기법이 복잡한 다중 모달 분석에 효과적임을 증명했습니다. 이는 디지털 담론의 양극화와 선동적 프레임 분석을 위한 중요한 방법론적 토대를 마련합니다.