AI Application Gives Users Real-Time Feedback on the Level of Peace in the Social Media Videos They Watch

기술 요약: 소셜 미디어 영상 내 "평화적 담론(Peace Speech)"의 실시간 측정

문제 정의
본 논문은 전 세계 인구가 뉴스 소스로서 소셜 미디어 영상(예: 유튜브, 페이스북)에 점점 더 의존하고 있다는 점에 주목하며, 이러한 언어의 어조와 내용이 갈등을 촉발하거나 해결하는 데 결정적인 역할을 한다는 점을 지적한다. 기존 도구들은 "혐오 표현(Hate Speech)"이나 정치적 편향성을 분석하지만, 평화로운 사회적 과정을 강화하는 언어인 "평화적 담론"을 측정하는 메커니즘은 부족한 실정이다. 저자들은 "우리는 우리가 보는 것을 닮아간다(We become what we behold)"는 가설을 제시하며, 특정 언어적 어조에 노출되는 것이 실제 행동에 영향을 미친다고 주장한다. 핵심적인 기술적 과제는 비정형 구어체 영상 스크립트라는 영역에서 이러한 평화 관련 차원을 실시간으로 정량화할 수 있는 시스템을 개발하는 것이며, 이 영역은 전통적인 텍스트 기반 모델들이 역사적으로 실패해 온 분야이다.

방법론
저자들은 크롬 확장 프로그램 애플리케이션인 BAIT를 개발하였으며, 백엔드 분석 엔진을 구축하기 위해 두 가지 접근 방식을 활용하였다:

1. 뉴스 텍스트에 대한 지도 학습 기반 머신러닝 (베이스라인):

   • 데이터: 외부 지표(예: 세계 평화 지수)를 바탕으로 태깅된 18개국의 약 70만 개 뉴스 기사 데이터셋(News on the Web 코퍼스)을 사용하였다.
   • 모델: 세 가지 신경망 구조(완전 연결 피드포워드 네트워크, 합성곱 신경망(CNN), Max-pooling이 적용된 수정된 CNN)를 훈련시켰다.
   • 과정: OpenAI의 text-embedding-3-small을 사용하여 텍스트를 임베딩하고, 이를 "고-평화(high-peace)" 또는 "저-평화(low-peace)"로 분류하였다.
   • 결과: 이 모델들은 홀드아웃 뉴스 텍스트에서 약 97%의 정확도를, 별도의 뉴스 데이터셋에서 약 70%의 정확도를 달enc성하였다. 그러나 유튜브 스크립트에는 일반화되지 못하고 영상 콘텐츠의 95~100%를 "고-평화"로 분류하였는데, 이는 서술된 뉴스 문법과 구어체로 전사된 언어 사이의 근본적인 괴리를 나타낸다.

2. LLM을 통한 사회과학적 차원 분석 (주요 접근 방식):

   • 프레임워크: 영상 스크립트를 위한 외부 평화 지수의 부재를 인식하여, 저자들은 59개의 사회과학 연구에서 도출된 다섯 가지 사회적 차원을 정의하였다: 연민-경멸(compassion-contempt), 뉴스-의견(news-opinion), 촉진-예방(promotion-prevention), 창의성-질서(creativity-order), 그리고 뉘앙스-단순화(nuance-simplification).
   • 모델:
     • 감성 분석 (SA): Google의 GoEmotions(RoBERTa 기반)를 테스트했으나, 제한된 컨텍스트 창, 높은 중립성 기준, 그리고 감정적 변동성이 "평균화되어 사라지는" 문제로 인해 불충분하다는 결론을 얻었다.
     • 대규모 언어 모델 (LLM): 저자들은 문맥을 인식하는 LLM(Gemini 2.5/3 Pro, GPT-4o/5.1)으로 선회하였다. 이들은 복잡한 뉴스 기반 프롬프트에서 시작하여, 대화형 스크립트에 최적화된 단순하고 일반화 가능한 프롬프트로 나아가는 반복적인 프롬프트 엔지니어링 과정을 거쳤다.
   • 그라운드 트루스 (Ground Truth): 세 명의 전문가(평화 연구자 및 갈등 전문가)가 52개의 다양한 유튜브 영상을 다섯 가지 차원에 따라 1~5 척도로 독립적으로 채점하여 "골드 스탠다드" 데이터셋을 구축하였다. 평가자 간 신뢰도는 높게 나타났다 ($r^2 > 0.86$ for 세 가지 차원).

주요 결과

• 텍스트 전용 모델의 실패: 서술된 뉴스 텍스트로 훈련된 신경망은 구어체 영상 스크립트의 평화 수준을 정확히 예측할 수 없었으며, 이는 서술된 매체와 구어 매체의 언어적 특성이 상이함을 확인시켜 주었다.
• LLM의 우월성: LLM은 단어 수준의 감성 분석보다 유의미하게 높은 성능을 보였다. SA 모델은 인간 코더와 낮은 상관관계($r^2 \approx 0.03$)를 보인 반면, LLM은 다섯 가지 사회적 차원에 대해 $r^2 \approx 0.60$의 상관관계를 달성하였다.
• 모델 성능: Gemini 3 Pro Preview는 모든 차원에서 인간 코더와 가장 높은 상관관관계를 보였으며, 특히 까다로운 "뉘앙스-단순화" 카테고리에서 두드러졌다.
• 문맥적 추론: 결과는 평화 평가가 단순한 감성이나 키워드 탐지가 아닌, 문맥적 추론(어조, 프레이밍, 수사적 구조)을 필요로 함을 시사한다.

핵심 기여

1. BAIT 애플리케이션: 사용자 및 콘텐츠 제작자에게 그들의 미디어 소비 환경에 대한 실시간 피드백을 제공하는 기능적인 크롬 확장 프로그램을 배포하였다.
2. LLM의 경험적 검증: 현대의 LLM이 인간과 유사한 방식으로 복잡한 사회적 차원을 영상 스크립트에서 효과적으로 확장하여 분석할 수 있음을 입증하였으며, 인간의 평가자 간 신뢰도에 필적하는 통계적 일치도를 달성하였다.
3. 차원적 프레임워크: 다섯 가지 구체적인 사회과학적 차원(연민, 뉴스, 촉진, 창의성, 뉘앙스)을 "평화적 담론"의 측정 가능한 지표로 구조화하였다.
4. 공개 문서화: 저자들은 자신들의 분석 엔진과 인간 테스트 결과를 공개적으로 문서화함으로써, 다른 독점적이거나 불투명한 콘텐츠 모더레이션 도구들과 차별화하였다.

의의 및 주장
본 논문은 BAIT가 대규모로 "평화적 담론"을 측정할 수 있는 기초적인 분석 엔진 역할을 한다고 주장한다. 저자들은 사용자가 자신의 미디어 소비의 정서적, 사회적 어조를 자각하게 함으로써 실세계의 행동을 긍정적인 사회적 상호작용을 향해 변화시킬 수 있다고 주장한다.

저자들은 향후 영향에 대해 신중한 입장을 유지한다. 이 도구가 행동을 증명하듯 변화시킨다고 주장하는 것이 아니라, 자각 능력이 개선된 행동으로 이어진다는 가설을 테스트하기 위한 필수적인 첫 단계로서 이러한 차원을 측정하는 능력을 갖추는 것이라고 밝힌다. 이들은 사용자의 인식이 고-평화 콘텐츠에 대한 수요를 창출하고, 결과적으로 제작자와 플랫폼이 그러한 콘텐츠를 생산하도록 유도하는 "선순환"의 가능성을 전망하고 있으나, 이를 현재의 실체가 아닌 향ista 행동 테스트를 통해 조사해야 할 미래의 가능성으로 규정한다. 본 연구는 AI를 평화 연구에 적용하는 방법론적 돌파구로서, 사회과학 이론과 실시간 디지털 미디어 분석 사이의 간극을 메우는 작업으로 제시된다.