기술 요약: 트렌드 신호에 대한 시간적 교차 어텐션을 통한 바이럴성 예측

문제 정의

소셜 미디어 바이럴성 예측을 위한 기존 모델들은 주로 정적 텍스트 및 구조적 특징 (예: 팔로워 수, 게시 시간, 네트워크 중심성, 텍스트 의미론) 에 의존합니다. 이러한 접근법의 중요한 한계는 '시간적 무감각성'입니다. 즉, 대중의 관심의 역동적인 특성을 고려하지 못한다는 점입니다. 특정 주제에 대한 게시물은 해당 주제가 현재 대중의 관심에서 급부상하고 있는지 아니면 잠복해 있는지에 따라 바이럴 잠재력이 크게 달라질 수 있습니다. 저자들은 이러한 시간적 역동성을 무시하면 참여 동인이 잘못 규명되고 예측 정확도가 저하된다고 가정합니다. 본 연구가 다루는 핵심 문제는 게시물의 텍스트만으로는 드러나지 않는 것을 넘어, 실제 세계의 외생적 관심 신호가 바이럴성 예측을 개선할 수 있는지 여부입니다.

방법론

데이터 및 라벨링

본 연구는 2021 년 1 월부터 2023 년 12 월까지 수집된 10 개의 다양한 서브레딧 (뉴스, 기술, 금융, 과학, 엔터테인먼트 포함) 의 788,873 개Reddit 게시물 데이터 세트를 활용합니다.

• 바이럴성 정의: 커뮤니티 간 규모 차이를 고려하기 위해 서브레딧별 계층화된 이진 라벨링 전략을 통해 바이럴성을 정의합니다. 게시물의 참여 점수 $v$가 해당 서브레딧 분포의 90 백분위수를 초과하고, 원시 점수 $s$가 최소 임계값 100 을 충족할 때 해당 게시물을 바이럴 ($y=1$) 로 라벨링합니다.
• 참여 점수: $v = s + 0.3 \cdot c$이며, 여기서 $s$는 게시물 점수 (업보트에서 다운보트를 뺀 값) 이고 $c$는 댓글 수입니다. 가중치 $\beta=0.3$은 투표보다 댓글 달기에 더 많은 노력이 들어간다는 점을 반영합니다.
• 외생 신호: 모델은 집단적 대중 관심의 대리 변수로 위키피디아 페이지 뷰 데이터를 통합합니다. '급상승 (Spike)' 용어는 이전 날 대비 현재 뷰 수의 비율 ($\rho \ge 2.0$) 과 절대적 뷰 증가량을 기준으로 매일 식별됩니다. 하루당 상위 512 개 트렌딩 용어를 유지하되, 노이즈 (예: 영구적 페이지) 를 필터링하여 인코딩합니다.

아키텍처: ViralityNet

ViralityNet 은 내부 게시물 표현과 외부 시간적 트렌드 신호를 융합하도록 설계된 교차 어텐션 아키텍처입니다.

1. 게시물 인코더: 네 개의 병렬 스트림을 융합하여 256 차원 게시물 표현 ($p$) 을 생성합니다.

   • 제목 및 본문: all-mpnet-base-v2(768 차원) 를 사용하여 인코딩합니다. 본문 텍스트는 400 자 단위로 청킹되고, 평균 풀링되며, 재규격화됩니다. 본문이 없는 게시물을 처리하기 위해 학습된 패딩 임베딩을 사용합니다.
   • 구조적 특징: 게시 시간, 요일, 로그 정규화된 게시 기간/길이, 서브레딧 크기 등 9 가지 특징을 64 차원으로 투영합니다.
   • 서브레딧 임베딩: 특정 서브레딧을 위한 32 차원 학습 임베딩입니다.
   • 융합: 이러한 스트림들을 연결 (1632 차원) 하여 256 차원으로 투영한 후, 연도별 참여 규범의 변화를 고려하기 위해 잔차 연결을 통해 학습된 연도 임베딩($e_y$) 과 융합합니다.

2. 교차 어텐션 블록:

   • 트렌드 행렬 ($T_d$): 각 날짜 $d$에 대해 상위 512 개 위키피디아 급상승 용어의 7 일 슬라이딩 윈도우를 구성합니다. 이러한 용어들은 $512 \times 768$ 행렬로 인코딩됩니다.
   • 메커니즘: 게시물 인코딩 $p$가 단일 토큰 쿼리 ($Q$) 로 작용하여 트렌드 행렬의 키와 값 ($K, V$) 에 대해 어텐션을 수행합니다. 4-헤드 멀티헤드 어텐션 메커니즘 (MHA) 을 통해 모델이 게시물 내용과 의미적으로 가장 잘 일치하는 최근 대중 관심 주제 하위 집합을 선택적으로 주시할 수 있습니다.
   • 출력: 결과 컨텍스트 벡터 $c$(256 차원) 는 게시물과 현재 트렌드 간의 정렬을 포착합니다.

3. 분류기: 게시물 인코딩과 컨텍스트 벡터의 연결 ($[p; c]$) 이 두 개의 은닉 계층을 가진 다층 퍼셉트론 (MLP) 을 통과하여 바이럴 로그이트를 생성합니다. 모델은 심각한 클래스 불균형 (양성률 9.7%) 을 해결하기 위해 포칼 로스($\alpha=0.25, \gamma=2.0$) 를 사용하여 훈련됩니다.

주요 기여

1. 트렌드 정렬 신호: 위키피디아 페이지 뷰 급상승에서 파생된 게시물 수준의 트렌드 정렬 신호를 도입하였으며, 개별 게시물 수준에서 통계적으로 유의미함이 입증되었습니다.
2. ViralityNet 아키텍처: 학습된 연도 및 서브레딧 임베딩으로 보강된 일별 슬라이딩 윈도우 트렌드 행렬에 조건부 게시물 표현을 결합하는 새로운 교차 어텐션 아키텍처입니다.
3. 체계적 제거 실험: 시간적 컨텍스트 (연도 임베딩), 외생 트렌드 (교차 어텐션), 그리고 이들의 결합의 기여도를 분리하여 분석한 연구입니다.

결과

모델은 118,333 개의 게시물 (바이럴 11,459 개) 로 구성된 홀드아웃 테스트 세트에서 평가되었습니다. 주요 지표는 AUC-PR 이며, AUC-ROC 와 F1 은 F1 을 최적화한 고정 임계값 0.31 에서 보고됩니다.

• 성능 향상: 전체 ViralityNet 모델은 AUC-PR 0.3584와 AUC-ROC 0.8355를 달성했습니다.
• 베이스라인 비교:
  • 텍스트만: AUC-PR 0.3431.
  • 텍스트 + 연도: AUC-PR 0.3554 (+0.012 개선).
  • 텍스트 + 트렌드: AUC-PR 0.3476 (+0.005 개선).
  • 전체 모델: AUC-PR 0.3584 (텍스트만 대비 +0.015 개선).
• 구성 요소 분석: 연도 임베딩이 가장 큰 기여 (+0.012) 를 했으며, 이는 2021~2023 년 간 변화한 참여 규범에 기인합니다. 트렌드 교차 어텐션은 작지만 일관된 보완적 기여 (+0.012 기준 텍스트 + 연도 베이스라인 대비 +0.003) 를 제공했습니다.
• 서브레딧 분산: 성능은 커뮤니티에 따라 다양했습니다. 위키피디아 트렌드와 강력한 주제적 중복을 보이는 서브레딧 (예: r/technology, r/stocks) 은 가장 높은 AUC-PR(>0.39) 을 보였습니다. 내부 문화에 의해 주도되는 커뮤니티 (예: r/gaming, r/wallstreetbets) 는 외부 신호를 사용하여 예측하기 더 어려웠습니다.
• 임계값 민감도: 클래스 불균형으로 인해 기본 임계값 0.5 는 낮은 재현율 (2.7%) 을 초래했습니다. 임계값을 0.31 로 낮추면 재현율이 53.0% 로 향상되고 정밀도는 31.9% 가 되어 검토를 위한 잠재적 바이럴 게시물 발굴에 적합합니다.

중요성 및 주장

본 논문은 텍스트만 사용하는 베이스라인에 비해 외부 관심 신호를 통합함으로써 측정 가능한 개선을 이끌어낸다고 주장하며, 바이럴성이 콘텐츠 자체뿐만 아니라 실제 세계의 역동성과의 정렬에 의해 결정된다는 가설을 검증합니다.

• 정렬의 증거: 결과는 대중 관심의 동시적 급상승과 의미적으로 정렬된 게시물들이 바이럴될 가능성이 측정 가능하게 더 높음을 시사합니다.
• 상호 보완성: 외생 신호 (위키피디아 트렌드) 는 특히 바이럴성이 내부 문화가 아닌 외부 사건에 의해 주도되는 커뮤니티에서 플랫폼 내 특징에 유용한 보완재로 작용합니다.
• 소박하지만 일관된: 저자들은 이러한 개선을 '소박하지만 일관된' 것으로 특징짓으며, 트렌드 신호 자체는 시간적 컨텍스트 (연도) 에 비해 지배적인 요인은 아니지만, 전체 모델을 최고 성능으로 이끈다고 지적합니다.
• 한계: 저자들은 명시적으로 모델이 동시적 정렬을 측정할 뿐 미래 예측을 수행하지는 않는다고 지적합니다. 또한 참여 데이터의 정적 성격 (초기 속도 부재), 파이프라인의 휴리스틱 설계, 특정 서브레딧 선택으로 인한 일반화 가능성 문제 등의 한계를 인정합니다. 또한 이러한 예측 능력이 이론적으로 양극화된 콘텐츠나 스팸의 확산을 최적화하는 데 오용될 수 있다는 광범위한 영향에 대한 우려도 강조합니다.