기술 요약: SURGE – 이벤트 중심 소셜 미디어 감정 시계열 벤치마크

1. 문제 정의

소셜 미디어상의 공공 이벤트 (예: 자연재해, 정치적 갈등, 기술 출시) 는 방대하고 단편화된 논의를 생성하며, 이러한 논의의 집단적 역학은 여론 예측 및 위기 대응에 중요합니다. 효과적인 예측 모델링은 이러한 논의를 사건의 수명주기와 일치하는 이벤트 수준 시계열로 조직화해야 합니다. 그러나 기존 자료들은 세 가지 동시적 요구를 충족하지 못합니다:

1. 이벤트 수준 조직화: 많은 데이터셋이 데이터의 조직을 사용자나 외부 드라이버 (예: 날씨) 에 대한 앵커 신호로 구성하며, 논의 자체에 초점을 맞추지 않습니다.
2. 상호작용 구조: 기존 시계열은 게시물 간의 답글 및 리포스트 토폴로지를 종종 폐기하는데, 이는 소셜 역학이 상호작용 구조와 긴밀하게 결합되어 있기 때문입니다.
3. 멀티모달 정렬: 멀티모달 예측 데이터셋이 존재하지만, 그 텍스트 소스 (뉴스, 금융 보고서) 는 소셜 미디어 특유의 사용자 간 답글 체인이 결여되어 있으며, 텍스트를 상호작용 신호가 아닌 외부 부수 채널로 취급합니다.

결과적으로, 집단적 여론 역학에 대한 상호작용 구조의 예측적 가치는 검증되지 않았으며, 이벤트 유형 간 전이성 평가는 어렵습니다.

2. 방법론: SURGE 벤치마크

SURGE 는 이벤트 수준 시간 신호와 정렬된 텍스트 및 상호작용 구조를 짝짓도록 설계된 다중 이벤트 소셜 미디어 벤치마크입니다.

2.1 데이터 수집 및 처리

• 범위: 이 데이터셋은 자연재해, 정치적 이벤트, 사회운동, 기술 출시, 스포츠/엔터테인먼트 등 다섯 가지 범주에 걸친 67 개의 공공 이벤트를 다룹니다.
• 소스: 데이터는 Twitter, Reddit, Threads에서 집계되었으며, 초기 원시 수집량 약 126 만 개에서 817,442 개의 게시물로 구성됩니다.
• 전처리:
  • 필터링: 게시물은 중복 제거되고, 짧은 텍스트, 이모지/URL 우세, 비영어 콘텐츠를 제거하기 위해 필터링됩니다.
  • 활성 기간 감지: 희소한 배경 잡음을 제외하고 시계열이 진정한 참여를 반영하도록 이벤트가 '활성 기간'으로 잘립니다.
  • 감정 주석: 게시물은 Qwen3-32B를 제로샷 방식으로 사용하여 긍정, 중립, 부정으로 레이블링됩니다. 이는 수치 점수 $\{+1, 0, -1\}$로 매핑됩니다.
  • 검증: 3,000 개의 게시물에 대한 계층적 인간 검증 연구는 annotator 간 Cohen's $\kappa$가 0.74 이며 LLM 레이블과의 일치율이 86.5% 임을 확인했고, 체계적 편향은 $|\mu| \le 0.05$로 제한되었습니다.

2.2 시계열 구성

이 벤치마크는 1 일, 12 시간, 6 시간의 세 가지 시간粒度에서 캘린더 정렬 시계열을 구성합니다.

• 목표: 각 시간 구간 $t$에 대해 두 가지 목표 변수가 도출됩니다:
  1. 논의 강도 ($c_t$): 구간의 게시물 수.
  2. 감정 극성 ($\bar{s}_t$): 구간의 게시물 평균 감정 점수.
• 정규화: 목표 변수는 이벤트 간 규모 차이를 처리하기 위해 이벤트별 z-점수 정규화를 거칩니다.
• 텍스트 뷰: 각 시간 구간은 동일한 선택된 게시물에서 파생된 두 가지 텍스트 뷰와 짝지어집니다:
  • 플랫 뷰: 역할 표시자 없이 연대순으로 선형화된 게시물.
  • 구조화된 뷰: 명시적 역할 표시자 (부모/자식) 를 가진 답글 체인으로 조직된 게시물로, 리포스트를 답글과 유사한 상호작용으로 처리합니다.

2.3 평가 프로토콜

SURGE 는 네 가지 벤치마크 프로토콜을 정의합니다:

1. 수치 전용 예측: 과거 시계열만을 사용하여 미래 값을 예측합니다.
2. 텍스트 증강 예측: 역사적 시계열과 텍스트를 함께 사용하여 예측합니다 (텍스트 없음, 플랫, 구조화된 구성에서 테스트).
3. 구조 인식 평가: 가장 답글이 밀집된 (상호작용이 높은) 시간 구간의 성능을 특히 평가하는 지표 ($MAE_{reply}(k\%)$) 입니다.
4. 범주 간 일반화: 다섯 가지 이벤트 유형 간 전이성을 테스트하기 위한 '한 범주 제외' 프로토콜입니다.

3. 주요 기여

1. SURGE 데이터셋: 이벤트 수준 다중 이벤트 커버리지, 사전 구축된 시계열, 구간 정렬 텍스트 뷰, 명시적 소셜 상호작용 구조 (답글/리포스트 엣지) 를 동시에 제공하는 최초의 벤치마크입니다.
2. 평가 프레임워크: 구조 인식 지표와 범주 간 일반화 테스트를 포함한 포괄적인 프로토콜 세트로, 기존 소셜 미디어 및 멀티모달 예측 데이터셋의 격차를 해소합니다.
3. 참조 구현: 타입 지정된 게시물 토큰과 스레드 임베딩을 소비하기 위해 교차 모드 어텐션을 활용하는 경량의 **구조 인식 프로브 (CMA)**로, 향후 상호작용 인식 모델의 참조 역할을 합니다.

4. 실험 결과

저자들은 대표적인 시계열 예측 (TSF) 모델 (선형, Transformer, CNN, LLM 기반, 확산 기반) 과 멀티모달 베이스라인을 평가했습니다.

• 강한 지역 지속성: 평균 절대 오차 (MAE) 하에서 모든 시간粒度에서 단순 베이스라인 (마지막 값, 이동 평균) 을 이기는 것이 여전히 어렵습니다. 이는 가장 최근 관측치가 종종 최단기 예측임을 나타내는 "강한 지역 지속성 체제"를 시사합니다. 학습된 모델은 종종 예측을 평활화하여 평균 제곱 오차 (MSE) 를 줄이지만, MAE 를 개선하지는 못합니다.
• 제한된 텍스트 증강 모델 전이: 기존 멀티모달 TSF 모델 (뉴스/금융 텍스트용으로 설계됨) 은 소셜 미디어 데이터에 적용될 때 제한된 견고성을 보입니다. 수치 전용 베이스라인보다 일관되게 개선되지 않으며, 성능은 텍스트의 구조적 형태 (플랫 대 구조화) 에 민감하지 않습니다.
• 상호작용 밀도의 중요성: 구조 인식 지표 ($MAE_{reply}$) 는 답글이 밀집된 기간이 본질적으로 예측하기 어렵다는 것을 보여줍니다. 이러한 밀집된 슬라이스에서의 모델 순위는 집계 지표에서의 순위와 달라지며, 이는 상호작용이 높은 기간에서 모델이 가장 실패함을 시사합니다.
• 일반화 비대칭성: 범주 간 전이는 구조적으로 비대칭적입니다. 자연재해는 일반화하기 가장 어려운 범주인 반면, 사회운동은 가장 쉽습니다. 어려움은 목표 변수 (강도 대 감정) 에 따라 크게 달라집니다.

5. 중요성 및 주장

이 논문은 SURGE 를 새로운 예측 모델 제안이 아닌, 이벤트 기반 소셜 미디어 예측을 위한 스트레스 테스트로 위치시킵니다. 그 중요성은 해당 도메인의 세 가지 근본적 속성을 드러내는 데 있습니다:

1. 지속성은 강하지만 불충분함: 현재 최적화 목표 (MSE) 는 이벤트 기반 시계열의 중심 경향성 정확도 (MAE) 를 개선하지 않고 큰 편차를 억제할 수 있습니다.
2. 텍스트는 자동으로 유용하지 않음: 소셜 미디어 텍스트의 내부 구조 (답글 체인) 는 금융/뉴스 데이터셋의 단방향 텍스트와 근본적으로 다릅니다. 멀티모달 모델은 효과적이기 위해 이러한 상호작용 구조를 명시적으로 처리하도록 설계되어야 합니다.
3. 평가 체제는 밀도에 따라 다름: 집계 지표는 상호작용이 높은 기간의 모델 실패를 가립니다. 이 벤치마크는 기존 방법, 특히 위기 대응 및 여론 모니터링에 가장 중요한 시나리오에서 부족한 축 (상호작용 밀도 및 범주 이동) 을 제공합니다.

저자들은 SURGE 가 상호작용 인식 예측 연구를 발전시키기 위해 필요한 데이터, 프로토콜, 진단 측정을 제공하며, 더 강력한 모델의 설계는 향후 과제로 남긴다고 결론지었습니다.