기술 요약: 대규모 언어 모델을 이용한 사회적 세계 모델 구축

1. 문제 정의

본 논문은 **사회적 신념(social beliefs)**이 실제 사건(예: 정책 변화, 과학적 돌파구, 또는 정치적 선거)에 반응하여 어떻게 진화하는지를 모델링하고 예측하는 근본적인 과제를 다룹니다. 대규모 언어 모델(LLM)은 상식적 지식과 사회적 지능을 보유하고 있지만, 이를 이 분야에 적용하는 데에는 세 가지 구체적인 장애물이 존재합니다:

• 정량화 및 데이터 부족: 사회적 신념은 의미론적이며, 구조화된 고충실도 시계열 데이터로 포착하기 어렵습니다. 설문조사나 소셜 미디어와 같은 전통적인 출처는 노이즈, 편향성 및 대표성 결여의 문제를 안고 있습니다.
• 의미론적 복잡성: 사회적 전이는 명시적으로 부호화된 법칙보다는 미묘한 심리와 문화적 맥락에 의해 주도됩니다. 전통적인 통계적 또는 기호적 모델은 이러한 암묵적인 전이 규칙을 포착하는 데 실패하는 경우가 많습니다.
• 명시적 귀속(Attribution)의 부재: 신념의 변화가 관찰되더라도, 특정 사건과 그 변화 사이의 인과 관계는 종종 모호합니다. 명시적인 "사건-대-변화" 라벨이 없으면, 모델은 사회적 역학의 기저 메커니즘을 학습하는 데 어려움을 겪습니다.

핵심 연구 질문은 다음과 같습니다: LLM은 사건에 반응하는 사회적 신념의 역학을 모델링할 수 있는가?

2. 방법론: 사회적 세계 모델 (SWM)

저자들은 집단적 신념을 의미론적 상태($s_t$)로, 사회적 사건을 외생적 행동($e_t$)으로 취급하는 생성적 프레임워크인 **사회적 세계 모델(Social World Model, SWM)**을 제안합니다. 이 모델은 상태 전이 함수 $P_\theta(s_{t+1} | s_t, e_t)$를 학습합니다.

2.1 데이터 기초: SWM-Bench

데이터 부족 문제를 해결하기 위해, 저자들은 실제 예측 시장(Kalshi 및 Polymarket)에서 유도된 벤치마크인 SWM-Bench를 도입합니다.

• 근거: 예측 시장 가격은 공공 의견의 고충실도 집계 신호 역할을 하며, 노이즈를 걸러내고 금융적 이해관계에 기반한 합리적 의사결정을 반영합니다.
• 형식: 사회적 신념은 시장 함축 확률 $v_t \in [0, 1]$를 가진 이진 명제 $q$로 정의됩니다. 상태 $s_t$는 최근 가격의 궤적 윈도우이며, 이벤트 공간 $E_t$는 후보 뉴스 기사들로 구성됩니다.

2.2 아키텍처 및 학습 패러다임

SWM 프레임워크는 LLM을 세 가지 핵심 모듈의 백본으로 활용하며, 인간의 주석 없이 귀속 라벨링 문제를 해결하기 위해 **사후 가이드 학습 패러다임(posterior-guided training paradigm)**을 채택합니다.

1. 잠재적 사건 귀속 (Latent Event Attribution): 신념 변화를 일으키는 실제 사건은 잠재 변수 $Z_t$로 취급됩니다. 모델은 하나의 가설적 사건에 조건화하여 전이를 근사합니다.
2. 사전 귀속기 (Prior Attributor, $P_\eta$): 변화가 발생하기 전에 가용한 맥락을 바탕으로 후보 사건들의 점수를 매기는 전향적 모델입니다.
3. 사후 귀속기 (Posterior Attributor, $Q_\phi$): 실현된 결과($s_{t+1}$)를 관찰하고 어떤 후보 사건이 변화를 가장 잘 설명하는지 결정하는, 사후적(hindsight) 관점의 고정된 LLM입니다. 이는 의사 라벨(pseudo-labels)을 제공하는 "교사" 역할을 합니다.
4. 사회적 세계 모델 (Social World Model, $P_\theta$): 특정 귀속 사건이 주어졌을 때 $s_{t+1}$을 예측하도록 학습되는 전이 엔진입니다.

학습 목표:
학습은 다음 두 항으로 구성된 손실 함수를 최소화합니다:

• 세계 모델 손실 ($L_{wm}$): 사후 귀속기 $Q_\phi$에 의해 귀속된 사건을 조건으로 하여 전이 $s_{t+1}$을 예측하도록 $P_\theta$를 학습시킵니다.
• 귀속 손실 ($L_{attr}$): KL 발산을 사용하여 사후적 귀속 정보를 사전 귀속기 $P_\eta$로 증류(distill)합니다.

이 접근 방식은 모델이 역추론(inverse inference)을 수행함으로써 인과 메커니즘을 학습할 수 있게 합니다. 즉, 사후 귀속기가 원인을 식별하면, 사전 귀속기는 미래에 대한 접근 없이도 그 원인을 예측하는 법을 배웁니다.

2.3 추론 모드

분리된 아키텍처는 두 가지 별개의 모드를 지원합니다:

• 예측 (Forecasting): 미래의 시장 궤적을 예측하기 위해 사전 귀속기의 불확실성을 주변화(marginalize)합니다 ($\hat{s}_{t+1} = \sum P_\eta \cdot E[P_\theta]$).
• 시뮬레이션 (Simulation): 특정 (실제 또는 가상의) 사건에 직접 조건화하여 "만약 ~한다면"의 신념 변화를 추정하며, 이때는 귀속기를 우회합니다.

3. 주요 기여

1. SWM-Bench: 실제 예측 시장에서 큐레이션된 최초의 평가 벤치마크로, 사회적 신념을 정치, 금융, 암호화폐를 아우르는 정량화 가능한 시계열 형식으로 변환했습니다.
2. 사회적 세계 모델 프레임워크: 전통적인 시계열 예측을 넘어, 사회적 역학의 의미론적으로 구동되는 암묵적 전이 규칙을 포착하기 위해 LLM을 활용하는 새로운 아키텍처를 제시했습니다.
3. 사후 감독 학습 (Posterior-Supervised Training): 사회적 추론(귀속)과 역학 모델링을 분리함으로써 사회적 귀속 라벨링 문제를 해결하고, 명시적인 인간 주석 없이 학습이 가능하게 하는 학습 패러다임을 구축했습니다.

4. 실험 결과

SWM을 시계열 모델(예: Autoformer, iTransformer) 및 LLM 기반 베이스라인(프롬프팅 및 미세 조정 모델)과 비교하기 위해 SWM-Bench(Kalshi 및 Polymarket 데이터셋)에서 실험을 수행했습니다.

• 성능: SWM은 Kalshi 데이터셋에서 GPT-5.5 및 다양한 시계열 모델을 포함한 강력한 베이스라인들을 능가하며 최첨단(SOTA) 결과를 달성했습니다. Polymarket 데이터셋에서도 특히 방향 정확도 측면에서 경쟁력 있는 성능을 보여주었습니다.
• 방향 정확도 (Directional Accuracy): 명확한 뉴스 동인이 존재하는 귀속된 서브셋에서, SWM(사전)은 가장 높은 방향 정확도(Polymarket 0.685, Kalshi 0.845)를 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 모델 크기: 더 큰 LLM 백본(0.6B에서 8B)이 일관되게 성능을 향상시켰으며, 이는 텍스트 이벤트를 수치적 역학으로 변환하는 데 있어 용량이 중요하다는 것을 시사합니다.
  • 귀속 (Attribution): 주요 병목 구간은 올바른 인과적 충격을 격리하는 사전 귀속기의 능력입니다. 오라클 사후 귀속기(oracle posterior)를 추론에 사용할 경우 성능이 크게 향리되는데, 이는 전이 모델($P_\theta$)이 일단 이벤트가 식별되면 매우 정확하다는 것을 나타냅니다.
  • 이벤트 희소성 (Event Sparsity): 인과적 신호는 종로히 단일 이벤트에 집중되는 경우가 많으며, 단일 이벤트($m=1$)를 사용한 사후 가이드 선택이 전체 세트의 성능과 일치합니다.

5. 의의 및 주장

본 논문은 SWM이 집단적 합의의 진화를 모델링하고 예측하는 새로운 파이프라인을 제공한다고 주장합니다. 사회적 역학을 예측 시장에 접목하고 LLM의 추론 능력을 활용함으로써, 이 프레임워크는 정량적 디지털 사회학을 위한 확장 가능한 도구를 제공합니다.

저자들은 이 작업을 **매개변수적 사회 세계 모델(parametric social world models)**을 향한 단계로 규정합니다. 이들은 모델이 명확한 외부 사건에 의해 주도되는 신념 변화(Kalshi에서 확인됨)를 포착하는 데는 뛰어나지만, 높은 내생적 또는 알고리즘적 노이즈가 있는 시장(Polymarket에서 확인됨)에서는 어려움에 직면한다는 점을 강조합니다. 이 연구는 모든 사회적 예측 문제를 해결하겠다는 것이 아니라, 특정 사건이 어떻게 대중의 의견 변화를 이끄는지 이해하기 위한 기초적인 프레임워크를 구축하는 데 목적이 있습니다.

윤리적 참고 사항: 저자들은 이러한 모델이 악용될 경우(예: 표적 정보 조작) 위험을 초래할 수 있음을 인정하며, 집단적 신념을 조작하기보다는 비정상적인 신념 변화를 탐지하기 위한 투명하고 방어적인 배포를 권고합니다.