技術要約：大規模言語モデルを用いた社会的世界モデルの構築

1. 問題提起

本論文は、現実世界の出来事（政策変更、科学的進歩、政治選挙など）に応じて社会的信念がどのように進化するかをモデル化し、予測するという根本的な課題に取り組んでいる。大規模言語モデル（LLM）は常識的な知識や社会的知性を備えているが、この領域に適用する際には、以下の3つの具体的な障壁に直面する。

• 定量化とデータの不足: 社会的信念は意味論的であり、構造化された高精度な時系列データとして捉えることが困難である。従来の調査やソーシャルメディアは、ノイズ、バイアス、および代表性の欠如という問題を抱えている。
• 意味論的な複雑さ: 社会的な遷移は、明示的にコード化された法則ではなく、微妙な心理や文化的文脈によって駆動される。従来の統計的または記号的なモデルは、これらの暗黙的な遷移ルールを捉えることに失敗することが多い。
• 明示的な帰属の欠如: 信念の変化が観察されたとしても、特定の出来事と変化との間の因果関係はしばしば不明瞭である。明示的な「イベントから変化へ」のラベルがない場合、モデルは社会動態の背後にあるメカニズムを学習することが困難になる。

核心となる研究課題は、**「LLMは出来事に対する社会的信念の動態をモデル化できるか？」**である。

2. 手法：社会的世界モデル (SWM)

著者らは、集団的信念を意味的な状態（$s_t$）とし、社会的出来事を外生的なアクション（$e_t$）として扱う生成フレームワークである**社会的世界モデル（SWM）**を提案している。このモデルは、状態遷移関数 $P_\theta(s_{t+1} | s_t, e_t)$ を学習する。

2.1 データ基盤：SWM-Bench

データの不足問題を解決するために、著者らは実際の予測市場（KalshiおよびPolymarket）から派生したベンチマークであるSWM-Benchを導入している。

• 根拠: 予測市場の価格は、公衆の意見を集約した高精度なシグナルとして機能し、ノイズを排除し、金銭的な利害に基づいた合理的な意思決定を反映している。
• 形式: 社会的信念は、市場が示唆する確率 $v_t \in [0, 1]$ を持つバイナリ命題 $q$ として定義される。状態 $s_t$ は最近の価格の軌跡ウィンドウであり、イベント空間 $E_t$ は候補となるニュース記事で構成される。

2.2 アーキテクチャと学習パラダイム

SWMフレームワークは、LLMを3つのコアモジュールのバックボーンとして活用し、人間によるアノテーションなしで帰属ラベルの問題を解決するために事後ガイド付き学習パラダイムを採用している。

1. 潜在的イベント帰属 (Latent Event Attribution): 真の信念変化を駆動するイベントは、潜在変数 $Z_t$ として扱われる。モデルは、単一の仮説的なイベントを条件付けることで遷移を近似する。
2. 事前帰属器 (Prior Attributor, $P_\eta$): 変化が起こる前に利用可能なコンテキストに基づいて、候補となるイベントをスコアリングする前方予測モデル。
3. 事後帰属器 (Posterior Attributor, $Q_\phi$): 実現した結果（$s_{t+1}$）を観察し、どの候補イベントがその変化を最もよく説明するかを判断する、凍結された事後視のLLM。これは「教師」として機能し、疑似ラベルを提供する。
4. 社会的世界モデル (Social World Model, $P_\theta$): 特定の帰属されたイベントが与えられたときに $s_{t+1}$ を予測することを学習する遷移エンジン。

学習目的:
学習は、以下の2つの項からなる損失関数を最小化する：

• 世界モデル損失 ($L_{wm}$): 事後帰属器によって帰属されたイベントを条件として、遷移 $s_{t+1}$ を予測するように $P_\theta$ を訓練する。
• 帰属損失 ($L_{attr}$): KLダイバージェンスを用いて、事後視の帰属を事前帰属器 $P_\eta$ に蒸留する。

このアプローチにより、モデルは逆推論を行うことで因果メカニズムを学習できる。すなわち、事後モデルが原因を特定し、事前モデルが未来にアクセスすることなくその原因を予測することを学習する。

2.3 推論モード

デカップリングされたアーキテクチャは、2つの異なるモードをサポートしている：

• 予測 (Forecasting): 事前帰属器の不確実性を周辺化することで、将来の市場軌跡を予測する（$\hat{s}_{t+1} = \sum P_\eta \cdot E[P_\theta]$）。
• シミュレーション (Simulation): 特定の（現実または仮定の）イベントを直接条件付けることで、「もし〜だったら」という信念の変化を推定する。ここでは帰属器をバイパスする。

3. 主な貢献

1. SWM-Bench: 実際の予測市場から精選された初の評価ベンチマークであり、社会的信念を、政治、金融、暗号資産をカバーする定量的な時系列形式へと変換した。
2. 社会的世界モデルフレームワーク: 従来の時系列予測を超えて、意味論的に駆動される社会動態の暗黙的な遷移ルールを捉えるためにLLMを活用した新しいアーキテクチャ。
3. 事後監督学習 (Posterior-Supervised Training): 社会的推論（帰属）と動態モデリングを分離することで、明示的な人間によるアノテーションなしでの学習を可能にし、帰属ラベルの問題を解決する学習パラダイム。

4. 実験結果

実験は、SWMを時系列モデル（Autoformer, iTransformerなど）およびLLMベースのベースライン（プロンプティングおよびファインチューニング）と比較しながら、SWM-Bench（KalshiおよびPolymarketデータセット）を用いて行われた。

• 性能: SWMはKalshiデータセットにおいて最先端の結果（SOTA）を達成し、GPT-5.5や各種時系列モデルを含む強力なベースラインを上回った。Polymarketデータセットにおいても、特に方向の正確性において競争力のある性能を示した。
• 方向の正確性 (Directional Accuracy): 明確なニュースの駆動要因が存在する帰属サブセットにおいて、SWM（事前）は最高の方向の正確性（Polymarketで0.685、Kalshiで0.845）を達成した。
• アブレーション研究:
  • モデルサイズ: より大きなLLMバックボーン（0.6Bから8B）は一貫して性能を向上させており、テキストイベントを数値的な動態へと翻訳するためには容量が重要であることを示唆している。
  • 帰属 (Attribution): 主要なボトルネックは、正しい因果ショックを分離する事前帰属器の能力である。推論にオラクル事後モデルを使用した場合、性能が大幅に向上したことは、イベントが特定されれば遷移モデル（$P_\theta$）が非常に正確であることを示している。
  • イベントの疎性 (Event Sparsity): 因果シグナルはしばしば単一のイベントに集中している。事後ガイド付き選択（$m=1$）は、フルセットの性能と一致する。

5. 意義と主張

本論文は、SWMが集団的な合意の進化をモデル化し予測するための新しいパイプラインを提供すると主張している。予測市場に社会動態を根ざさせ、LLMの推論能力を活用することで、このフレームワークは計量的なデジタル社会学のためのスケーラブルなツールキットを提供する。

著者らは、この研究をパラメトリックな社会的世界モデルへの一歩として位置づけている。彼らは、モデルが明確な外部イベントによって駆動される信念の変化（Kalahiに見られるように）を捉えることには長けている一方で、内生的またはアルゴリズム的なノイズが高い市場（Polymarketに見られるように）においては課題に直面することを強調している。この研究は、すべての社会予測問題を解決することを目的としているのではなく、特定のイベントがいかにして公衆の意見の変化を駆動するかを理解するための基礎的なフレームワークを確立するものである。

倫理に関する注記: 著者らは、このようなモデルが悪用された場合（例：標的を絞ったディスインフォメーション）、リスクを伴うことを認めており、集団的信念を操作するためではなく、集団的信念における不自然な変化を検出するための、透明かつ防御的な展開を提唱している。