Circadian Modulation of Semantic Exploration in Social Media Language

技術要約：ソーシャルメディアにおける言語のサーカディアン・リズムによる意味論的探索の変調

問題提起
人間の認知は、注意、感情、意思決定に影響を与える強力なサーカディアン・リズム（概日リズム）を示すことが知られているが、これらの生物学的リズムが高次元の意味論的行動に与える影響については、ほとんど解明されていない。ソーシャルメディアの大規模な分析では、感情表現や単語の頻度における日周リズム（例：午前中にポジティブな感情がピークに達するなど）が確立されているが、これらの変動が、新しいアイデアを探索する認知的な柔軟性（探索）と、慣れ親しんだ表現に固執すること（定着）の間の変化、すなわち「意味論的探索（semantic exploration）」を反映しているのかどうかは不明である。さらに、既存の研究は、個人レベルの意味論的変動と集団レベルの意味論的多様性を十分に区別しておらず、また、意味論的探索が単に気分（mood）の代用指標なのか、それとも独立した認知次元なのかについても特定できていない。

手法
著者らは、2024年1月から12月までのRedditへの投稿2,921,362件の大規模コーパスを分析した。対象は、投稿ボリュームの高い米国、インド、英国、カナダの4カ国である。研究では以下の多段階のテクニカル・パイプラインを用いた：

1. データ前処理と地理特定： NSFW（成人向け）コンテンツ、ボット、および英語以外のテキストを除外するために投稿をフィルタリングした。階層的な戦略（URLのトップレベルドメイン、サブレディット名、著者のフレーバー、および名前付きエンティティ認識）を用いて地理的属性を割り当て、投稿を特定の都市およびタイムゾーンに分類した。タイムスタンプは、夏時間（DST）を考慮した上で、現地の民事時刻に変換された。
2. 意味論的埋め込み（Semantic Embedding）： テキスト（タイトル + 本文）を、事前学習済みトランスフォーマーモデル sentence-transformers/all-mpnet-base-v2 を用いて埋め込み、正規化された高次元ベクトルを生成した。
3. エントロピー指標： シャノンの情報エントロピーから、2つの補完的な探索指標を導出した：
   • 局所的意味エントロピー ($H_{local}$): 埋め込み空間における$k$-近傍法（$k=10$）の距離を用いて、個々の投稿に対して算出された（$H_{local}(x_i) = \log(r_k(x_i))$）。これは、同じ時間枠内の他の投稿からその特定の投稿がいかに独特であるかを測定し、個人レベルの探索を反映する。
   • 全域的意味エントロピー ($H_{global}$): 特定の国の全埋め込み分布の微分エントロピーとして、共分散行列の行列式を用いて算出された（$H_{global} = \frac{1}{2}\log((2\pi e)^d \det(\Sigma))$）。これは、集団がカバーする意味空間全体の広がりを測定する。
4. センチメントと検証： センチメント（感情価）はVADERアナライザーを用いて定量化した。意味論的エントロピーの尺度を既知のリズムに対して検証するため、先行研究（Dzogang et al., 2017）のポジティブな感情および悲しみに関連する単語の使用の標準偏差プロファイルをデジタル化した。
5. 統計モデリング： サーカディアン・リズムの周期性は、単一成分の24時間コシノールモデルを用いて評価した。季節的な同調（entrainment）は、エントロピーのピークと日出・日没時刻との相関によって分析した。クラスター分析（HDBSCAN）およびべき乗則フィッティングを用いて、意味的なトピックの時系列的組織化を調査した。

主な結果

• 堅牢なサーカディアン・リズム： 4カ国すべてにおいて、局所的意味エントロピーに有意な24時間周期性が認められた（$P_{fdr} < 0.001$）。意味論的探索のピーク（頂相）は、一貫して早朝の時間帯（現地時間の午前3:00–5:00頃）に発生し、$R^2$値は0.73から0.78の間であった。
• 季節的な同調： 米国では、意味論的エントロピーの谷（trough）のタイミングが日没時刻と正の相関を示した（$r=0.68$）。これは、季節的な光のキュー（光周期）が、意味活動の位相を同調させている可能性を示唆している。
• センチメントからの解離： 意味論的探索とセンチメントの関係は弱く、一貫していなかった。意味論的エントロピーは、参照研究における悲しみに関連する単語使用の変動性とは相関していたが、平均的なセンチメント・スコアとは相関しなかった。国によっては負の相関を示し、別の国では正の相関を示した。これは、意味論的探索が、感情的な価（affective valence）とは異なる認知次元を捉えていることを示している。
• 時間的な解離（局所 vs 全域）： 体系的な時間的解離が観察された：
  • 局所的エントロピー（個人の探索）は早朝にピークに達した。
  • 全域的エントロピー（集団の多様性）は、総投稿数と密接に連動して、日中の後半（約14:00–17:00）にピークに達した。
• 「富める者はさらに富む」ダイナミクス： 追加の投稿による全域的意味エントロピーの限界利得は、一日の進行とともに大幅に減少した。初期の投稿は意味的な多様性に大きく貢献したが、後半の投稿は収穫逓減を示し、既存のクラスター内に蓄積していった。これはべき乗則分布（$P(s) \sim s^{-1.60}$）に従っており、集団が新しい領域を探索するよりも、既存の意味的なハブにますます集中していくことを示している。

主要な貢献

1. 意味論的探索の定量化： トランスフォーマーによる埋め込みとエントロピー尺度を用いることで、自然言語における探索と定着（exploration-exploitation）のトレードオフを定量化する手法を導入した。これは単純な単語頻度を超えたものである。
2. スケール固有のサーカディアン・パターン： サーカディアン・リズムが、個人レベル（早朝の探索）と集団レベル（午後の蓄積／定着）で異なって作用していることを示し、二段階の日常プロセスを明らかにした。
3. 感情からの独立性： 意味的な多様性が単なる気分の変動の副産物ではなく、認知の柔軟性を制御する神経調節系に関連する可能性のある、独立した認知プロセスであることを示す証拠を提供した。
4. 国を越えた一貫性： これらのサーカディアン的な意味論的パターンは、多様な文化や地理において堅牢であり、人間の認知ダイナミクスの一般的な特性であることを示した。

意義と主張
本論文は、生物学的なサーカディアン・リズムが意味論の領域にも及び、人々が「何を」話すかだけでなく、「いかに多様に」アイデアを表現するかに影響を与えると主張している。観察された局所的意味探索の早朝のピークは、覚醒状態における行動の柔軟性と探索に関連するドーパミン作動性トーンなどの、既知の日周的な神経調節パターンと一致している。

著者らは、ソーシャルメディアの言語の時系列的構造は、根本的な認知メカニズムを反映していると仮定している：すなわち、一日は広範な意味論的探索（高い局所的エントロピー）のフェーズから始まり、続いて、コミュニティが集合的に意味空間を拡大しながらも、次第に確立されたトピックへと集中していく定着（高い全域的エントロピー、収穫逓減）のフェーズへと移行するというものである。このパターンは「富める者はさらに富む」ネットワーク・ダイナミクスと一致しており、サーカディアン生物学が、自然な環境における人間によるコミュニケーションと認知の柔軟性の基本的なアーキテクチャを形作っていることを示唆している。