On the Proper Treatment of Units in Surprisal Theory

以下は、論文「On the Proper Treatment of Units in Surprisal Theory（サプライザル理論における単位の適切な扱いについて）」の詳細な技術的概要です。

1. 問題提起

サプライザル理論は、人間の認知処理の労力が、文脈に続く言語単位の負の対数確率（サプライザル）によって決定されると仮定しています。しかし、現在の経験的研究には重要な方法論的ギャップが存在します。

• 不一致: 実験刺激は通常、言語学的に動機付けられた単位（単語、形態素など）に分割されますが、現代の事前学習済み言語モデル（LM）は、これらの言語単位と整合しない固定トークン辞書（例：バイトペアエンコーディング）上で動作します。
• 結果: 研究者は現在、モデルトークンを言語単位にマッピングするために、場当たり的な事後のヒューリスティックに依存しています。これらの手続きは、しばしば 2 つの異なるモデリング選択を混同します。
  1. 単位辞書 ($U$): 言語単位の定義（例：単語、文字、句）。
  2. 関心領域 (ROIs): 予測が評価される特定の範囲（例：単語レベルのサプライザルを文レベルの指標に集約すること）。
• 既存アプローチの欠陥: このマッピングを形式化しようとする最近の試み（Oh & Schuler, 2024; Pimentel & Meister, 2024 など）は、単位の境界が記号辞書の固定された分割によって決定できると仮定しています（例：空白は常に境界をマークする）。著者らは、これが言語学的に不十分（例："end, he" ではコンマが境界だが、"1,000" では内部にある）であり、文脈依存のトークン化を扱う際に数学的に一貫性を欠くと主張しています。

2. 方法論

著者らは、トークン化を科学的な原始ではなく実装の詳細として扱うことで、単位の定義からトークン化を解きほぐすための統合された形式枠組みを提案します。

A. 形式枠組み

• 関心の分離: 本論文は、記号辞書 ($\Sigma$)（LM のネイティブトークン/文字）と単位辞書 ($U$)（研究者が選択した言語単位）を区別します。
• 単位パーサー ($\rho$): 記号列を単位列に変換する確率的写像 $\rho: \Sigma^* \to U^*$ です。実用的な目的のために $\rho$ は決定論的であると仮定されます。
• プッシュフォワード確率: 記号レベルのモデル ($p_\Sigma$) から単位上の確率分布 ($p_U$) を導出するために、プッシュフォワード操作を使用します。
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  これは、特定の単位 $u$ にマッピングされるすべての記号列の確率を合計します。

B. 変換言語モデル

潜在的に無限の記号列にわたって合計するという計算上の課題に対処するため、著者らは有限状態変換器 (FST) を導入します。

• 正規単位辞書: $U$ が有限辞書 $\Xi$ 上の文字列の「正規」部分集合であると仮定します。
• 変換器 ($f$): 有限変換器 $f = h \circ \rho$ は、記号列 $\Sigma^*$ を有限辞書 $\Delta = \Xi \cup \{SEP\}$ 上の文字列にマッピングします。ここで $SEP$ は区切り記号です。
• アルゴリズム: LM を変換器と合成することで、ビームサーチ近似（Snæbjarnarson et al., 2026）を用いてプッシュフォワード分布を効率的に計算できます。これにより、LM を再学習させることなく、任意の単位辞書に対するサプライザルの計算が可能になります。

C. 実験設計

• データセット: 多言語眼球運動コーパス (MECO)、特に英語部分（46 名の読者、12 のウィキペディア抜粋）。
• テストされた単位辞書:
  1. トークン: ネイティブな GPT-2 トークン。
  2. 文字: 個々の文字。
  3. 文脈非依存単語: 固定区切り記号（空白）で分割された単語。先頭と末尾の空白の帰属の両方をテスト。
  4. 文脈依存単語: ペン・ツリーバンク (PTB) 規則を使用して分割された単語（例："1,000" と "end, he" のような句読点の扱い）。
• 分析:
  • ベースライン: 単位長さ、ユニグラムサプライザル、スピルオーバー効果を用いて読書時間を予測する対数正規一般化加法混合モデル (GAMM)。
  • ターゲット: ベースラインに文脈依存サプライザルを加えたもの。
  • 指標: 留め出し交差検証による保持済み対数尤度の改善 ($\Delta llh$)。

3. 主な貢献

1. 理論的解離: 本論文は、単位の選択とトークン化の選択を形式的に分離し、単位の選択は LM のアーキテクチャの副産物ではなく、科学的な問いによって駆動される主要なモデリング決定であるべきだと論じます。
2. 一般化された形式主義: 変換器を用いた「独自の単位を持ち込む」枠組みを提供し、研究者が任意の文脈感受性単位辞書（例：PTB スタイルのトークン化）を定義し、事前学習済み LM から直接サプライザルを計算できるようにします。
3. 現在のヒューリスティックへの批判: 固定分割アプローチ（空白を普遍的な境界マーカーとして扱うこと）が言語的現実（例：句読点の付随）を捉えきれず、単位の同一性に関して数学的不整合を導入することを示します。
4. 実用的ツールキット: 著者らは、トークンレベルのモデルを文字レベルまたは文脈認識型単語レベルのモデルに変換するためのコードと変換器を公開しています。

4. 結果

著者らは、4 つの単位辞書におけるサプライザルの予測力を、3 つの読書時間指標（第一注視 (FF)、注視持続時間 (GD)、総読書時間 (TRT)）に対して評価しました。

• 単語のような辞書: サプライザルは、すべての単語のような辞書（トークン、文脈非依存、文脈依存）において、注視持続時間と総読書時間の予測を有意に改善しました。
• 第一注視: サプライザルはトークン、文脈依存単語、文脈非依存（末尾）において有意でしたが、*文脈非依存（先頭）*では有意ではありませんでした。これは、先頭空白の帰属（BPE で一般的）が初期の認知処理と整合しない可能性を示唆しています。
• 文字レベル: 文字レベルのサプライザルは、読書時間の予測において有意な改善を示しませんでした。著者らは、単一の文字は個別に注視されることは稀であり、処理の認知単位は単一の文字よりも大きいことに起因すると帰属しています。
• 文脈依存対文脈非依存: 文脈依存単語辞書（句読点を正しく扱う）は、特に複雑な句読点の場合、文脈非依存のものと同程度かわずかに優れており、文脈感受性分割の必要性を裏付けました。
• 絶対スコアの非比較性: 本研究は、異なる単位辞書間では、絶対対数尤度や $\Delta llh$ 値を直接比較できないことを強調しています。なぜなら、辞書は異なる観測粒度とベースライン予測子（例：単位長さ）を誘導するためです。

5. 意義

• 方法論的厳密性: 本論文は、トークン化を固定された制約として扱うことが心理言語学的結論の有効性を制限することを確立しました。研究者は明示的に単位辞書を定義する必要があります。
• 再現性と柔軟性: 変換器ベースの枠組みを提供することで、コミュニティが LM を最初から再学習する莫大なコストなしに、特定の言語単位（形態素、句、談話単位など）に関する仮説を検証できるようにします。
• 言語的適切性: 結果は、単純な区切り記号ベースの分割よりも、文脈感受性分割（PTB のようなもの）が、特に句読点に関して人間の読書行動のモデリングにおいて優れているという見解を支持しています。
• 将来の方向性: 適切な変換器が構築できれば、この枠組みは他の従属変数（神経信号、損失付き文脈サプライザル）や他の言語へ拡張可能です。

要約すると、本論文はトークン化は実装の詳細であり、単位選択は科学的な選択であると主張しています。変換器を通じて両者を解離させることで、研究者はサプライザル指標が研究対象とする言語単位を正確に反映していることを保証できます。