論文要約：「BERT 埋め込みは物語の次元を符号化しているか？— 時間、空間、因果関係、登場人物に関するトークンレベルのプロービング分析」

この論文は、事前学習済み言語モデル（BERT）の埋め込み表現が、フィクションの物語理解に不可欠な**「時間（Time）」「空間（Space）」「因果関係（Causality）」「登場人物（Character）」**という 4 つの物語的次元を符号化しているかどうかを検証した研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定 (Problem)

物語の理解には、登場人物の追跡、時間的順序の把握、空間的関係の認識、出来事間の因果推論など、多次元の意味構造が必要です。近年の LLM は自然言語処理タスクで高い性能を示していますが、これらのモデルが人間が物語を理解するために使用するような**「物語構造（ナラティブ構造）」を内部的に表現しているか**は未解明な部分が多いです。

既存の「プロービング（Probing）」研究は、文レベルの構文や意味役割に焦点を当てており、複数の文にまたがるディスクース（談話）レベルの物語構造を BERT がどのように捉えているかについては十分に検討されていませんでした。本研究は、BERT のトークンレベルの埋め込み表現が、これらの高次な物語次元を区別可能に符号化しているかを検証することを目的としました。

2. 手法 (Methodology)

データセットの構築

• 対象テキスト: ジェーン・オースティンの『高慢と偏見（Pride and Prejudice）』の第 1 章から第 5 章。
• アノテーション: LLM（ChatGPT）を活用してトークンレベルでアノテーションを行い、その後人間が検証・修正する「人間-in-the-loop」方式を採用しました。
• ラベル体系: 以下の 4 つの物語次元と「その他（Others）」の 5 分類。
  1. Character: 登場人物（エージェント）
  2. Time: 時間的マーカー
  3. Space: 場所・設定
  4. Causality: 因果関係
  5. Others: 上記に該当しないもの
• データ規模: 合計 5,088 トークン。クラス不均衡が激しく、「Others」が 70.1% を占め、「Causality」は 0.5% しか存在しません。

実験手法

1. 埋め込み抽出: BERT (bert-base-uncased) を使用し、各トークンのコンテキスト埋め込み（768 次元）を抽出。アノテーションされたトークンと BERT のサブワード埋め込みを整合させ、平均化して 1 つのベクトルを生成しました。
2. 線形プロービング (Linear Probing): BERT の埋め込みを固定し、ロジスティック回帰（Logistic Regression）を用いてラベルを予測する分類器を学習させました。
   • クラス不均衡への対策: 学習時にクラス重み付け（class_weight='balanced'）を適用し、稀なクラス（Causality など）の誤分類に対するペナルティを大きくしました。
3. 対照実験 (Control Probe): BERT の埋め込みの分散（バリアンス）を一致させたランダムなベクトルに対して同じプロービングを行い、モデルが意味的な構造を学習しているのか、単にデータの統計的性質や過学習によるものかを検証しました。
4. クラスタリング分析: 教師なし学習（K-Means）を用いて、埋め込み空間内で物語次元が明確に分離されているか（可分性）を評価しました。

3. 主要な結果 (Key Results)

分類性能

• BERT プローブ: 全体精度 94% を達成。
• ランダム埋め込みプローブ: 全体精度 47%（ほぼランダムに近い）。
  • この差は、BERT が物語情報を意味的に符号化していることを強く示唆しています。
• クラス別性能（バランス重み付けあり）:
  • Character / Others: 高い再現率と F1 スコア（0.96 以上）。
  • Time: 再現率 0.80, F1 0.77。
  • Causality: 再現率 0.75, F1 0.60（サンプル数が極端に少ないが、ベースラインより有意に高い）。
  • Space: 再現率 0.66, F1 0.59。
  • 全クラスの平均再現率（Macro-average Recall）は 0.83 で、稀なクラスでも一定の検出能力があることが確認されました。

発見と課題

• 境界漏洩 (Boundary Leakage): 混同行列の分析により、稀な次元（Time, Space, Causality）が互いに混同されるのではなく、一貫して多数派クラスである「Others」に誤分類される傾向が確認されました。これは、文脈手がかりが弱い場合、モデルがデフォルトで「Others」に分類するバイアスがあることを示しています。
• クラスタリングの限界: UMAP による可視化や K-Means クラスタリング（768 次元空間）を行った結果、調整済みランダム指数（ARI）は 0.081 と非常に低く、教師なしクラスタリングは事前定義されたカテゴリーとほぼ無関係に結果を出しました。
  • これは、物語次元が BERT 空間内で離散的なクラスタとして明確に分離されているわけではなく、重なり合った連続的な領域として符号化されていることを示唆しています。
• 構文との関連性: 物語次元は品詞（POS）分布と強く関連していました（例：Character は代名詞・固有名詞、Space は前置詞など）。しかし、多単語表現（例：「in front of」）の存在や、構文と意味機能の不一致（例：「twenty」が代名詞的役割を果たす場合）が分類の難易度を上げています。

4. 主要な貢献 (Key Contributions)

1. 物語次元の符号化実証: BERT の埋め込み表現が、構文や文レベルの意味を超えて、時間、空間、因果、登場人物という高次の物語次元を意味的に符号化していることを、対照実験を通じて実証しました。
2. トークンレベル物語アノテーションの構築: LLM を活用した効率的なデータ作成と人間の検証を組み合わせた、物語次元に特化したトークンレベルデータセットの構築手法を提示しました。
3. 「境界漏洩」現象の特定: 稀な物語要素が「Others」に系統的に誤分類される現象を特定し、物語構造の符号化が完全に離散的ではないという洞察を提供しました。
4. 教師なし可分性の限界の示唆: 教師なしクラスタリングでは物語次元を分離できないことを示し、物語理解には線形分離や単純な距離ベースのクラスタリングを超えた複雑な構造が必要であることを指摘しました。

5. 意義と今後の展望 (Significance & Future Work)

本研究は、計算論的物語論（Computational Narratology）と言語モデルの解釈可能性（Interpretability）の交差点において重要な知見を提供しています。BERT が物語の「骨格」を内部表現として持っていることは、物語生成、要約、推論タスクにおけるモデルの能力向上の基礎となります。

今後の課題・方向性:

• POS ベースラインの確立: 現在の結果が単なる品詞の統計的相関に過ぎない可能性を排除するため、POS のみを入力とする分類器との比較が必要。
• データセットの拡張: 現代の文学作品や完全な物語（短編など）を含め、より多様な文脈での検証を行う。
• 層別プロービング: BERT のどの層（浅い層 vs 深い層）が物語情報を符号化しているかを解明する。
• 非線形分類器の導入: 重なり合う物語次元をより適切に捉えるため、線形プローブを超えた非線形モデルの検討。

総じて、この研究は「言語モデルが物語を理解しているのか」という問いに対し、「構文的な手がかりと意味的な文脈を統合し、連続的な空間で物語構造を表現しているが、完全な離散カテゴリーとして分離されているわけではない」という複雑な実態を浮き彫りにしました。