Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

技術要約：マルチホップ知識構成は事前学習時の露出に制約される

問題提起
大規模言語モデル（LLM）は、個々の事実的知識の保存と検索において高い忠実度を示すが、単一のフォワードパス内における暗黙的なマルチホップ推論には一貫して失敗する。モデルは「Xはいつ生まれたか？」「Yの親友は誰か？」という問いには正解できる一方で、両方の構成要素となる事実が完璧に記憶されているにもかかわらず、「Yの親友はいつ生まれたか？」という問いには答えることができない。この現象は**構成性のギャップ（compositionality gap）**として知られ、モデルのスケールやアーキテクチャを問わず持続する。既存の解決策は、推論時に思考の連鎖（Chain-of-Thought）や分解を用いて推論を外部化するものだが、構成的推論が事前学習のみから創発し得るかどうかは依然として不明である。さらに、プロプライエタリなモデルにおいては、非公開の事前学習データが存在するため、その根本原因を診断することが不可能である。

手法
著者らは、事前学習中に構成的なコンテキストに露出した個人と、そうでない個人を厳密に分離した制御された自然言語設定を用いて、このギャップを調査している。

1. データセット構築: Allen-Zhu and Li (2024) の合成伝記フレームワークに基づき、各個人が6つの属性（例：誕生日、出生地）と方向性を持つ「友人」および「敵」の関係によって記述される、$N=10,000$人の個人のデータセットを作成した。
2. 集団の分割: 集団を以下の2つの互いに素な集合に分割した。
   • $P_{comp}$ (Compositional/構成的): 関係性が排他的に$P_{comp}$のメンバーを指している個人。これらの個人は、事前学習中に構成的なコンテキストの中で露出される。
   • $P_{held}$ (Held-out/保持): 関係性が排他的に$P_{held}$内でのみ完結している個人。決定的なのは、これらの個人は、事前学習中に見られるいかなる構成的な連鎖においても、中間（ブリッジ）エンティティとして一度も登場しないことである。
3. 事前学習と拡張: 著者らはGPT-2（Small, Medium, Large）をスクラッチから事前学習させた。$P_{comp}$に対して、以下の2つの軸に沿って変化する9つの異なるデータ中心の拡張戦略を導入した。
   • フォーマット: 自然言語（NL）対 RDF（構造化されたトリプル）。
   • 言語化: 明示的（ブリッジとなるエンティティを命名する）対 暗黙的（ブリッジとなるエンティティを省略する）。
   • すべての条件には、multi5p-permute拡張を含む1ホップの原子的な伝記が含まれる。
4. 評価プロトコル: モデルを$P_{comp}$の75%（$P^{train}_{comp}$）でファインチューニングし、残りの25%（$P^{test}_{comp}$）および完全に未知の$P_{held}$で評価した。評価は、コンテキスト内に中間エンティティへのアクセスがない状態での、1ホップ、2ホップ、および3ホップのクエリに対する最初のトークンの精度を測定する。

主要な結果
実験により、主に以下の3つの知見が得られた。

1. 構成性のギャップは事前学習の失敗である: 1ホップの精度がほぼ完璧（97%）であっても、ベースラインの学習では、$P_{held}$に対する2ホップの精度はほぼ0%であり、$P_{comp}$に対してもわずかに改善される程度であった。これは、ギャップが容量の限界や知識の欠如ではなく、事前学習における事実の構成の失敗であることを裏付けている。
2. 事前学習時の露出は必要条件である: 構成的な事前学習は、露出した個人（$P^{test}_{comp}$）に対する未知の質問へのマルチホップQAを大幅に改善し、特定の拡張戦略（例：暗黙的かつ明示的なNL-RDF）の下で2ホップの精度は最大0.83に達した。しかし、ゼロの転移しか発生しなかった（$P_{held}$へは転移しない）。データ中心の拡張を行っても、構成的なコンテキストにおいてその個人に遭遇していなかった場合には補填できない。
3. 暗黙的 vs 明示的拡張:
   • 暗黙的な拡張（ブリッジとなるエンティティが省略されているもの）は、単独では明示的な拡張（ブリッジが命名されているもの）よりも一貫して優れた性能を示した。明示的なフォーマットはブリッジ・トークンの局在化を改善するが（Logit Lens分析により検証）、構成的な成功には結びつかなかった。
   • ハイブリッドなアプローチ（暗黙的信号と明示的信号を混合するもの）は、$P^{test}_{comp}$において最高のパフォーマンスを示し、信号を混合することが表現の整合性を高めることを示唆している。
   • RDFフォーマット（特に暗黙的RDF）は非常に効果的であることが証明され、NLと比較してごくわずかなデータコストで高い構成的精度を達成した。

意義と主張
本論文は、事前学習における構成的コンテキストへの露出が、暗黙的なマルチホップ推論の必要条件であることを確立した。著者らは、拡張（augmentation）は再利用可能で汎用的な構成ロジックではなく、エンティティ固有の関連性を誘導するものであると主張している。その結果、モデルは、マルチホップの文脈において遭遇したことがない個人については、いかなるデータ拡張やファインチューニング戦略を用いても、事実を構成することに失敗する。

本研究は、未知のエンティティに対してデータ拡張のみによって構成的推論を誘発できるという概念に異を唱えるものである。暗黙的なマルチホップ推論を実現するためには、訓練分布に、要求される関係鎖の中に含まれる特定のエンティティを明示的に含める必要があることを示唆している。著者らは、この根本的な限界を克服するための訓練目的関数やアーキテクチャの変更に関する今後の調査を支援するため、コードと伝記フレームワークの再現版を公開している。

限界
著者らは、本設定が完全に合成的なものであり、自然言語のコーパスへの一般化については未検証であることを認めている。実験にはGPT-2規模のモデルを使用しているが、構成性のギャップは175Bパラメータに至るまで持続することが知られている。また、本研究は標準的な事前学習下でのデータ中心の介入に焦点を当てており、強化学習や知識蒸留などの代替的な目的関数については評価していない。