技術的サマリー：トランスフォーマーと大規模言語モデルにおける関係性推論と帰納的バイアス

問題提起

トランスフォーマーベースのモデルは驚異的な推論能力を示してきたが、関係性推論、特に間接的に関連する項目間の関係を推論する能力の背後にあるメカニズムは、依然として十分に理解されていない。モデルが2つの異なる学習 regime の下で推移的推論（例：$A > B$ かつ $B > C$ ならば $A > C$）をどのように遂行するかを区別する上で、重要なギャップが存在する：

1. 重み内学習（IWL）： 情報がトレーニング中にモデルのパラメータに格納される。
2. コンテキスト内学習（ICL）： 情報が推論時に入力シーケンス内で動的に提供される。

ICL は分類や回帰において研究されてきたが、関係性推論タスクにおけるその振る舞いは不明である。事前学習済みモデルにおけるトレーニングデータの制御が限られているため、大規模言語モデル（LLM）が重みに符号化された先行知識に依存しているのか、それとも真のコンテキスト内推論を実行しているのかを判断することは困難である。本論文は、推移的推論を典型的なタスクとして用い、これらの学習モードが帰納的バイアスと一般化パターンにおいてどのように異なるかを調査する。

手法

著者は、ゼロから訓練された小規模なトランスフォーマーを用いた制御実験と、大規模言語モデル（LLM）を用いたプローブ実験を組み合わせる多面的なアプローチを採用した。

1. 推移的推論タスクの設定

コアタスクは、アイテムの階層（例：$A > B > C > \dots > G$）を含む。

• 入力： 相対的な順序を示すラベル付きのアイテム（トークン）のペア（最初のものが2番目より大きい場合は+1、そうでない場合は-1）。
• トレーニングデータ： モデルは隣接ペア（記号的距離 = 1、例：$A>B$, $B>C$）のみで訓練される。
• 評価： モデルは非隣接ペア（記号的距離 > 1、例：$A>C$）でテストされ、推移的一般化を測定する。
• アーキテクチャ： 解釈可能性のために MLP を省略した、2層の注意のみのトランスフォーマー。入力特徴量として Omniglot 画像の ResNet18 埋め込みを使用する。

2. 実験条件

本研究は、3 つの特定のトレーニング regime を比較する：

• IWL（固定階層）： 階層はすべてのトレーニングシーケンスで固定される。コンテキスト例はランダムで無関係であり、モデルがランキング構造を重みに学習することを強制する。
• 標準的 ICL（動的階層）： 各トレーニングシーケンスに対して新しいランダムな階層が割り当てられる。コンテキストには、その特定のシーケンスに対するすべての隣接ペアが含まれる。モデルはコンテキストからランキングを推論する必要があり、特定の階層の重みへの格納を防ぐ。
• 線形回帰事前学習付き ICL： モデルはまず、シーケンスごとに重み $W$ が変化するコンテキスト内線形回帰タスク（$y = Wx$ の予測）で事前学習される。これにより、モデルは推移的推論タスクで評価される前に、ICL を通して潜在的な線形表現を学習することを強制される。

3. 機械的分析

モデルがタスクをどのように解決するかを理解するために、著者は以下の手法を用いた：

• 主成分分析（PCA）： 隠れ層表現の幾何学を可視化するため。
• 注意パターンの分析： 「誘導ヘッド」（前トークン注意 + 誘導ヘッド）などの特定の回路メカニズムを特定するため。
• アブレーション研究： 因果的な重要性をテストするために注意ヘッドを体系的に除去する。

4. 大規模言語モデル（LLM）のプローブ

一般化性をテストするために、著者は事前学習済み LLM（Gemini および Gemma ファミリー）を用いて ReCogLab データセットを使用した。彼らは一致性パラダイムを採用した：

• 一致（Congruent）： 関係性が現実世界の知識と一致する（例：クジラ > イルカ）。
• 不一致（Incongruent）： 関係性が現実世界の知識と矛盾する（例：金魚 > イルカ）。
• 幾何学的足場： プロンプトに、線形数直線（推移性を支持）上でアイテムを想像するよう指示するか、円（巻き戻しにより推移性を違反）上で想像するよう指示することで拡張された。

主要な結果

1. IWL と標準的 ICL の間の異なる振る舞い

• IWL モデル： 隣接ペアのみで訓練されているにもかかわらず、自然に推移的推論を示す。彼らは人間のような行動効果を示す：
  • 記号的距離効果： 階層内のアイテム間の距離が増加するにつれて、精度が向上する。
  • 末端項目効果： 階層の両端にある項目でより高いパフォーマンスを示す。
  • 表現： PCA は、アイテムが符号付き記号的距離によって配置された連続的な線形埋め込みを明らかにする。
• 標準的 ICL モデル： 隣接ペアのみで訓練された場合、推移的に一般化できない。
  • 彼らは隣接ペア（暗記）と末端項目で高い精度を達成するが、内部の非隣接ペアでは偶然のレベルのパフォーマンスしか示さない。
  • メカニズム： 彼らは関係構造を学習するのではなく、誘導回路（マッチ＆コピー戦略）に依存している。PCA は距離に基づく表現を示さない。モデルは、ペアが存在する場合にコンテキストからラベルを単にコピーする。
  • 注記： ICL モデルが明示的に非隣接ペアで訓練された場合、彼らは推移性を学習できるが、IWL に見られる記号的距離効果は示さない。

2. 線形事前学習の役割

• コンテキスト内線形回帰で ICL モデルを事前学習することは、その振る舞いを根本的に変える。
• これらのモデルは、その後の TI タスクにおいて、推移的推論、記号的距離効果、および末端項目効果を示す。
• メカニズム： 誘導回路は消滅する。代わりに、モデルは IWL モデルと同様に階層関係を取り込む分散表現を発達させる。線形回帰タスクは、推移性が数学的に現れる（$rank(A) > rank(B) \land rank(B) > rank(C) \implies rank(A) > rank(C)$）加法的表現構造（スカラーランク）を誘導する。

3. 大規模言語モデルにおける知見

• 一致性： LLM は、不一致なもの（純粋な ICL を必要とする）よりも、一致する関係性推論プローブ（格納された IWL 的な知識を利用する）でより良いパフォーマンスを示す。
• 幾何学的足場： 不一致なタスクでプロンプトされた場合、線形幾何学プロンプト（「数直線を想像してください」）は、円形プロンプト（「円を想像してください」）と比較して、推移的推論を大幅に改善する。
• この効果は不一致条件で最も顕著であり、モデルのサイズ（Gemma モデルにおいて）に比例して増大する。これは、LLM が適切な幾何学的枠組みによって活性化できる潜在的な線形表現を有していることを示唆している。

主要な貢献

1. 帰納的バイアスの特性評価： 本論文は、IWL と ICL が質的に異なる計算戦略をもたらすことを実証する。IWL は自然に線形で推移的なバイアスを誘導するのに対し、標準的 ICL はトレーニングデータまたは事前学習が明示的に関係性一般化を必要としない限り、マッチ＆コピー戦略にデフォルトする。
2. 機械的説明： 著者は、標準的 ICL における推移的一般化の欠如が、関係構造の学習ではなく、パターンマッチングである誘導回路の形成によるものであることを特定する。逆に、線形回帰事前学習は、分散線形表現を優先してこれらの回路を抑制する。
3. 小規模モデルと LLM の架橋： 幾何学的プロンプティングを使用することで、制御された小規模実験からの知見が現代の LLM に一般化することを示す。これは、LLM の推移的推論能力が、重みに格納されているか、コンテキストを通じて活性化されるかのいずれかで、適切に構造化された表現にアクセスすることに依存しているという証拠を提供する。

意義と主張

本論文は、トランスフォーマーにおける推移的推論の能力が固定的な機能ではなく、以下によって決定的に決定されると主張する：

1. トレーニング regime： 情報が重み内かコンテキスト内で学習されるか。
2. 表現の幾何学的構造： 誘導された表現が推移性を支持する線形であるか、パターンマッチングに依存するか。

著者は、トランスフォーマーは推移的推論を実行できるが、隣接ペアに対する標準的 ICL は自動的にこの能力をもたらさないことを結論づける。代わりに、それは線形表現を誘導する特定の事前学習（線形回帰など）が必要か、または LLM における幾何学的プロンプティングを通じて潜在的な線形構造を活性化することが必要である。この研究は、LLM における「推論」は、しばしば内在的な論理的推論メカニズムではなく、彼らが使用またはアクセスすることを強制される表現の幾何学的構造の反映であることを浮き彫りにしている。