💬 NLP

Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

本論文は、標準的な UD 依存関係に基づくプロービングでは捉えられない、wh 移動刺激における相の数の勾配と符号の非対称性を構造的プローブが検出することを明らかにすることで、大規模言語モデルが Universal Dependencies には見えないミニマリスト・プログラムにおける相境界や凝着といった形式的統語的抽象概念を符号化していることを示す。

原著者： Yuanhao Chen, Peter Chin

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuanhao Chen, Peter Chin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、巨大で超賢いロボット（大規模言語モデル、または LLM）が文の構造をどのように理解しているのかを解明しようとしていると想像してください。長年にわたり、研究者たちはこの理解を検証するために、「ユニバーサル・デペンデンシー（UD）」と呼ばれる「地図」を用いてきました。UD は、単語同士がどのように結びついているかを示す標準的な平坦な地図、例えば家系図のようなものです。それは文の中で誰が「親」で誰が「子」であるかを教えてくれます。

しかし、この論文の著者たちは、この地図にはいくつかの決定的な地形が欠落していると主張します。それは家の中の異なる部屋を隔てる「壁」や「境界」を示していないのです。言語学において、これらの壁は「フェーズ」と呼ばれます。

以下に、この論文の核心となる物語を簡潔に分解して示します。

1. 問題：地図が単純すぎる

研究者たちは、これらの AI ロボットが実際にこれらの目に見えない「壁」（フェーズ）を理解しているのか、それとも平坦な地図（UD）しか見ていないのかを知りたがっていました。

罠: もしロボットに文を描くようにただ尋ねるだけであれば、それは壁を理解しているように見えるかもしれません。しかし、それは単に平坦な地図を暗記しているだけかもしれません。
解決策: チームは、3 種類の異なる文において「平坦な地図」（UD）が完全に同じに見える特別なテストを構築しました。もしロボットがこれらの文に対して依然として異なった反応を示すならば、それは地図が示していない何かを見ていることを意味します。

2. 実験：3 種類の「部屋」

彼らは、疑問詞（「何」など）が文の末尾から先頭へ移動する 3 種類の文を作成しました。

タイプ A（裸）: 小さな開放的な部屋。（例：「What did she see him eat?（彼女は彼が何を食べるのを見たのか）」）
タイプ B（不定詞）: 廊下のある部屋。（例：「What did she expect him to eat?（彼女は彼が何を食べると期待したのか）」）
タイプ C（限定詞）: 廊下と施錠されたドアのある部屋。（例：「What did she think he ate?（彼女は彼が何を食べたと思ったのか）」）

3 つのケースすべてにおいて、疑問詞と主語の間の「平坦な地図」上の距離は同一です。しかし、「ミニマリズム」文法理論において、疑問詞が越えなければならない「壁」（フェーズ）の数は、タイプ A からタイプ C へと増加します。

3. 発見：ロボットは壁を見ている

研究者たちは、Llama、Gemma、Mistral、Qwen などのファミリーに属する 13 の異なる AI モデルを「プローブ」し、それらがこれらの文をどのように表現しているかを調べました。

「深さ」テスト: 彼らは疑問詞と主語の間の距離を測定しました。
- 結果: ロボットは、より多くの「壁」を追加するにつれて、文が「深く」またはより複雑になっているかのように一貫して扱いました。平坦な地図では距離が同じだと示されていても、ロボット内部の数学は明確な勾配を示しました：単純 < 中程度 < 複雑。
- 統計: 13 のモデルのうち 12 がこのパターンを明確に示しました。
「凝集性」テスト（大きな驚き）: 彼らは、小さな部屋の中の主語と動詞の関係に注目しました。
- 予測: 「限定詞」文（タイプ C）では、主語と動詞は同じ「部屋」（フェーズ）内にあります。他のタイプでは、壁によって隔てられています。
- 結果: ロボットは、限定詞文の場合にのみ、内部メモリにおいて主語と動詞を互いに引き寄せました。
- なぜこれが重要か: 平坦な地図は、3 つすべてにおいて距離が同じ（1 ステップ）であると示しています。ロボットは違いに気づくはずがありませんでした。しかし、彼らは気づきました。彼らは「限定詞」の部屋にある言葉を結束の強いチームとして扱い、他のものは緩やかとして扱いました。これは、標準的な地図では見ることができないフェーズ内部の凝集性という概念を、彼らが使用していることを証明します。

4. 実在の証明（単なるバグではない）

懐疑論者は、「もしかしたらロボットは単に推測しているか、数字はランダムなのではないか」と言うかもしれません。ロボットが実際にこの情報を使用していることを証明するために、研究者たちは「手術」（アクティベーション・パッチングと呼ばれる）を行いました。

彼らは、複雑な文からの主語単語の「脳状態」を取り出し、単純な文に貼り付けました。
結果: ロボットの内部距離測定値は、予測通り正確に変化しました。これは、ロボットが単にパターンを暗記しているのではなく、これらの構造的な「壁」を積極的に使用して計算を行っていることを確認させます。

5. 主な結論

この論文は、ユニバーサル・デペンデンシー（標準的な地図）は「上限」ではなく「下限」であると結論付けています。

次のように考えてみてください：もし平坦な地図を使ってロボットの知識を検査すれば、それは基礎を知っていると思えるかもしれません。しかし、この論文は、ロボットが実際には建物の「構造」、つまり壁、階、そして部屋を知っていることを示しています。たとえ地図にそれらが描かれていなくてもです。

要約すると: 大規模言語モデルは、訓練を通じて、自発的に「フェーズ」や「境界」に関する深遠で形式的な言語理論と整合する内部地図を構築することを学びました。これは標準的な注釈ツールが検出できる範囲を遥かに超えています。彼らは単に表面的なパターンを模倣しているのではなく、目に見えない壁を含む言語の構造的な理解を構築しているのです。

技術的サマリー：LLM におけるミニマリズム相構造の探査

問題定義
構造的探査（structural probing）は、大規模言語モデル（LLM）が隠れ表現に構文構造を符号化していることを確立してきた。これは通常、ユニバーサル・デペンデンシー（UD）ツリー距離を回復するように訓練されたプローブを用いて行われる。しかし、UD は注釈方式であり、生成文法ではない。そのため、ミニマリズム・プログラム（Minimalist Program）に由来する相境界（phase boundaries）や相内部の凝集性（phase-internal cohesion）といった形式的構文の抽象概念を欠いている。したがって、標準的な UD に基づく探査では、LLM がこれらのより深い構造的性質を符号化しているかどうかを決定できない。もしプローブが条件間の差異を検出した場合、それが対象となる構文の抽象化を反映しているのか、それとも単に UD 距離や表面特性の再符号化を反映しているのかは不明瞭である。本論文は、注釈ベースの探査の限界を超えた形式的構文の抽象概念を LLM が符号化しているかどうかという未解決の課題に取り組む。

手法
著者らは、wh 移動（wh-movement）刺激を用いた探査実験を設計した。この実験では、探査対象の単語対間の UD ツリー距離が、構成上すべての条件で不変に保たれる。これにより、プローブによって検出されるいかなる非ゼロ効果も、UD では捉えられない構文情報を反映することが保証される。

刺激の構築:
各項目に対して、wh要素が横断するミニマリズム・プログラム（MP）の相境界の数によって順序付けられた 3 つの条件が作成される。
- 裸の小型文（Bare Small Clause）: （例：What did she see him eat?）– 追加の相は 0。
- 不定詞（Infinitival）: （例：What did she expect him to eat?）– 追加の相は 1（vP）。
- 限定文（Finite）: （例：What did she think he ate?）– 追加の相は 2（vP および CP）。
2 つのプローブ対が測定される。
- 節間（wh–埋め込み主語）: 「相数勾配」（構文的深さ）をテストする。
- 節内（埋め込み主語–埋め込み動詞）: 「相内部の凝集性」をテストする。重要なのは、この対の UD 距離は 3 つの条件すべてで正確に 1 エッジ（nsubj）である点だ。
プローブプロトコル:
- 線形プローブを Universal Dependencies English Web Treebank（UD-EWT）上で訓練し、隠れ状態をユークリッド空間にマッピングする。
- これらの訓練済みプローブを、さらなる適合なしにwh移動刺激で評価する。
- 効果量（ $\beta$ ）は、限定文および不定詞条件を裸の基準と比較する OLS 回帰によって推定される。
- 標準層の報告（Canonical-Layer Reporting）: 層の機会主義的な選択（異なる対比が異なる層でピークに達する一般的な問題）を避けるため、著者らは最も信頼性の高い対比（ $\beta_{fin}$ ）を最大化する層に基づき、モデルごとに単一の「標準層」（ $L^*$ ）を定義する。すべての他の対比はこの固定された層で報告される。
因果的検証:
活性化パッチング（activation patching）実験が実施される。不定詞ソースからの埋め込み主語の残差ストリーム表現が、裸のターゲットにパッチングされる。もし表現が節タイプ情報を因果的に符号化しているなら、これはプローブ距離を予測された方向にシフトさせるはずだ。
モデル:
本研究は、Gemma-3、Llama-3、Mistral、Qwen の 4 つのファミリーに属する 13 のデコーダ専用ベースモデルを評価する。

主要な結果

相数勾配（節間）:
13 モデルのうち 12 モデルで、wh要素と埋め込み主語間のプローブ距離は、予測された勾配に従う： $\beta_{fin} > \beta_{inf} > 0$ 。これは、UD 距離が不変であるにもかかわらず、モデル表現が横断される相境界の増加数を反映していることを示している。
符号の非対称性（節内）:
埋め込み主語–動詞の対（UD 距離が同一である場合）において、強力な13/13 の符号非対称性が観察された。
- 限定文条件: $\beta < 0$ （表現は基準よりも近い）。
- 不定詞条件: $\beta > 0$ （表現は基準よりも遠い）。
このパターンは、代替的な説明と矛盾する。
- UD 距離: $\beta \approx 0$ （距離は一定）を予測する。
- 線形距離: $\beta_{inf} > 0$ だが $\beta_{fin} \approx 0$ （限定文と裸は隣接；不定詞は間に 'to' を持つ）を予測する。
- 単調な複雑さ: $\beta_{fin} > \beta_{inf} > 0$ （構文が多い＝距離が大きい）を予測する。
観察された負の $\beta_{fin}$ は、相内部の凝集性によって具体的に予測される。これは、同じ完了した相（限定 CP）内の項目が凝集体として spelled out され、表現上近くなるという MP の抽象概念である。
因果的裏付け:
埋め込み主語位置での活性化パッチングは、13 モデルのうち 12 モデルで、予測された方向にプローブ距離をシフトさせることに成功した。これは、特定された表現がモデルの計算において因果的に活性であることを確認し、プローブがモデルが実際に使用する表現を回復しているかどうかに関する懐疑論に対処する。

主要な貢献

不変 UD 距離プローブ: 著者らは、UD 距離が厳密に制御される構文構造の探査手法を実証し、検出された効果が UD を超えた構造を反映していることを保証する。
標準層の報告: 彼らは、すべての対比を単一の層に固定するより厳格な報告基準を導入し、自由度を排除するとともに、対比ごとのピーク報告では隠されてしまう異質性（例：Qwen-3-4B の失敗など）を明らかにする。
因果的証拠: 活性化パッチングを通じて、相構造表現が単なる相関ではなく、計算的に活性であることを直接示す証拠を提供する。

意義と主張
本論文は、分布的事前学習が、UD ベースの注釈では見えない形式的構文の抽象概念（具体的には相境界と相内部の凝集性）と整合する表現を誘発すると主張する。節内対における 13/13 の符号非対称性は、LLM が標準的な探査ではアクセスできない構文情報を符号化しているという存在証明として機能する。

著者らは、UD に基づくプローブは構文符号化の上限ではなく下限を提供すると結論づける。これらの発見は、LLM が明示的な文法指導ではなく、訓練データの統計的規則性によって駆動され、標準的な依存関係注釈によって捉えられるよりも豊かな構文表現を有している可能性を示唆している。

限界
本研究は英語および特定の動詞クラスに限定されている。著者らは、相数勾配は方向性を持つ（順序を予測するが、大きさの比率を予測するわけではない）こと、およびモデルファミリー内でのスケーリング効果は異質であることを指摘している。因果的主張は保守的であり、特定の符号非対称性のメカニズムを証明するものではなく、埋め込み主語の表現が一般的にプローブ距離に影響を与えることに限定されている。