💬 NLP

On the Emergence and Test-Time Use of Structural Information in Large Language Models

本論文は、大規模言語モデルが観測データから抽象的な構造情報をどのように学習し適用するかを調査しており、そのような学習の創発が複雑な推論と相関している一方で、テスト時における構成的な生成能力は依然として限定的であることを明らかにしている。

原著者： Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

原著者： Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、世界中のあらゆる料理本を読んだことのある、驚くほど才能豊かなシェフだと想像してみてください。彼らはレシピを完璧に暗唱できますし、これまで見たことのある材料を組み合わせて新しい料理を作ることもできます。しかし、彼らは本当に「料理の論理」を理解しているのでしょうか？例えば、「塩を加えると塩辛くなる」という基本的なルールを、まだ見たことがない全く新しい食材に対して適用できるのでしょうか？それとも、単に特定の料理を暗記しているだけなのでしょうか？

この論文**「On the Emergence and Test-Time Use of Structural Information in Large Language Models（大規模言語モデルにおける構造的情報の出現とテスト時利用について）」**は、その問いに答えるために設計された、科学的なキッチン実験のようなものです。研究者たちは、AIシェフが言語の根本的な「文法規則（構造）」を学んでいるのか、それとも訓練された特定の文章を単に暗記しているだけなのかを知りたいと考えました。

以下に、その研究結果を簡単な比喩を用いて解説します。

1. 遊び場：「文法のジム」

モデルをテストするために、研究者たちは単にランダムな文章を投げ込んだわけではありません。彼らは「変形生成文法」という概念に基づいた特別な**「文法のジム」**を構築しました。

言語をレゴブロックのようなものだと考えてください。

深層構造： 文の核となるアイデア（例：「ジョンは幸せだ」）。
表層構造： 私たちが実際にどのように表現するか（例：「ジョンは幸せそうに見える」）。

研究者たちは、AIが文に対して特定の「変形」を行うデータセットを作成しました。例えば、平叙文を疑問文に変えたり、能動態を受動態に変えたり、主語を文頭に移動させたりといった作業です。これは、シェフに対して「ケーキのレシピを、厳格なルールに従って、即座にパイのレシピに書き換えなさい」と命じるようなものです。

2. 発見：AIはいつ「理解」するのか？

研究者たちは、AIがこれらのルールを理解し始める時を見極めるため、内部の「脳波」（数学的な表現）を観察しました。

「アハ体験」の瞬間： 彼らは、AIがこれらのルールを徐々に学習していくのではなく、相転移を経て習得することを発見しました。これは、電灯のスイッチがパチッと入るようなものです。ある特定の訓練段階（ステップ64,000付近）で、AIは突然、異なる種類の文の変化を区別し始めました。
推論との関連性： 興味深いことに、この「スイッチ」が入ることは、単に次の単語を予測する能力を高めるだけでなく、AIが複雑な推論タスクをこなす能力の向上とも相関していました。これは、AIが高度な論理パズルを解くためには、単に言葉を知っているだけでなく、言語の根底にある構造を理解する必要があることを示唆しています。

3. テスト：AIはルールを組み合わせられるか？（「合成」の問題）

これが実験の中で最も重要な部分です。研究者たちはこう問いかけました。「もしAIにルールAとルールBを別々に教えた場合、見たことがない文章に対して『ルールA ＋ルールB』を実行できるだろうか？」

結果： AIは苦戦しました。
- AIに中間ステップ（例：「まずルールAを行い、次にルールBを行う」）を与えられた場合は、うまく機能しました。
- しかし、助けなしに一連のプロセスを一度に行うよう求められると、しばく失敗しました。
比喩： 学生に「左の靴紐の結び方」と「右の靴紐の結び方」を教える場面を想像してください。もし、手順を見ずに両方を同時に結ぶように頼んだら、彼らは混乱してしまうかもしれません。AIは、独立したルールを自由に組み合わせられるほど、それらを真に理解しているのではなく、特定の組み合わせのステップを暗記しているようです。

4. 機械の内部：魔法はどこで起きているのか？

研究者たちはまた、AIの脳に対して「手術」（アブレーション研究と呼ばれます）を行い、どの部分が重労働を担っているのかを調べました。

「筋肉」対「脳」： 彼らは、MLP層（これらはAIの「筋肉」や、重い計算を行う処理ユニットのようなものです）が、これらの変形における成功の約**65%を担っていることを発見しました。一方、アテンション・ヘッド（どこに注目すべきかを決定する「脳」の部分）は、約35%**しか担っていませんでした。
最終層： 「この文章をどう変形させるか」という実際の決定は、主にネットワークの最終層で行われます。これは、AIがほとんどの時間を「思考」に費やし、最後の瞬間に、適用すべき具体的なルールを導き出しているようなものです。

5. 結論

論文は、朗報と現実的な課題の両方を示して締めくくられています。

朗報： LLMは構造的な情報を学習しています。彼らは単にテキストを暗記しているのではなく、文がどのように機能するかという内部マップを構築しており、このマップは推論能力が高まるにつれてより鮮明になります。
現実的な課題： しかし、この学習はまだ完璧ではありません。未知の複雑な知識をその場で生成するために、これらのルールを組み合わせる（テスト時の合成）という点において、AIにはまだ限界があります。AIは中間ステップを見せることに大きく依存しており、ルールを「切り離して」、新しい状況下で柔軟に適用することには苦労しています。

要約すると： AIはゲームのルールを学びつつありますが、まだ「数学の公式は知っているけれど、新しい問題を自力で解く前に、まずは例題の解き方をステップ・バイ・ステップで見せてもらう必要がある学生」のような状態です。彼らは、純粋で柔軟な創造性の術を、まだ完全にはマスターしていません。

技術要約：大規模言語モデルにおける構造情報の出現とテスト時利用について

問題の動機
本論文は、大規模言語モデル（LLM）が観測データから抽象的な構造情報を学習し、その知識を利用してテスト時に真に新しい組み合わせを生成する能力について取り組んでいる。人間は基本的な言語的構成要素を再編成して未知の組み合わせを理解できる（構成的汎化）が、現在のモデルは、分布外（OOD）の概念に対する系統的な汎化に苦戦することが多い。著者らは、LLMがどのように構造情報を学習し、構成するかを理解することが、訓練コーパスの外にある新しい知識を生み出す能力（メカニスティックな理解や堅牢な予測に関連する能力）を生み出す鍵であると考えている。これを制御された設定で研究するため、著者らは標準的なベンチマークを超え、変形文法（Transformational Grammar）に由来する言語的構造変換に焦点を当てた。

手法
著者らは、**変形文法（TG）**に基づいた制御された合成プレイグラウンドを導入した。

データセットの構築: 10種類の異なる変形タイプ（例：NP上昇、受動態化、I移動）を5つの構文カテゴリにグループ化した自然言語データセットを生成した。データセットには以下が含まれる：
- 単一レベルの変形: 基底文に一つのオペレーターを適用する。
- 入れ子状の変形: オペレーターの逐次的な適用（例： $B(A(s))$ ）。
- 構成的曖昧性: 特定の変形が意味のある形で構成できないケースであり、モデルが適合するパターンを暗黙的に特定する必要がある。
- データセットは、一貫性を確保するためにDeepSeek-V3を用いて特定のプロンプトで生成され、単一レベルの変形には約2000サンプル、入れ子状の変形には約500サンプルが含まれている。
実験設定:
- 出現分析: Pythia-410Mモデルを用い、訓練中の構造表現の進化を追跡した。構造的感度を測定するために、基底文の残差ストリーム表現と、その変形されたバージョンの表現（ $\Delta A(s)$ ）の間の $L_2$ 距離を計算した。
- 構成的汎化: LLaMA3-8Bを用い、フルパラメータ・ファインチューニングとパラメータ効率の良いファインチューニング（LoRA）の両方で評価を行った。評価では、推論時に中間ステップが提供されない状況下での、入れ子状の変形およびOODの組み合わせ（例： $A(B(s))$ と $B(C(s))$ で訓練し、 $A(C(s))$ でテストする）を実行する能力をテストした。
- メカニスティック解釈可能性: どのネットワークコンポーネントとレイヤーが構文的変形を担っているかを特定するために、因果的介入分析（アテンションヘッドおよびMLPブロックのゼロ化）と線形プロービング（LDA）を実施した。

主要な貢献

データセット: 構造情報の学習を形式的に研究するための、言語的構造変換に基づく自然言語データセットの導入。
経験的相関: 構造情報の出現が、単なる標準的な言語モデルのパープレキシティではなく、複雑な推論タスクの成功と相関していることの証明。
構成における限界: モデルは構造表現を学習するものの、ファインチューニング下でのテスト時の構成的生成（特に未知の入れ子状の変形）における能力は限定的であるという証拠。
メカニスティックな洞察: 構文的変形に責任を持つ特定のネットワークコンポーネントの特定。これにより、変形に関連する計算が後半のレイヤーに集中しており、アテンション機構よりもMLPブロックが支配的であることが明らかになった。

結果

構造の出現:
- 異なる文の変形は、埋め込み空間において明確に分離可能なクラスターを形成する。
- 基底文と変形された文の表現間の $L_2$ ノルムは訓練中に着実に増加し、ステップ64k付近で急激な上昇が見られる。これは、構造的な区別が顕著になる相転移を示している。
- この構造的洗練は、標準的な次単語予測のパープレキシティよりも、複雑な推論タスクの向上と密接に相関している。
構成的汎化:
- フルパラメータ・ファインチューニングは、限定的なデータセットへの過学習が原因と思われる低迷を見せた。
- LoRAファインチューニングは、フルパラメータ・チューニングに対して大幅な改善を示した。しかし、推論中に中間結果が提供されない場合、入れ子状の変形の完全一致（exact match）においてモデルは苦戦した。
- OODの入れ子状の変形（例： $A+C$ ）に対する性能は依然として低く（完全一致0.00%、部分一致約45-49%）、モデルがテスト時に柔軟に構成するために変形操作を完全に分離できていないことを示唆している。
- 訓練時および推論時に明示的な中間ステップを提供することで性能が向上したことは、モデルが構造的なガイダンスの恩恵を受けるものの、それなしでは未知の構成への堅牢な汎化がまだ困難であることを示している。
アブレーションと解釈可能性:
- レイヤーの集中: 正しい変形トークンを予測する確率は、ネットワークの最終3分の1（レイヤー24–32）で急激に上昇し、貢献度の38%がそこに集中している。
- コンポーネントの優先度: 因果的貢献において、MLPブロックはアテンション機構（35%）よりも構文的変形の成功（65%）に対してより多く寄与している。
- 線形分離可能性: 線形プローブは、残差ストリーム内において変形タイプ間のほぼ完璧な分離を示しており、線形表現仮説を支持している。

意義と主張
本論文は、構造的構成を通じて新しい知識を生成するLLMの限界とメカニズムに関する証拠を提供すると主張している。著者らは、LLMは構造情報を学習し、訓練中に構造的感性の相転移を示すことができる一方で、明示的な中間ガイダンスなしに、分布外の構造を柔軟に再構成して新しい知識を生み出す能力は現在欠如していると結論付けている。これらの知見は、推論には構造的情報が必要であるが、LLaMA3-8Bのようなモデルに対する現在のファインチューニング・レジームは、まだ堅牢な構成的汎化を実現していないことを示唆している。本研究は、構文的変形が後半レイヤーのMLPに大きく依存していること、および概念の分離が進展に伴い残差ストリーム内で線形的に出現することを強調している。

限界
著者らは、分析が英語に限定されており、言語横断的なパターンへの一般化を制限する可能性があることを認めている。因果的帰属のための単一レベルの変形の使用は、サブ操作の混同を招く可能性がある。さらに、8Bモデルに関する知見が、記憶を避けるために、より複雑なデータセットを必要とする大規模なモデルに直接スケールするかどうかについては不明である。