🤖 machine learning

Beyond Language: Format-Agnostic Reasoning Subspaces in Large Language Models

本論文は TriForm ベンチマークを導入し、大規模言語モデル内にフォーマットに依存しない推論部分空間（FARS）が存在するという収束する証拠を提供し、散文、コード、数学という多様な表面形式にわたる抽象的な推論概念を捉えるコンパクトな 10 次元の内部表現が、宣言形式同士は手続き型コードよりも互いに互換性が高いという根本的な非対称性を明らかにしていることを示しています。

原著者： Aojie Yuan, Zhiyuan Su

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aojie Yuan, Zhiyuan Su

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で超知能な図書館（大規模言語モデル）を想像してください。この図書館は、多くの異なる「言語」で読み書きができます。ただし、ここで言う「言語」とは、英語、スペイン語、フランス語だけではありません。それはPython コード、数学の方程式、そして構造化されたリストも意味します。

研究者たちが問いかけた大きな疑問はこれです：この図書館が論理的なアイデア（例えば「A なら B」）について考えるとき、そのアイデアを物語、数学の問題、あるいはコンピュータプログラムで読んでいるかどうかに関わらず、同じ内部の「脳の配線」を使用するのでしょうか？それとも、形式が変わるたびに脳を完全に再配線しなければならないのでしょうか？

彼らが発見したことを、簡単に説明します。

1. 推論の「隠れた核」

研究者たちは、これらの AI モデルの奥深くに、実際の論理が形式とは完全に分離して存在する、小さく特別な「核」領域があることを発見しました。

アナロジー: ピアノ、ギター、シンセサイザーで演奏された同じ曲を聴いていると想像してください。耳には、それらは全く異なる音（異なる「表面形式」）に聞こえます。しかし、研究者たちは AI の内部に、楽器に関係なく曲のメロディが保存されている、特定の小さな部屋があることを発見しました。
発見: 彼らは AI の中間層のこの「部屋」を発見しました。それは形式非依存推論部分空間（FARS）と呼ばれます。それは驚くほど小さく、AI が使用する数千の次元のうちわずか10 次元に過ぎません。それでも、この小さな断片には、コードか散文かにかかわらず剥き出しになった純粋な論理が保持されています。

2. 「魔法の入れ替え」実験

この核が実在し、実際に機能していることを証明するために、彼らは「脳移植」実験を行いました。

アナロジー: 英語を話す人とフランス語を話す人の 2 人がいると想像してください。英語話者の「論理脳」を取り出し、フランス語話者の頭に取り付けてみます。
結果: 彼らが英語の文から数学の方程式へ、その「論理脳」の10 の特別な次元だけを交換したところ、AI はほぼ完璧に（90〜96% の確率で）機能し続けました。
対比: もし彼らが脳全体（すべての次元）を交換した場合、AI は混乱して失敗しました。ランダムな部分を交換した場合も失敗しました。これは、その特定の 10 次元が、異なる形式間での推論を運ぶ「秘密のソース」であることを証明しました。

3. 「宣言的 vs 手続き的」の壁

ここが最も驚くべき転換点です。AI は物語（英語）と数学の間で論理を翻訳するのが得意ですが、物語とコンピュータコードの間で論理を翻訳するのは苦戦します。

アナロジー: 「宣言的」形式（物語と数学）を設計図だと考えてください。それらは建物がどのように見えるべきかを記述します。「手続き的」形式（コード）をロボットの取扱説明書だと考えてください。それらは一歩一歩、どのように建てるかを記述します。
発見: AI の「論理脳」は、設計図を他の設計図に交換する際（物語 $\leftrightarrow$ 数学）、美しく機能します。しかし、設計図をロボットの取扱説明書に交換しようとする際（物語 $\leftrightarrow$ コード）、接続が断たれます。AI はそれらを根本的に異なる種類の思考として扱います。
教訓: 障壁は「言語対数学」ではありません。障壁は**「結果の記述」と「ステップバイステップの指示の与え方」**です。

4. 誰にとっても同じ

研究者たちは、GPT、Llama、Mistral などの異なる企業から提供された 5 つの異なる AI モデルをテストしました。これらのモデルは異なる方法で構築され、異なるデータでトレーニングされていましたが、それらすべてが脳の中央に、この同じ**10 次元の「論理部屋」**を発達させていました。

アナロジー: 国が異なっても、人間がみな同じ場所に心臓を持ち、同じように血液をポンプしているのと同じです。AI モデルは、異なる「種」であるにもかかわらず、純粋な論理を処理するために同じ内部構造を進化させていました。

まとめ

この論文は、AI モデルが英語、数学、コードのいずれで書かれているかを無視する、普遍的な「論理の中心」を持っていることを示しています。ただし、この中心は、物事を同じ方法で記述する形式（宣言的）の間でのみうまく機能します。記述とステップバイステップの指示（手続き的）を混ぜようとするときは、壁にぶつかります。

この発見は、AI が「言葉」や「構文」について考えている場所ではなく、まさに「アイデア」について考えている場所を正確に見る方法を提供します。

技術的概要：言語を超えて：大規模言語モデルにおけるフォーマット非依存の推論部分空間

問題提起

大規模言語モデル（LLM）は、英語の散文や中国語のテキストから Python コード、数学的表記に至るまで、表面上は全く異なる形式で表現された同一の論理的推論を処理する。先行研究により、多言語 LLM が自然言語間で共有された内部表現を発達させていることは確立されているが、この不変性が真に異なる記号システムにまで及ぶかどうかは未解明である。核心的な問いは、LLM が特定の記号符号化（言語的、形式的、構造的）を超えた共通の内部基盤を推論に有しているかどうか、また仮に存在するならば、その構造が計算において因果的に関与し、アーキテクチャを超えて普遍的であるかどうかである。

手法

著者らは、算術、論理、関係、因果、空間の各領域にわたる 18 の推論概念に由来する 324 の刺激からなる制御されたデータセット「TriForm ベンチマーク」を導入した。各概念は、3 つの次元に沿って組織化された 6 つの表面形式で表現される：

言語的：英語、中国語、フランス語の散文。
記号的：Python コードと数学的表記。
構造的：構造化されたステップバイステップのデータ。

本研究では、3 つのアーキテクチャファミリー（GPT、Qwen、Llama/Mistral）に属する 5 つのデコーダ専用 LLM（16 億から 80 億パラメータ）を、以下の分析フレームワークを用いて評価した：

置換補正 RSA：概念レベルの構造を特定するため、ペアワイズ距離の非独立性を補正する置換検定を用いた表現類似性分析（RSA）を採用し、表面形式の信号から概念信号を区別した。
クロスフォームプロービング：ある表面形式からの活性化を用いて、別の形式における概念の同一性を予測するリッジ正則化分類器を訓練し、フォーマット間での線形解読可能性をテストした。
フォーマット - ニューロンエントロピー：LAPE に着想を得て、形式間での活性化分布のエントロピーを測定することでニューロンの特異性を定量化し、均一に活性化される（フォーマット非依存の）ニューロンと、特定の形式に特化したニューロンを同定した。
部分空間抽出（FARS）：概念重心主成分分析（PCA）を用いて「フォーマット非依存の推論部分空間（FARS）」を抽出した。各概念について、すべての形式とインスタンスにわたる活性化を平均化することで、形式の分散を抑制しつつ概念の分散を捉える上位 $k$ 個の主成分を分離した。
因果的介入：本研究では活性化パッチングと部分空間アブレーションを利用した。
- クロスフォームパッチング：ソース形式（例：英語）の隠れ状態をターゲット形式（例：数学）に置換し、出力の保存性を測定する。
- 部分空間パッチング：クロスフォーム転送中に、投影された FARS 成分（10 次元）のみを置換する。
- 部分空間アブレーション：FARS 方向を除去し、モデル出力への混乱を測定する。

主要な結果

1. フォーマット非依存の推論部分空間（FARS）の存在

相関的証拠：RSA により、概念レベルの信号はすべてのモデルの中間層でピークに達し、規模の拡大に伴って強化されることが明らかになった。表面形式は依然として支配的な組織原理である（Form RSA $\rho \approx 0.43\text{--}0.53$ ）が、概念信号も有意であり（ $\rho \approx 0.10\text{--}0.20$ ）、モデルサイズとともに急速に増大する。
解読可能性：クロスフォームプロービングの精度は、偶然値（5.6%）を有意に上回り、Mistral-7B では 60.3% に達した。
ニューロンの局在化：フォーマット非依存のニューロンは中間層に集中しており（ニューロンの 20–23%）、先行するクロスリンガル研究で見出された言語非依存ニューロンの分布と一致する。

2. 因果的関連性と部分空間の効率性

高忠実度転送：クロスフォームパッチング中に FARS 部分空間の上位 10 次元のみを置換すると、モデルのトップ 10 トークン出力の**90–96%**が保持される。
対照群との比較：この性能は、完全な活性化置換（44–56%）や分散最大化 PCA 置換（60–74%）を大幅に上回る。
アブレーション：FARS 部分空間を除去すると、標的的な混乱が生じる（FARS 対形式特異的方向の KL 発散はそれぞれ低く、高い）。これにより、これらの特定の次元がクロスフォーム推論に対して因果的に十分であることが確認された。
次元性：推論に関連する構造は真に低次元であり、1600–4096 次元の空間内で $k=8\text{--}10$ の成分においてプラトーに達する。

3. 宣言的 - 手続き的非対称性

重要な発見として、単なる言語の違いではなく、記号システムの性質に基づいた互換性の乖離が確認された：

宣言的互換性：英語の散文と数学的表記間のパッチングは、出力の**65–73%**を保持する。
手続き的乖離：英語の散文と Python コード間のパッチングは、出力の**16–22%**のみを保持する。
結論：乖離の決定的な軸は「言語的対形式的」ではなく、宣言的対手続き的である。表現は宣言的フォーマット（散文、数学、構造化データ）間では非常に互換性が高いが、手続き的符号化（コード）への橋渡しでは著しく低下する。

4. 普遍性と収束

一般化：概念のサブセットから抽出された FARS は、保持された概念に対しても優雅な劣化を伴って一般化する。
クロスアーキテクチャ収束：異なるモデルファミリーは、同一の部分空間幾何学に収束する。クロスモデル正準相関分析（CCA）はすべてのペアで0.79を超え、重心 RSA は0.77を超え、単一モダリティ内でのプラトニック表現仮説を支持する証拠を提供する。

意義と主張

本論文は、LLM が、記号間転送に対して因果的に十分である具体的で低次元のフォーマット非依存推論部分空間を発達させるという、初めての体系的証拠を提供すると主張する。

理論的貢献：この発見は、単一モダリティ内におけるプラトニック表現仮説を支持し、抽象的推論の表現が異なる記号符号化間で収束することを示唆する。
機械的洞察：宣言的 - 手続き的非対称性の発見は、フォーマット不変性に関する理解を精緻化し、以前は特徴付けられていなかった宣言的推論（散文、数学）と手続き的実行（コード）の間の根本的な境界を特定する。
実用的有用性：FARS は、表現工学のための具体的で抽出可能なツール（10 次元基底）を提供する。これは、ある宣言的フォーマット（例：英語）で発見された安全性介入やステアリングベクトルが、この部分空間を介して他のフォーマット（例：数学）へ転送される可能性があるが、手続き的フォーマット（コード）への橋渡しでは失敗する可能性を示唆しており、コード内の有害な推論が散文で訓練されたフィルタを回避する可能性のある潜在的な安全性ギャップを浮き彫りにする。

著者らは、ベースモデルのみを評価した点、FARS 抽出の教師あり性質、およびプログラム的に生成された刺激の使用といった限界を指摘し、より大規模なモデルやインストラクションチューニング済みモデルにおける FARS の次元性と幾何学は未解決の課題であることを認めている。