💬 NLP

Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

本論文は、大規模言語モデル（LLM）と大規模視覚言語モデル（LVLM）が推論タスクにおいて半数以上の活性化ニューロンを共有していることを発見し、この共有ニューロン基盤を利用して推論能力を効率的に転移させるパラメータ効率型のフレームワーク「SNRF」を提案することで、大規模なマルチモーダル微調整なしに LVLM の推論性能を向上させることを実証しています。

原著者： Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

公開日 2026-02-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🧠 1. 発見：「同じ思考回路」が共有されている

まず、2 種類の AI を想像してください。

文章 AI（LLM）: 本や論文だけを読んで、数学の問題を解くのが得意な天才。
画像・文章 AI（LVLM）: 写真も見ながら文章を読むが、複雑な推理や計算になると、文章 AI に比べると少し苦手な子。

これまで、画像 AI を強くするには「もっと大量の画像データで勉強させろ」と言われてきました。しかし、この論文の著者たちは**「実は、文章 AI が持っている『推理の回路』を、画像 AI もすでに半分くらい持っているのではないか？」**と疑ってみました。

🔍 発見された事実

彼らは AI の内部（ニューロンという小さな計算単位）を詳しく調べました。すると、「数学の問題を解く時」や「論理的な推理をする時」に、文章 AI と画像 AI の両方で、同じニューロンが激しく動いていることがわかりました。

驚きの数字: 推理に使われるトップクラスのニューロンの半分近くが、両方の AI で共通していました。
例え話:
- 文章 AI は「数学の天才」で、画像 AI は「絵を描くのが上手な学生」だとします。
- 彼らが「数学の問題」を解こうとしたとき、実は**「計算をするための同じ脳細胞」**を使っていることがわかったのです。
- 画像 AI は、絵を見るための特別な細胞は持っていますが、「考えるための回路」は、すでに天才の兄弟（文章 AI）とほとんど同じだったのです。

さらに、この共通の回路を強制的に「増幅（アンプ）」すると、AI の推理能力が劇的に向上することが確認されました。つまり、この回路こそが「思考のエンジン」だったのです。

🛠️ 2. 解決策：SNRF（シームレスな回路の移植）

では、この発見をどう活かすのでしょうか？
従来の方法だと、画像 AI を強くするには、膨大なデータで「再学習（ファインチューニング）」させる必要があり、時間もお金もかかりました。

しかし、著者たちは**「SNRF（Shared Neuron Low-Rank Fusion）」**という新しい方法を提案しました。

🧩 アナロジー：「優秀な料理人のレシピを、そのまま移植する」

状況: 画像 AI は「料理（推理）」が苦手ですが、文章 AI は「料理」のプロです。
従来の方法: 画像 AI に「料理教室」に通わせて、何年も修行させる（大規模な再学習）。
SNRF の方法:
1. 文章 AI の「料理のレシピ（共通ニューロン）」を特定する。
2. 画像 AI の「料理のレシピ」の部分を、文章 AI のそれと**「低コストで差し替える」**。
3. 画像 AI が「絵を見る能力」や「会話する能力」はそのまま残しつつ、「推理する能力」だけ、天才の回路を借用する。

この方法は、AI のパラメータ（重み）をすべて書き換えるのではなく、「共通している部分だけ」を低ランク（コンパクト）な形で更新するため、非常に効率的です。

📈 3. 結果：「絵を見る力」はそのまま、「推理力」がアップ

この方法を実験で試した結果は素晴らしいものでした。

推理能力の向上: 数学の問題や、複雑な論理パズルを解く力が、大幅に向上しました。
絵を見る能力の維持: 「絵を認識する力」や「幻覚（嘘をつくこと）を防ぐ力」は、全く落ちませんでした。
- 例え話: 料理のレシピ（推理力）だけを取り換えても、その人が「野菜を切る手つき（視覚能力）」が荒くなることはありません。
コスト: 大規模な再学習が不要なので、計算資源を節約できます。

💡 まとめ：何がすごいのか？

この論文の核心は、**「AI の能力は、モダリティ（テキストか画像か）によって完全に別物ではなく、深い部分で『思考の回路』を共有している」という事実を突き止め、それを活用して「安価に、かつ効率的に AI を進化させる方法」**を見つけた点にあります。

従来の常識: 「画像 AI を強くするには、画像データで大量に学習させろ」
この論文の発見: 「いや、実は『考える回路』はすでにテキスト AI が持ってる。それを『共通部分』だけ抜き出して移植すれば、画像 AI もすぐに賢くなるよ」

これは、AI 開発において**「ゼロから育てる」のではなく、「既存の優秀な回路を共有・再利用する」**という、新しいパラダイム（考え方）の転換を示唆しています。まるで、新しい車を作る際、エンジン（推理回路）はすでに完成されているので、ボディ（画像処理）だけ作れば良い、と言っているようなものです。

論文「Do LLMs and VLMs Share Neurons for Inference?」の技術的サマリー

本論文は、大規模言語モデル（LLM）と大規模視覚言語モデル（LVLM）が、推論タスクにおいて内部の計算リソース（ニューロン）を共有しているかどうかを調査し、その知見を用いて効率的な知識転送手法を提案する研究です。

1. 背景と課題 (Problem)

近年、LVLM はキャプション生成や推薦など多様なタスクで飛躍的な進歩を遂げていますが、多段階推論や構成的な意思決定を必要とするタスクにおいては、強力なテキスト専用 LLM に比べて性能が劣る傾向があります。
既存の課題解決アプローチは、より大規模なマルチモーダルデータによるスケーリングやモデルサイズの増大でしたが、以下の限界がありました：

データの不足: テキストコーパスに比べ、画像と推論プロセス（理由付け）が対になったデータは極めて限定的です。
転送の不明確さ: LLM が獲得した汎用的な推論能力を、いかにしてマルチモーダル設定へ効果的に転送するかが未解明でした。

本研究は、「LLM と LVLM は、推論という共通のタスクに対して、内部の計算機構（ニューロンレベル）で共通の基盤を共有しているのではないか？」という問いに答えることを目的としています。

2. 手法と発見 (Methodology & Key Findings)

2.1 ニューロンレベルの活性化プロファイリング

著者らは、LLM と LVLM において推論タスク（数学問題や科学 QA など）を実行した際に最も強く活性化されるニューロンを特定しました。

手法: 入力テキストとモデルの推論出力を結合したプロンプトを用い、各ニューロンを無効化（ゼロ化）した際の出力埋め込みの変化量を測定することで、推論に重要なニューロンを特定します。
発見 1（共有ニューロンの存在）: 異なるモデルファミリー間（例：Qwen2.5-VL と Qwen2.5-Math）でも、推論時に活性化されるトップニューロンの50% 以上が重複していることが判明しました。特に、Attention メカニズムの attn.k（Key 行列）と attn.v（Value 行列）の層に集中して分布していました。これは、モダリティ（テキストか画像か）やトレーニングデータが異なっても、推論のための「不変な部分空間（inference subspace）」が存在することを示唆しています。

2.2 因果的プロービング（増幅分析）

共有ニューロンの機能的役割を解明するため、活性化を人為的に増幅（Amplification）する実験を行いました。

発見 2（機能的必要性）: 共有ニューロンを無効化すると、LVLM の推論性能は劇的に低下（ほぼ 0 になる）しますが、同数のランダムなニューロンを無効化しても性能低下は限定的でした。これは、共有ニューロンが推論に不可欠な回路であることを示しています。
発見 3（概念レベルの解釈性）: 共有ニューロンの増幅により生成されるトークンを分析した結果、多くのニューロンが数学的概念（代数、幾何、数値など）に特化して反応することが確認されました。これにより、推論能力は特定のニューロン群によって担われていることが実証されました。

3. 提案手法：SNRF (Shared Neuron Low-Rank Fusion)

これらの知見に基づき、LLM の成熟した推論回路を LVLM に低コストで転送するパラメータ効率の良いフレームワーク SNRF を提案しました。

仕組み:
1. 共有ニューロンの特定: 推論プロンプトに対する LLM と LVLM の活性化プロファイルを比較し、両者で共通して活性化されるニューロンのインデックス集合（ $S_{\ell,p}$ ）を特定します。
2. 重み差分の低ランク近似: 転送元（LLM）と転送先（LVLM）の重み行列の差分 $\Delta$ を計算し、その差分を特異値分解（SVD）を用いて低ランク近似（Rank- $r$ ）します。
3. 選択的融合: 計算された低ランク更新を、共有ニューロンが属する部分空間のみにマスクして適用します。
  $\tilde{W}_{\ell,p} = W^{tgt}_{\ell,p} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$
  ここで、 $\beta$ は更新強度、 $M$ は共有ニューロンを保持するマスク関数です。
利点: モデル全体の再学習（Fine-tuning）や大規模なマルチモーダルデータ不要で、推論能力のみを強化しつつ、視覚知覚能力や幻覚（Hallucination）性能を維持します。

4. 実験結果 (Results)

多様なベンチマーク（MathVista, ScienceQA, MMMU-Pro, MME, POPE など）において SNRF を評価しました。

推論性能の向上:
- MathVista: 解法（Solution）スコアで平均 +4.7 ポイント、CoT（思考連鎖）で +2.6 ポイントの改善。
- ScienceQA: 平均 +7.64 ポイントの大幅な向上（Qwen2.5-VL-3B では +22.6）。
- MMMU-Pro: 厳格な推論ベンチマークで、ベースラインを大きく上回る性能を達成（例：Intern2.5-VL-4B で 0.000 → 0.186）。
知覚能力の維持:
- 視覚知覚ベンチマーク（MME）や幻覚検出（POPE）のスコアは、ベースラインと同等かわずかに向上しており、推論能力の転送が視覚理解を損なっていないことが確認されました。
他手法との比較:
- 従来の線形マージ（Linear Merge）や DARE、FRANK などのモデルマージ手法と比較しても、SNRF は推論タスクにおいて一貫して高い性能を示しました。これは、推論に不要な部分（視覚特有の重みなど）への更新を避けているためです。

5. 意義と結論 (Significance)

理論的意義: LLM と LVLM の間には、モダリティに依存しない「共有ニューロン部分空間」が存在し、そこには解釈可能な数学的・論理的推論の概念がエンコードされていることを実証しました。
実用的意義: 大規模なマルチモーダルデータや計算資源を必要とせず、既存の高性能 LLM の推論能力を LVLM に「低コストで転送」する新たなパラダイム（SNRF）を確立しました。
将来展望: このアプローチは、数学や科学に特化した専門モデルの能力を、汎用的なマルチモーダルモデルへ効率的に統合する道を開き、マルチモーダル AI の推論能力向上への新たな指針となります。

要約すれば、本論文は「LLM と LVLM は推論のために同じニューロンを使っている」という驚くべき事実を発見し、それを応用して「画像モデルにテキストモデルの推論力を、重み変更の最小化で注入する」技術を実現した画期的な研究です。