🤖 machine learning

Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds

本論文は、ニューラルネットワークにおける構成的な内部構造は、特定の結合パターンとネットワークの深さという、ターゲットに依存した狭い領域内でのみ出現することを示し、これらの条件を特定・活用するための類似性に基づくプルーニングと深さ予測器を提案するとともに、それ以外の場合に勾配降下法がなぜ断片的な解へと収束してしまうのかを説明する理論的枠組みを提示するものである。

原著者： Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：AIの脳における「ゴルディロックス」ゾーンを見つける

想像してみてください。あなたはロボットに、ドクロの絵を描く方法を教えようとしています。あなたは、ロボットに「目窩（めか）」、「顎（あご）」、「鼻」といった、シンプルで再利用可能なパーツを組み合わせることで、「ドクロ」という概念を学んでほしいと考えています。これは**構成性（compositionality）**と呼ばれます。これは、レゴブロックのセットを持っているようなものです。同じ「目」のパーツを異なるモデルに取り付けて、車や家、あるいはロボットを組み立てることができます。

しかし、現代のほとんどのAIモデル（標準的な手法で訓練されたもの）は、このような方法では学習しません。きれいなレゴブロックで組み立てる代わりに、彼らは巨大で絡まり合った「毛糸の玉」で組み立てようとする傾向があります。画像のあらゆる部分が、他のあらゆる部分と混ざり合ってしまうのです。もし、その毛糸の糸を一本でも少し動かせば、絵全体がめちゃくちゃになってしまうかもしれません。これは**断片的なもつれ（fractured entanglement）**と呼ばれます。

この論文の著者たちは、シンプルな問いを投げかけました。「ロボットの脳をどのような方法で作れば、絡まった毛糸ではなく、きれいなレゴブロックのような、再利用可能なパーツを自然に使えるようになるのか？」

彼らの答えは、驚くべき「イエス」でした。ただし、非常に厳しい条件が付いています。脳は、サイズと深さにおいて、非常に特定の「ゴルディロックス（適度な）」ゾーンの中に構築されなければならない、という条件です。

成功のための2つのルール

この論文は、AIがこれらのきれいな再利用可能パーツを学習するためには、2つのことが同時に起こらなければならないことを発見しました。どちらか一方でも間違えると、AIは失敗します。

1. 接続性のルール：「少ないことは、正しい場合にのみ、より豊かである」

パズルを解こうとしている人々（ニューロン）でいっぱいの部屋を想像してください。

間違い： もし全員が全員と話し合えるようにしてしまったら（完全結合の密なネットワーク）、全員が互いに叫び合い、混乱してしまいます。そして、誰もパズルの特定のピースに対して責任を持とうとしなくなります。
解決策： 接続を断つ必要があります。しかし、ランダムに切ればいいわけではありません。正確に適切な場所を切らなければなりません。
比喩： 忙しい高速道路を考えてみてください。もしランダムに車線を閉鎖すれば、渋滞は悪化します。しかし、もし渋滞を引き起こしている特定の車線を閉鎖し、車がスムーズに流れるための車線を維持すれば、交通はスムーズになります。
論文の発見： 著者たちは、**類似性に基づくプルーニング（Similarity-based Pruning: SP）**と呼ばれる特別なプルーニング（接続を切り落とす手法）を見つけました。この手法は、どのニューロンが全く同じ仕事をしているかを調べ、重複をカットします。これにより、残ったニューロンは専門化することを強制されます。あるニューロンは「目」のエキスパートになり、別のニューロンは「顎」のエキスパートになります。

2. 深さのルール：「浅すぎても、深すぎてもいけない」

次に、脳のレイヤー（層）を建物のフロアと考えてみましょう。

浅すぎる場合（1〜2フロア）： 建物が低すぎます。「目」のエキスパートと「顎」のエキスパートが同じフロアにいるため、仕事を適切に整理できません。複雑な構造物を組み立てることができないのです。
深すぎる場合（100フロア）： 建物が高すぎます。指示がエレベーターのシャフトの中で迷子になってしまいます。信号が最上階に届く頃には、「目」と「顎」のエキスパートは自分が何をすべきだったのかを忘れ、再び仕事を混ぜ合わせてしまいます。
スイートスポット： 描こうとしている特定の絵に対して、完璧なフロア数（深さ）が存在します。
- シンプルなリンゴを描くなら、おそらく12フロアが完璧です。
- 複雑なチョウを描くなら、おそらく14フロアが完璧です。
- もし、たった1つフロアを増やしたり減らしたりするだけで、魔法は消え、AIは再び「絡まった毛糸」で組み立てる状態に戻ってしまいます。

「スイートスポット」の領域

論文では、これを**狭い深さ・接続性レジーム（Narrow Depth–Connectivity Regime）**と呼んでいます。

ラジオのチューニングに例えてみましょう。

接続性はアンテナです。信号をキャッチするために、正しい形（疎で、かつ特定の形）である必要があります。
深さは周波数のダイヤルです。正確な数値に合わせる必要があります。
正しいアンテナを持っていても、周波数が違えば、ノイズが聞こえます。
正しい周波数を持っていても、アンテナが違えば、何も聞こえません。
両方が完璧になったときのみ、音楽（構成性）がクリアに流れます。

彼らはどのように証明したのか

研究者たちは単に推測したのではなく、EMC2-Benchと呼ばれるテスト場を構築しました。

テスト： 彼らはAIモデルに、絵（ドクロ、チョウ、リンゴなど）を描く訓練をさせました。
「ゆらぎ」テスト： 訓練後、彼らはAIの脳内にある単一の数値に対して、極めて小さな「ゆらぎ」（小さなランダムな変化）を与えました。
- もしAIが絡まった毛糸を使っていたら、その小さなゆらぎが絵全体を壊してしまいます（例：ドクロが塊になってしまう）。
- もしAIがレゴブロックを使っていたら、その小さなゆらぎは特定のパーツだけに影響します（例：目が少し大きくなるだけで、顎は完璧なまま）。
結果： 標準的な訓練では、ほとんどの場合で「絡まった毛糸」が生成されることがわかりました。しかし、彼らの特別なプルーニング手法（SP）を用い、深さを正確な「スイートスポット」に調整すると、AIは突然、きれいなレゴブロックで組み立て始めるようになりました。

なぜこれが起こるのか？（理論）

論文は、**体積比（Volume Ratio）**という概念を用いて、数学的な説明を行っています。

脳を構築するためのあらゆる可能な方法が広がる、巨大な海を想像してください。

絡まった海： ほとんどの海は、「絡まった」解決策で満たされています。それらは巨大で、見つけやすく、陥りやすいものです。
構成性の島： 「きれいなレゴ」による解決策は、その海の中に浮かぶ、小さくて隠れた島のようなものです。それは非常に小さく、見つけるのが困難です。

論文は次のように主張しています。

もし脳が太すぎる（ニューロンが多すぎる）と、「絡まった」海はより大きくなり、「きれいな」島は相対的に小さくなります。統計的に、あなたは絡まった混乱の中に迷い込む可能性が高くなります。
もし脳が深すぎる、あるいは浅すぎると、その島は完全に消滅します。
魔法の正体： もし幅と深さが正確に一致すれば、「絡まった」海は縮小し、「きれいな」島が唯一立っていられる場所になります。AIはきれいな解決策を見つけざるを得なくなります。なぜなら、他にいく場所がないからです。

まとめ

この論文は、AIモデルは自然には「再利用可能でモジュール化されたパーツ」として考えるようには学習しないことを示しています。彼らは自然に、無秩序で絡まり合ったものになる性質を持っています。

しかし、もしAIを非常に特定の建築的な枠組み――つまり、正しい接続を切り落とし、正確な数のレイヤーを構築するという枠組み――の中に強制的に閉じ込めれば、AIは自らを整理することを強制されます。それは絡まった毛糸の塊であることをやめ、きれいで再利用可能なレゴブロックで組み立て始めるのです。これこそが、人間のように世界を理解し、汎用性を持つAIを作るための秘密なのです。

技術要約：限定された深さ–結合性レジームにおける構成性の創発

問題提起

現代の基盤モデル（LLM、VLM、拡散モデル）は強力な能力を示す一方で、汎化性能が脆弱であるという課題を抱えている。特に構成的な理解において、些細でタスクに無関係な摂動が急激な挙動の変化を引き起こすことは、堅牢な内部的構成構造が欠如していることを示唆している。進化アルゴリズム（例：PicbreederにおけるNEAT）は「統一された因子分解表現（UFR）」——すなわち、統一され、再利用可能で、意味的に安定したプリミティブ（基本要素）——を発見できるが、標準的な勾配ベースの最適化（SGD）は通常、「断片化した絡み合い表現（FER）」へと収束してしまう。FERにおいては、概念が重複するニューロンに分散しており、特徴量は多意味的（polysemantic）であり、安定した解釈可能な意味と一致していない。

本研究が取り組む中心的な問いは、**「モノセマンティック（単一意味的）な性質と構成性は、標準的な勾配バックプロパゲーションの過程で創発し得るのか？もしそうなら、どのような特定のアーキテクチャ条件下で実現するのか？」である。著者らは、この創発はスケールや低損失によってデフォルトで得られる結果ではなく、ネットワークの深さ（depth）と結合性（connectivity）**の相互作用によって定義される、構造的な到達可能性問題によって支配されていると仮定している。

手法

1. 評価スイート：EMC2-Bench

構成性を定量化するために、著者らは摂動ベースの評価スイートであるEMC2-Benchを導入した。

指標: 「構成性スコア（Compositional Score）」は、ノイズ（ $\delta$ ）によって摂動を与えた際に、生成画像のグローバルな意味的アイデンティティを保持する非ゼロパラメータの割合として定義される。
手順: 各非ゼロの重み $w$ に対して、摂動を加えたコピー $w' = w + \delta$ を作成する。ネットワークは画像を生成し、その画像は視覚言語モデル（VLM）の判定器（Qwen3-VL-4B-Thinking）によって、意味的内容（例：「ドクロ」）が維持されているかどうかを評価される。
ベースライン: 本ベンチマークは、SGDで訓練された高密度MLP、進化論的解法（Picbreeder CPPNs）、および各種のプルーニング戦略を比較する。

2. 構造的介入

類似性に基づくプルーニング（Similarity-based Pruning: SP）: 構成的な結合性を回復するために、著者らは反復的なプルーニング・再学習アルゴリズムを提案している。
- メカニズム: 各レイヤー内で、ニューロンごとの特徴マップを抽出する。コサイン類似度が高いニューロン同士を冗長であると特定する。冗長なペアから一方のニューロンをランダムに選択して削除し、その入出力の重みをゼロにする。
- 目的: これにより、ネットワークが異なる意味的因子に対して異なるニューロンを割り当てることを強制し、絡み合った解を疎で再利用可能な回路へと崩壊させる。
ヒューリスティック深さ予測器: 最適な深さはターゲットに依存することを認識し、著者らはターゲット画像のPNG圧縮率を、画像複雑性のプロキシ（代理指標）として使用することを提案している。画像複雑性と経験的な最適深さの間には線形関係が観察されており、網羅的な探索を行うことなく、軽量な予測によって「スイートスポット」となる深さを特定できる。

3. 理論的枠組み

論文は以下の理論的根拠を提供している：

構成的スパース性: マニホールド仮説に基づき、著者らは構成的な解が、有界な局所的なアリティ（arity）を持つ有向非巡回グラフ（DAG）を通じて因子分解されると主張している。
体積比議論: 著者らは「構成的体積比」 $\rho(W, L)$ を、ランダムなパラメータ構成が構成的な盆地（basin）に辿り着く確率として定義している。彼らは、 $\rho$ が特定の $(W_{min}, L^*)$ において鋭く集中し、 $W$ （幅）または $L$ （深さ）がこの点から逸脱するにつれて指数関数的に減少することを証明している。
特徴干渉境界: ウェルチ限界（Welch bound）を用い、構成的スパース性が特徴干渉の幾何学的な下限を減少させ、プリミティブの数 $r$ が次元 $d$ 以下である場合にのみ、モノセマンティック（直交的）な特徴が幾何学的に実現可能になることを示している。

主な結果

1. 限定された深さ–結合性レジーム

構成性は普遍的に出現するわけではなく、特定のレジームにおいてのみ出現する：

結合性: 構成性は、単なるスパース性のレベルではなく、「どの接続が残るか」に強く依存する。標準的なプルーニング手法（Lottery Ticket Hypothesis, Wanda, LLM-Pruner）は、構成的構造を回復できず（EMC2-Benchでスコア0）、**類似性に基づくプルーニング（SP）**のみが非ゼロのスコアを得た。これは、接続の「組織化」が極めて重要であることを示している。
深さ: 構成性は深さに対して非単調な関係を示す。特定のターゲット（例：ドクロ、蝶、リンゴ）に対し、構成性スコアは特定の深さでピークに達し、ネットワークをより浅く、あるいはより深くすると急速に低下する。この最適深度はターゲットごとに固有である。

2. 最適化と創発

オプティマイザへの感受性: 正しいアーキテクチャであっても、オプティマイザが重要となる。Newton-Schulz反復を利用するMuonは、Adamよりも低い訓練損失と高い構成性スコアを達成した。これは、構成的な盆地に到達するためには、より優れた極小値（より平坦で安定したもの）が必要であることを示唆している。
FERの脆弱性: 深さまたは結合性の条件が満たされない場合、勾配降下法は静かに断片化した解へと収束する。これらの解における重みの微小な摂動は意味的なドリフトを引き起こすが、構成的な解は頑健性を維持する。

3. 未知のターゲットへの汎化

本手法は、基礎となる構成的解が未知である画像（例：自然な風景、マルチオブジェクト画像）にも転移する。SPとヒューリスティック深さ予測器を組み合わせることで、重みのスイープ下において、モノセマンティックな中間特徴量と意味のある出力のバリエーションを正常に回復できる。ただし、複雑なマルチオブジェクトシーンにおいてはその効果は弱まる。

意義と主張

論文は、**「汎化には、構成的な解を勾配ベースの訓練でアクセス可能にするためのアーキテクチャ上の制約が必要である」**と主張している。

スケールのみによる解決への反論: 著者らは、スケールアップ（幅や深さの増大）は、パラメータ空間が大きくなるにつれて構成的マニホールドの相対的な測度が縮小するため（体積比議論）、断片化した解を生み出す傾向があると主張している。
メカニズム的洞察: 本研究は、コンパクトでモジュール的な実装の存在（進化アルゴリズムによって証明済み）と、バニラのバックプロパゲーションがそれらを見つけることに失敗するという事実の間の溝を埋めるものである。構成的な盆地は、アーキテクチャが「ちょうど良い（just right）」状態であり、かつオプティマイザが平坦な極小値を見つけられる能力を持っている場合にのみ、SGDによって偏り（バイアス）を持って到達可能であると提唱している。
実用的含意: SPと深さ予測器の導入は、訓練目的関数を変更することなく、単にアーキテクチャとプルーニング戦略を制約することによって、標準的なMLPに構成的構造を誘導する経路を提供する。

著者らは、本フレームワークが単一オブジェクトの構成性をよく説明する一方で、マルチオブジェクトシーンにおける空間的な構成性は、必要なプリミティブ数（ $P$ ）の指数関数的な増加によって体積比 $\rho$ が崩壊するため、依然として未開拓の領域であると謙虚に述べている。彼らは、すべての視覚言語タスクに対する一般的な構成的推論を解決したと主張しているのではなく、構成性が経験的に到達可能な、特定の構造的レジームを特定したのである。