技術要約：プーリングが失敗する時

問題提起

本論文は、オブジェクトの埋め込みを単一のグローバル状態ベクトルへと集約するために、アイデンティティ非依存のプーリング（例：平均プーリング）に依存するプランニング・エージェントにおける構造的な失敗モードを取り上げている。このアーキテクチャは、そのコンパクトさと微分可能性ゆえに、モデルベース強化学習（例：DreamerV2/V3）、ツール使用エージェント、ロボットプランナーにおいて標準的であるが、不可逆的な表現の損失を強いるものである。

核心となる問題は、オブジェクトの埋め込みがプーリングされると、個々のオブジェクトのアイデンティティが数学的に破壊されることである。その結果、エージェントは完璧なプランニング・シーケンスを学習し、ベンチマーク上で高い総報酬を達成できる一方で、構造的に「どの特定のオブジェクトに対して行動しているか」に対して盲目である可能性がある。これは、オブジェクト・グラウンディング（接地）の失敗を招き、エージェントが同質なオブジェクト（例：ディレクトリ内の多数のファイルの中から正しいものを選択すること）を区別できなくなる現象を引き起こす。本論文は、現在のエンジニアリング的対応策——モデル容量の拡大、深さの増加、あるいは学習データの増量——は、アーキテクチャの根本原因に対処していないため、効果的ではないと主張している。

手法および理論的枠組み

1. アイデンティティ喪失の形式的定義

著者らは、アイデンティティ非依存プーリング（定義3.1）を、置換不変な関数 $f: (\mathbb{R}^d)^N \to \mathbb{R}^d$ と定義する。Zaheerら [2017] に従い、そのような関数は入力の置換を区別できないことを確立している。

• 補題 3.2 は、埋め込みが共通のサポートを持つ場合、決定論的なダウンストリーム・ネットワーク $h$ が、プーリングされた状態 $\bar{e}$ から特定のオブジェクト $i$ のアイデンティティを確率1で復元することは不可能であることを証明している。これは学習の限界ではなく、構造的な不可能性である。

2. 情報理論的天井

本論文は、プーリングされた状態 $\bar{e}$ を、信号が単一のオブジェクトの埋め込みであり、ノイズが他のすべての $N-1$ 個のオブジェクトおよび環境ノイズであるガウス・チャネルとしてモデル化している。

• 定理 3.3 は、**相互情報量天井（Mutual Information Ceiling）**を導出する：
  $$I(e_i; \bar{e}) \leq \frac{d}{2} \log \left( 1 + \frac{\sigma^2}{\sigma_n^2 + \frac{(N-1)\sigma^2}{N}} \right)$$
  低ノイズ下では、これは $I(e_i; \bar{e}) \approx \frac{d}{2(N-1)}$ と簡略化される。これは、モデルの容量に関わらず、オブジェクトのアイデンティティを復元するために利用可能な情報は、オブジェクト数 $N$ が増加するにつれて単調に減少することを示している。

3. 失敗閾値 ($N^*$)

相互情報を $N$ 個のオブジェクトを区別するために必要なエントロピー ($\log N$) と等置することにより、著者らは失敗閾値（系Corollary 3.4）を導出する：
$$\frac{d}{2(N^*-1)} = \log N^*$$
同質なカテゴリ内のオブジェクト数 $N$ が $N^*$ を超える場合、グラウンディングは構造的に復元不可能となる。

4. 直交性の結果

本論文は、この天井が標準的なスケーリングの取り組みとは直交していることを証明している：

• 容量の直交性 (Theorem 3.7): モデルサイズを大きくしても、プーリングされた状態 $\bar{e}$ によって設定された限界を超えて相互情報を増やすことはできない（データ処理不等式）。
• 深さの直交性 (Theorem 3.8): プーリングの後に層を追加しても、「グラウンディング債務（Grounding Debt, $D_G$）」を減らすことはできない。
• 学習不変性 (Corollary 3.9): 学習は、埋め込み次元 $d$ とオブジェクト数 $N$ にのみ依存するため、この境界を変更することはできない。

5. 統計的重力 vs アーキテクチャ的天井

著者らは、2つの失敗モードを区別している：

1. 統計的重力 (Statistical Gravity): データ不均衡により、エージェントが高頻度のオブジェクト・アクションのペアに収束してしまう学習の問題。これは多様なデータによって修正可能である。
2. アーキテクチャ的天井 (Architectural Ceiling): 上記で導出された根本的な限界。これはデータの多様性や学習によっても修正できない。

実験による検証

著者らは、オブジェクトがファイルであり、アクションがオブジェクト・インデックス化されたもの（Read, Write, Moveなど）である制御されたファイルシステム環境を用いて、これらの主張を検証している。

主な知見:

1. ベースラインの失敗 (Config A): 内部コミットメント（Variant B）を使用するエージェントは、アクション主導のタスク（ログ生成）では100%の成功率を達成したが、オブジェクト・アイデンティティ依存のタスク（サマリー生成）では、最小限のオブジェクト数（$N \approx 4$）であっても**0%**となった。これは補題1を裏付けている。
2. エントロピー感受性 (Config B): 環境密度を $N \approx 9$ から $N \approx 55$ に増加させると、アイデンティティ依存のタスクは成功率0%へと崩壊したが、プランニング・タスクは影響を受けなかった。これは「アーカイブの二分法（Archive Dichotomy）」を検証している。
3. 容量のスケーリング (Config D): モデルを343Kから75Mパラメータへとスケールアップしても、グラウンディング性能は改善しなかった（0%のまま）。しかし、バランスの取れたスケーリング（深さ＋幅）はプランニング能力を回復させた。これは、プランニングとグラウンディングが直交する能力であることを証明している。
4. 次元のスケーリング (Config 6): 埋め込み次元 $d$ を変化させると（64, 128, 256）、観測された崩壊閾値（$N^*$）は理論的予測と一致してシフトした。$d=64$ では $N \approx 12\text{-}15$ で崩壊が発生し、$d=256$ では $N \approx 40\text{-}50$ へとシフトした。
5. クロスシステム検証:
   • DreamerV3: $N^*$ の理論的予測は、マルチオブジェクト操作タスクで報告されている「オブジェクト消失」の失敗と一致している。
   • LLM: 本論文は、アテンションの重みが同質なトークンに対して平坦化するとき、LLMは機能的に平均プーリングを近似していると仮定しており、これが大規模コンテキストにおける「Lost in the Middle（中だるみ）」現象を説明している。

主な貢献

1. 定量化可能な天井: 本論文は、オブジェクトの数 $N$ と埋め込み次元 $d$ のみに依存する、プーリングベースのエージェントがグラウンディング可能な最大オブジェクト数の閉じた形式の計算可能な境界（$N^*$）を提供している。
2. 直交性の証明: モデルの容量、深さ、および学習データが、アイデンティティ非依存プーリングに内在する情報の損失を克服できないことを厳密に示した。
3. デプロイ前の診断: エンジニアがシステム構築前に $N^*$ を計算できる実用的なフレームワークを提供している。もし $N > N^*$ であれば、そのアーキテクチャは証明的に不十分であり、解決策は $d$ を増やすか、オブジェクトごとの表現（例：Slot Attention、グラフネットワーク）に切り替えることのみである。
4. 失敗モードの区別: 「統計的重力」（データにより修正可能）と「アーキテクチャ的天井」（アーキテクチャにより修正可能）を分離することで、根本的に不可能なタスクに対してモデルをスケールさせるという無駄なエンジニアリング努力を防ぐ。

意義と主張

本論文は、スケーリングのヒューリスティックに代わって、根本的なアーキテクチャの限界が見過ごされてきたと主張している。その意義は、「より激しく訓練する」から「まず測定する」へとパラダイムをシフトさせる点にある。

• ベンチマークの限界: タスク完了率や総報酬を測定する標準的なベンチマークは、オブジェクトのアイデンティティに対する構造的な盲目を隠蔽してしまうため、不十分である。
• アーキテクチャの必要性: アテンション・メカニズムが普遍的に必要なのではなく、オブジェクト数と埋め込み次元の比率に基づいて、原理的な決定を下さなければならないと本論文は主張している。
• 予測力: 導出された閾値は、制御された実験および実世界のシステム（Dreamer、LLM）から報告された結果の両方において、失敗点を正確に予測しており、観察された多くの失敗がバグではなく、プーリング・アーキテクチャの必然的な帰結であることを示唆している。

著者らは、オブジェクト・インデックス化されたアクション、カテゴリ的メンバーシップ、不可逆性、およびグローバル集約の特性を満たすあらゆるシステムにおいて、$N > N^*$ のときグラウンディング債務は厳密に正となり、エージェントは学習に関わらず、信頼できるオブジェクト選択を行うことが構造的に不可能になると結論づけている。