学習不可能な物質の相：機械学習における本質的限界の特定

論文タイトル: Unlearnable phases of matter
著者: Tarun Advaith Kumar, Yijian Zou, Amir-Reza Negari, Roger G. Melko, Timothy H. Hsieh
日付: 2026 年 3 月 19 日

1. 概要と問題設定

本論文は、機械学習（特に教師なし学習）が直面する本質的な計算論的限界を明らかにするものです。具体的には、非自明な混合状態の物質の相（mixed-state phases of matter）、すなわち特定のクラスのパラメータ分布が、ニューラルネットワークによって効率的に学習できないことを示しています。

従来の教師あり学習におけるパリティ（偶奇）関数の学習の難しさは知られていましたが、教師なし学習において「どのデータ分布が学習困難で、その普遍的な特性は何か」という体系的な理解は欠如していました。本研究は、多体物理学における「相」の概念をデータ分布の文脈に適用し、**局所的に識別不可能（Locally Indistinguishable: LI）**な状態を持つ分布が、ニューラルネットワークによる学習において本質的に困難であることを証明しました。

2. 主要な手法と理論的枠組み

2.1 局所統計的クエリモデル（Local SQ Model）の導入

本研究では、勾配ベースのデータ駆動型学習（特に自己回帰型ニューラルネットワーク）の本質的な特徴を捉えるために、制限された統計的クエリ（Statistical Query: SQ）モデルを導入しました。

• 局所性の制約: クエリ関数 $\phi(x)$ が最大 $\ell$ 個のスピン（または少数の自由度）にしか依存しないことを要求します。
• 物理的根拠: 多くのニューラルネットワーク（RNN, CNN, Transformer）は「単純性バイアス（simplicity bias）」を持ち、局所的な特徴を優先して学習する傾向があります。また、ノイズのある勾配降下法（Noisy Gradient Descent）において、目標分布が局所的なギブス状態と LI である場合、学習軌道は局所 SQ モデルで記述可能であることを示しました。

2.2 局所的に識別不可能（LI）と条件付き相互情報（CMI）の関連性

• LI の定義: 2 つの状態 $\rho_1, \rho_2$ が、任意の局所演算子 $\phi$ に対して期待値の差が指数関数的に小さい（$|\text{tr}((\rho_1-\rho_2)\phi)| \le \delta$）が、大域的には区別可能（$\|\rho_1-\rho_2\|_1 \ge C'$）である場合、これらは LI と呼ばれます。
• CMI と LI の等価性: 古典分布において、**長距離の条件付き相互情報（Long-range CMI）**が存在することは、局所的に識別不可能なパートナー状態の存在を意味します（1 次元系では逆も成り立ちます）。
  • 短距離 CMI: 効率的に学習可能。
  • 長距離 CMI: 学習困難（LI 性による）。

2.3 学習困難性の証明

LI 状態の集合 $\rho(p_1) = p_1\rho_1 + (1-p_1)\rho_2$ において、$p_1$ をランダムに変化させた場合、局所 SQ オラクルからの応答は $p_1$ に関する情報をほとんど含まないことを情報理論的に証明しました。

• 勾配降下法における学習軌道 $P_1(\theta(t))$ と $P_2(\theta(t))$ は、LI 状態 $\rho_1, \rho_2$ に対して超多項式的に近接しており、最適化アルゴリズムはどちらの分布から学習しても同じ軌道をとってしまいます。
• その結果、ニューラルネットワークは LI 状態の混合（mixture）を学習することはできても、**大域的な観測量（Global Observable）**を学習することはできません。

3. 主要な結果と数値的検証

3.1 理論的予測

• 強から弱への自発的対称性破れ（SWSSB）相: 大域的な対称性を持つ混合状態（例：トータルパリティが偶数のビット列のアンサンブル）は、LI 状態のペアとして振る舞い、長距離 CMI を持ちます。これらの相は局所 SQ モデルでは学習不可能です。
• トポロジカル秩序: トロイカルコード（Toric code）などのトポロジカルに縮退した状態も LI であり、学習困難です。

3.2 数値的検証

著者らは、RNN（LSTM）、CNN、Transformer などのアーキテクチャを用いて、以下の系における学習性能を検証しました。

1. トロイカルコード（Toric Code）のシンドローム分布:
   • ビット反転ノイズ下でのシンドローム分布を学習。
   • ノイズ強度 $p_{err}$ が臨界値 $p_c \approx 0.11$ を超えると、分布は SWSSB 相に入り、長距離 CMI を示します。
   • 結果: $p > p_c$ において、ニューラルネットワークは KL 発散を最小化できず、大域的なパリティ（対称性チャージ）の期待値を正しく学習できませんでした（$\langle \prod Z_i \rangle \to 0$ となり、真の値 1 に到達しない）。
2. 表面コード（Surface Code）とループ・アンサンブル:
   • 開放境界条件を持つ表面コードにおいて、論理ビット（Logical qubit）の情報を固定した状態と、固定しない状態の学習難易度を比較。
   • 結果: 誤り訂正閾値（$p_c$）以下では、論理情報を固定した状態としない状態は LI であり、学習結果は同一になります。しかし、KL 発散の差を解析することで、学習の困難さが論理情報の復元可能性（Decodability）と一致することを確認しました。
   • 臨界点付近では、CMI の減衰がべき乗則となり、学習誤率がピークを示すことが確認されました。

4. 重要な貢献と意義

4.1 機械学習への示唆

• 学習困難性の診断ツール: LI と CMI は、データ分布の学習難易度を特徴づける重要な指標となります。
• AI セーフティ: 現実世界のデータや、意図的に学習を回避するように設計されたデータ（敵対的サンプルなど）の分析に応用可能性があります。
• 単純性バイアスの理解: ニューラルネットワークが「局所的なギブス状態」を優先して学習する傾向（単純性バイアス）が、なぜ特定の物理的相（LI 相）を学習できないのかを説明します。

4.2 物理学への示唆

• 混合状態の相転移の新しい診断: 従来のシミュレーションや実験では計算が困難だった混合状態の相転移や、誤り訂正閾値を、**「学習の失敗」**という観点から検出する新しい手法を提供しました。
• エラー訂正との関係: 学習不可能性は、環境からのデータ隠蔽（エラー訂正の原理）と密接に関連しており、エラー訂正閾値の検出に利用できます。
• CMI と「非局所的ギブス性」: 分布の学習難易度を測るメトリックとして、CMI およびより一般的な「非局所的ギブス性（non-local Gibbsness）」を提案しました。

5. 結論

本論文は、機械学習の能力には物理法則に基づく根本的な限界が存在することを示しました。特に、局所的に識別不可能（LI）な状態を持つ混合状態の物質の相は、局所的なクエリに依存するニューラルネットワーク学習では本質的に学習不可能です。この「学習不可能性」は、物質の相転移やエラー訂正閾値を検出するための強力な計算論的プローブとして機能し、機械学習と凝縮系物理学の間の深い結びつきを浮き彫りにしました。