技術要約：離散確率分布のテンソルネットワークによるモラルグラフ復元

1. 問題設定

本論文は、離散型確率変数系の因果構造学習に関する問題に取り組んでいる。具体的には、未知の因果有向非巡回グラフ（DAG）の観測データ（結合確率分布 $p$）のみから、そのモラルグラフを復元することを目的とする。

モラルグラフとは、2つの変数の間に直接的な因果関係が存在するか、あるいは $v$-structure において共通の親を持つ場合にエッジが存在する無向グラフである。これは DAG のマルコフ同値類における不変量であり、介入なしの純粋な観測データから識別可能である。既存の手法は通常、以下の2つのカテゴリに分類される：

• 制約ベースの手法（例：PCアルゴリズム）：条件付き独立性（CI）テストに依存するが、これらは有限サンプルにおける性能劣化や、弱い依存性の検出能力の低さに直面する。
• スコアベースの手法（例：GES, NOTEARs）：学習を DAG 上の連続最適化問題として定式化するが、組合せ爆発的な探索空間に直面し、非巡回制約を必要とする。

本研究は、離散的な CI テストや DAG 空間の探索を回避し、確率分布を**完全結合テンソルネットワーク（FCTN）**へと分解する、根本的に異なるアプローチを提案している。

2. 手法

2.1 テンソルネットワーク・アンサンブル

本手法は、結合確率分布 $p(V_1, \dots, V_m)$ を、完全結合テンソルネットワークの縮約として表現する。このネットワークは以下で構成される：

• 局所テンソル ($N^{[i]}$): 各変数 $V_i$ に関連付けられる。
• ボンド行列 ($B_{ij}$): すべてのペア $\{i, j\}$ を接続する。

決定的なのは、各ボンド行列がベースラインと低ランク補正としてパラメータ化されている点である：
$$B_{ij} = J_{ij} + C_{ij} = J_{ij} + U_{ij}V_{ij}^\top$$
ここで、$J_{ij}$ は固定された全要素1の行列（サイト間が独立である無接続のベースラインを表す）であり、$C_{ij}$ は低ランク補正行列である。因子 $U_{ij}$ および $V_{ij}$ は学習可能なパラメータである。

2.2 目的関数と正則化

学習の目的関数は、真の分布 $p$ とテンソルネットワーク近似 $TN(\theta)$ との再構成誤差を最小化し、補正に対する核ノルム・ペナルティによって正則化される：
$$J(\theta) = \|p - TN(\theta)\|_2^2 + \frac{\beta}{2} \sum_{\{V_i, V_j\}} (\|U_{ij}\|_F^2 + \|V_{ij}\|_F^2)$$
このペナルティ項は、変分恒等式 $\|C_{ij}\|_* = \min_{C=UV^\top} \frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$ を通じて核ノルム $\|C_{ij}\|_*$ を実装している。この連続的かつ微分可能なペナルティは、不要なボンド補正をゼロへと駆動する。

2.3 実効グラフの復元

実効グラフ $G_{eff}$ は、補正行列の核ノルムが非ゼロ（または実効ランク $>0$）であるエッジの集合として定義される：
$$G_{eff} = \{ \{V_i, V_j\} : \|C_{ij}\|_* > 0 \}$$
本手法は、最適化プロセスが自然に非モラルなエッジを削ぎ落とし（$C_{ij} = J_{ij}$ とする）、モラルなエッジを保持することで、最適化されたパラメータから直接グラフ構造が立ち上がることを提唱している。

3. 理論的枠組みと主要な貢献

本論文は、特定の仮定（忠実性（Faithfulness）、正値性（Positivity）、および 暗黙的なルーティングの回避（No-Implicit-Rerouting））の下で、厳密な復元および近似的な復元に関する理論的保証を提供している。

3.1 コアメカニズム：ルーティング・コスト

中心的な補題（Lemma 11）は、相関を中間ノードを経由してルーティングすることは、直接表現することよりも厳密にコストが高くなることを確立している。

• もし $V_i$ と $V_j$ の間に依存関係が存在する場合、それを直接のボンド $C_{ij}$ で表現することが最適である。
• もし直接のボンドが除去された場合、その依存関係は他のノード（例：$V_i \to V_\omega \to V_j$）を経由して「ルーティング」されなければならない。これは、補正のランク（$K_{ij}$）に比例してフロベニウスノルムのペナルティを増大させるアイデンティティ・パススルー行列を必要とする。
• したがって、最適化アルゴリズムは、真の条件付き依存関係に対して直接のボンドを選択する。

3.2 完全な復元（誤差ゼロ）

定理 16 は、忠実性、正値性、および暗黙的なルーティングの回避仮定の下で、すべての誤差ゼロ（$\varepsilon = 0$）の最適 FCTN は、実効グラフがモラルグラフと完全に一致することを述べている。

• 下界（定理 13）: モラルなエッジは非ゼロの補正を持たなければならない。もしモラルなエッジがゼロであれば、依存関係をルーティングする必要があり、より高いペナルティを招くため、最適性に矛盾する。
• 上界（定理 15）: 非モラルなエッジはゼロの補正を持たなければならない。非モラルなエッジは条件付き相互情報量（CMI）がゼロである。そのようなエッジにおける非ゼロの補正は、無意味なアーティファクト、明示的なルーティング（劣最適）、または暗黙的なルーティング（仮定3により排除）のいずれかとなる。

3.3 近似的な復元（非ゼロ誤差）

再構成誤差 $\varepsilon > 0$ の領域において、本論文はFannes–Audenaert 連続性を用いて、条件付き相互情報の性質を利用した明示的な復元境界を導出している。

• 定理 18: 再構成誤差が十分に小さく、連続性境界 $f(\varepsilon)$ が真のモラルエッジの最小条件付き相互情報量（$\delta_{min}$）を下回る場合、実効グラフはすべてのモラルエッジを含む。
• 非ゼロの補正を持つスプリアス（偽）エッジ（非モラル）は $f(\varepsilon)$ によって制限されるため、閾値処理によって除去が可能である。

4. 実験結果

著者らは、既知の因果 DAG から生成された 4 つの合成離散分布を用いて手法を検証した：

1. Chain (鎖状): $X \to Z \to Y$
2. Fork (フォーク型): $Z \to X, Z \to Y$
3. Collider (コライダー型): $X \to Z \leftarrow Y$
4. Diamond (ダイヤモンド型): $v$-structure と chain の組み合わせ。

知見:

• これら 4 つのケースすべてにおいて、最適化されたボンド行列から抽出されたランクベースの実効グラフは、真のモラルグラフと完全に一致した。
• 本手法は、コライダー構造およびダイヤモンド構造における共同親間のモラルエッジを正常に特定した。
• 再構成された分布に対する事後的な条件付き相互情報量（CMI）診断は、再構成誤差が高い場合には頑健性が低かった。これは、近似的な領域において、単純な CMI 閾値処理よりもランクベースの基準が理論的に必要であることを裏付けている。

5. 意義と主張

本論文は、以下の意義を主張している：

• 解の一意性: 多くの構造学習の結果が「存在」を証明するのに対し、本研究は一意性の言及を行っている：すなわち、すべての ゼロ誤差の最適解が正しいモラルグラフを与える。
• 構造学習の連続的緩和: 離散的な CI テストを、テンソルネットワークの幾何学を活用した連続的で微分可能な目的関数に置き換えた。
• 理論的厳密性: 再構成誤差を情報理論的な連続性を通じてグラフ復元の保証に直接結びつけることで、近似的な復元に関する明示的な境界を提供した。
• 因果発見における新規性: テンソルネットワークを、物理学や圧縮ではなく、モラルグラフの復元に特化して核ノルム正則化されたボンド補正を適用した最初の事例である。

6. 限界

著者らは以下の限界を認めている：

• 暗黙的なルーティングの回避仮定: 理論的保証は、局所テンソルが直接のボンドを代替するために多変数依存関係を内部的に計算できないという仮定に依存している。これは、実験（ボンド次元が状態空間よりも小さい場合）では経験的に満たされているが、形式的な構造的証明は今後の課題として残されている。
• 非凸性: 目的関数は非凸であり、勾配降下法によるグローバルな最適性が保証されるわけではない。ただし、実効グラフの離散的な性質により、解は小さな摂動に対して頑健である。
• スケーラビリティ: 完全結合テンソルネットワークは、ツリー幅 $m-1$ を持ち、指数関数的な収縮コスト $O(d^m r^{m-1})$ がかかる。これにより、一般的なハードウェアでは変数の数 $m \lesssim 10$ 程度に制限される。著者らは、より大きなシステムへの道筋として、近似的な収縮戦略（切断や繰り込みなど）を提案している。
• 因果の向き: 本手法は無向のモラルグラフを復元するものである。エッジの向きを決定して完全な DAG を復元するには、追加の情報（介入）または別途の向き付けルールが必要となる。