技術要約：メカニズムのスパース性による非パラメトリックな部分的絡み合い解消（Partial Disentanglement）

問題設定

本研究は、因果表現学習（Causal Representation Learning; CRL）の枠組みにおける**識別可能な表現学習（identifiable representation learning）**の問題に取り組んでいる。目標は、高次元の観測値 ($x$) から高レベルで意味のある潜在因子 ($z$) を復元し、それらのダイナミクスを支配する因果グラフモデル（CGM）を明らかにすることである。

著者らは、観測値が、潜在因子 $z$ に作用する高度に非線形な可能性がある混合関数（デコーダ）$f$ とノイズによって生成される生成モデルを想定している：
$$x_t = f(z_t) + n_t$$
潜在因子は、補助変数 $a_t$（例：アクション、環境インデックス、または介入インジケーター）に従って、遷移モデル $p(z_t | z_{<t}, a_{<t})$ に従って時間とともに進化する。決定的なのは、潜在因子が、疎な因果グラフ $G$（時間的依存関係のための $G_z$ と、補助変数への依存関係のための $G_a$ からなる）における親ノードに条件付きで独立していると仮定されている点である。

核心となる課題は識別可能性（identifiability）である。追加の仮定なしでは、潜在因子と混合関数は任意の微分同相写像を除いて識別不可能である。先行研究では、特定の条件（指数型分布族の仮定、既知の介入対象、または厳格なグラフ基準など）の下での識別可能性を確立してきたが、本論文は、非パラメトリックな設定や任意の潜在因果グラフを扱えるように、これらの制約を緩和することを目指している。

手法

1. 理論的枠組み：メカニズム・スパース性正則化

本論文では、**メカニズム・スパース性正則化（mechanism sparsity regularization）**を新しい帰納バイアスとして導入している。中心となる仮説は、潜在ダイナミクスを制御するメカニズムが疎であるという点である：

• 疎な補助変数の影響: 補助変数 $a$ は少数の潜在因子にのみ影響を与える（疎な $G_a$）。
• 疎な時間的依存関係: 潜在因子は、過去の状態に対して疎に依存する（疎な $G_z$）。

著者らは、真のモデル $\theta = (f, p, G)$ と学習されたモデル $\hat{\theta} = (\hat{f}, \hat{p}, \hat{G})$ の関係を定式化している。そして、学習された表現を真の表現へと写像する絡み合い写像（entanglement map） $v = f^{-1} \circ \hat{f}$ を定義する。

2. 識別理論

本論文は、学習されたグラフ $\hat{G}_a$ および $\hat{G}_z$ のスパース性に基づく非パラメトリックな識別理論を展開している。

• 同値関係: 置換および要素ごとの変換による識別（完全な解きほぐし）を保証する代わりに、本理論は**一貫性（consistency）**までの識別性を確立する：

  • $a$-一貫性 ($\sim_{a}^{con}$): 絡み合い写像 $v$ は、置換と $G_a$ を保存する微分同相写像の合成である。
  • $z$-一貫性 ($\sim_{z}^{con}$): 絡み合い写像 $v$ は、置換と $G_z$（および $G_z^\top$）を保存する微分同相写像の合成である。
  • 部分的解きほぐし（Partial Disentanglement）: これは、一部の潜在因子が依然として絡まった状態（混合状態）にある可能性があるものの、その絡まりの構造が真のグラフのスパース性パターンによって厳密に制約されることを意味する。

• 十分な影響力の仮定: これらの結果を証明するために、著者らは「十分な影響力（sufficient influence）」の仮定（仮定6, 7, 8）を導入している。これらは、遷移モデルの対数密度（連続的な $a$ の場合はヘッセ行列、離散的な $a$ の場合は部分差分）が、グラフ構造によって定義される関連部分空間をスパンするのに十分な程度に変化することを要求する。

• グラフ保存写像: 主要な数学的ツールは、**グラフ保存写像（$G$-preserving maps）**という概念である。これは、依存グラフが $G$ のスパース性制約を尊重する関数のことである。理論によれば、学習されたグラフが真のグラフと同じくらい疎になるよう正則化される場合、絡み合い写像は必ず $G$-保存写像となる。

• 完全な解きほぐし: 本論文は、真のグラフが特定のグラフ基準（graphical criterion）（Lachapelleら(2022)の基準を一般化した仮定5）を満たす場合、より強い結果である完全な解きほぐし（置換および要素ごとの変換までの識別性）を特殊なケースとして回収する。

3. 指数型分布族への拡張

本論文は、非パラメトリックな結果を一般的な指数型分布族の仮定へと接続している。遷移モデルが1次元の十分統計量を持つ指数型分布族に属すると仮定することで、「十分な影響力」の仮定を緩和できることを示し、補助変数なしでのマルコフ的な遷移を可能にしている（これは非パラメトリックなケースにおける制限事項である）。

4. 推定手順

これらのアイデアを実装するために、著者らは**変分オートエンコーダ（VAE）**に基づいた学習アルゴリズムを提案している。

• モデル: VAEはデコーダ $\hat{f}$ と遷移モデル $\hat{p}$ を学習する。
• スパース性制約: スパース性の「ペナルティ（正則化）」を使用する代わりに、この手法はスパース性制約を採用している。隣接行列 $\hat{G}_a$ および $\hat{G}_z$ はベルヌーイ分布のパラメータとして扱われ、エッジの期待数が予算 $\beta$（理想的には真のエッジ数）を超えないように最適化が制約される。
• 最適化: 制約付き最適化は、デュアル再起動を伴うラグランジュ形式を用いて解かれる。

主な貢献

1. 新しい原理: 潜在因子が補助変数や過去の状態に疎に依存する場合に適用可能な、メカニズム・スパース性正則化という原理の導入。
2. 非パラメトリックな識別可能性: 指数型分布族の仮定を必要としない、完全に非パラメトリックな識別理論の開発。これにより、任意の潜在因果グラフ（同時刻における潜在因子間の即時的な因果関係が存在しない限り）を扱うことが可能になる。
3. 部分的解きほぐしの理論: 新しい同値関係（$a$-一貫性および $z$-一貫性）を通じた、部分的解きほぐしの定式化。この理論は、真のグラフ構造に基づいて、どの変数が混合したまま残るかという「絡まりのグラフ（entanglement graph）」の構造を正確に予測する。
4. 介入の一般化: 以前の手法が単一ノードの介入や既知のターゲットに限定されがちであったのに対し、本フレームワークが未知のターゲットを持つマルチノード介入を扱えることを実証。
5. 新しい評価指標: 学習された表現が $a$-一貫性または $z$-一貫性にどれだけ近いかを定量化する指標 $R_{con}$ の導入。これは、完全な解きほぐし（MCC）と一般的な表現の質（$R$）の間のギャップを埋めるものである。
6. 実証的検証: スパース性制約付きVAEの実装と合成データセットによる検証を行い、スパース性を強制することで、グラフ回復（SHD）と解きほぐし（MCC, $R_{con}$）の両方が改善されることを示した。

結果

• 理論的側面: 定理1、2、および3は、十分な影響力とスパース性正則化の下で、学習されたモデルが $a$-一貫性、$z$-一貫性、または $(a, z)$-一貫性まで識別可能であることを確立している。命題7は、グラフ基準が満たされる場合、これが完全な解きほぐしに帰着することを示している。
• 実験的側面:
  • グラフ基準を満たすデータセット（例：対角行列または特定の非対角行列グラフ）において、スパース性制約付きVAEは、TCVAE、iVAE、PCL、SlowVAEなどのベースラインを上回り、ほぼ完璧な**平均相関係数（MCC）と低い構造的ハミング距離（SHD）**を達成した。
  • グラフ基準を満たさないデータセット（部分的解きほぐしのみが許容される設定）において、本手法は高い $R_{con}$ スコアを達成した。これは、学習された表現が予測された絡まりの構造を尊重していることを裏付けており、ベースラインは部分的解きほぐしを実現できなかった。
  • 本手法が、連続的な補助変数（アクション）と離散的な介入（マルチターゲット介入を含む）の両方に対して機能することを実験で示している。
  • 非パラメトリックな設定において、本手法は不均一分散（非指数型分布族のケース）に対しても頑健である。

意義と主張

本論文は、Lachapelleら(2022)の大幅に拡張されたバージョンを提供すると主張している。その主な意義は以下の通りである：

• 仮定の緩和: 制限の多い指数型分布族の仮定から、一般的な非パラメトリックな設定へと移行したこと。
• 範囲の拡大: 識別性のために特定の構造を要求するのではなく、任意の潜在因果グラフを扱えるようにしたこと。
• 部分的解きほぐしの定式化: 部分的解きほぐしを「失敗モード」として扱うのではなく、それがいつ、どのように起こるかを理解するための厳密な数学的枠組みを提供したこと。
• 未知のターゲットの処理: 識別性を達成するために、未知のターゲットを持つ疎な介入を使用することへの理論的正当化を提供したこと。

著者らは、本研究を、メカニズムが自然に疎でありながら複雑であるシナリオ（シングルセル生物学やビデオ解析など）における将来的な経験的研究のための理論的基礎として位置づけている。彼らは、本研究がすべての設定における解きほぐしを解決すると主張しているのではなく、非線形な混合や複雑な因果構造が存在する場合でも、それが可能となる十分条件を提供していることを明示している。