技術要約：コンセプト変調モデル（Concept Modulation Models）

問題提起

条件付き潜在変数モデルにおける信頼できる汎化には、「識別可能性（identifiability）」と「外挿（extrapolation）」という、相互に関連する2つの課題を解決する必要があります。

• 識別可能性: 属性（例：環境、介入、条件）が観測量にどのように影響を与えるかを制御する潜在構造が、データの特性に基づき、一意に決定される（特定の性質を持つ曖昧さの範囲内で）条件。
• 外挿: 観測された条件付き特徴量の分布に関する一致が、未観測の属性における分布の一致を強制するかどうかを決定する条件。

既存の文献は、これらの問題を個別のモデルごと（例：非線形ICA、因果表現学習、摂動モデリング）に扱っており、特定の構造的仮定に依存しており、統一されたフレームワークを欠いています。さらに、特定のモデル群の理論を統一している研究もありますが、それらは特定のレジーム内での識別可能性に焦点を当てており、多様な構造的設定を横断する一般的な外挿メカニズムを提供しているわけではありません。

手法：コンセプト変調モデル（CMMs）

著者らは、属性インデックス付きの条件付き生成モデルのための統一フレームワークとして、**コンセプト変調モデル（CMMs）**を導入しています。このフレームワークは、以下のグラフ構造によって定義されます。
$$A \to \Lambda \to C \to X$$
ここで、

• $A \in \mathcal{A}$: 観測された属性（例：環境、介入）。
• $\Lambda \in \mathcal{L}$: 属性によって選択される潜在的なモジュレーター（変調器）。
• $C \in \mathcal{C}$: モジュレーターによって誘導される分布を持つ潜在的なコンセプト。
• $X \in \mathcal{X}$: コンセプトによって生成される観測された特徴量。

CMMクラスは、積 $\mathcal{M} = \mathcal{Q} \times \{B\} \times \mathcal{K}$ として定義されます。

• $\mathcal{Q}$: 属性をモジュレーターへ写像するインデックス・カーネルのクラス。
• $B$: モジュレーターからコンセプト分布への固定されたコンセプト変調カーネル（クラス内で共有される）。
• $\mathcal{K}$: コンセプトから特徴量へのミキシング・カーネルのクラス。

コアとなる分析ツール

本手法は、特徴量の等価性を潜在的な遷移へと持ち上げ（lifting）、これらの遷移を**属性ポテンシャル（attribute potentials）**を通じて特徴付けることに依拠しています。

1. 遷移ベースの識別可能性:
   Squires and Ravikumar [2026] の研究に基づき、著者らは、もしCMMクラス内の2つのモデルが、一連の観測された属性 $A_o$ 上で特徴量的に等価であれば、一方のモデルのコンセプト法則を他方のモデルへと写像する潜在的な遷移 $\tau$（コンセプト空間の自己同型写像）が存在することを示しています。識別可能性は、有効な遷移の共通部分（ミキシング機構とコンセプト変調機構の両方と互換性のある遷移）が、特定の曖昧さの群 $G$ に含まれる場合に達成されます。

2. 属性ポテンシャル:
   計算困難な項を避けてコンセプト側の遷移を特徴付けるために、著者らは、異なる属性で条件付けられたコンセプト法則の対数密度比として属性ポテンシャルを定義します。
   $$\Delta_{\bar{Q}}^{a, a_0}(c) := \log p_{\bar{Q}}(c | a) - \log p_{\bar{Q}}(c | a_0)$$
   有効な遷移は、これらのポテンシャルを保存しなければなりません。これにより、汎用的な「持ち上げ」ステップ（特徴量の合致 $\to$ 潜在的な遷移）と、モデル固有の「剛性（rigidity）」に関する議論（ポテンシャルの保存が置換やアフィン変換といった特定の構造形式を意味することを証明するステップ）を分離しています。

3. ポテンシャル拡張による外挿:
   未観測の属性 $A_{ex}$ への外挿は、輸送された属性ポテンシャルの恒等式の拡張と同等であることが示されています。もし $A_o$ 上で成立するポテンシャルの恒等式が、$A_{ex}$ へと代数的に拡張可能である場合（例：属性表現のアフィン結合を介する場合）、$A_o$ 上での特徴量の合致は $A_{ex}$ 上での合致を意味します。

主な貢献

1. 統一フレームワーク（CMMs）:
   論文は、属性条件付き生成のための共通の構造形式としてCMMsを提案しています。このフレームワークは、属性固有のインデックス付けと、共有される変調メカニズムを分離することで、非線形ICA、識別可能なVAE、因果表現学習、摂動モデリングを含む幅広い設定を捉えています。

2. 条件付き遷移ベースの識別可能性:
   著者らは、特徴量の等価性が、モデルクラスと互換性のある潜在的なコンセプト遷移を誘導することを示す条件付き持ち上げ定理（Theorem 1）を証明しています。さらに、属性ポテンシャルの保存を通じて、コンセプト側の互換性条件を特徴付けています（Theorem 2）。これにより、様々な既存の識別可能性の結果の背後にある共通の証明対象（ポテンシャル）を孤立させています。

3. 代数的外挿基準:
   論文は、外挿が属性空間そのものではなく、属性ポテンシャルの線形構造によって駆動されることを確立しています。

• 定理3は、外挿が成立するための必要十分条件として、輸送された属性ポテンシャルの恒等式が未観測の属性へと拡張されることを証明しています。
• 定理4は、外挿のための十分条件を提供しています。属性ポテンシャルが固定された属性表現 $\phi$ に対してアフィン依存性を示し、かつ未観測の属性が観測された属性のアフィン包（affine hull）内に存在する場合、外挿は保証されます。
• 系1は、これを構造化された属性空間（例：要因デザイン）に対して示しており、相互作用の部分集合における特徴量の等価性が、すべての組み合わせにおける等価性を意味することを示しています。

4. 既存結果の回収:
   本フレームワークは、以下の結果を回収し、統一するために使用されています。

• 非線形ICA / iVAE: 分離可能なポテンシャルによる座標ごとの識別可能性の回収。
• 因果表現学習 (CRL): 介入（ガウス型、非パラメトリック、スコアベース）下での識別可能性の回収。これは、介入によって誘発されたポテンシャルのコントラストが潜在的な遷移を制約することを示すことで行われます。
• 摂動モデリング: 摂当効果行列の識別可能性の回収、および観測された摂動の張理（span）内にある未観測の摂動への外挿の証明。

結果と意義

本論文は、CMMsが識別可能性と外挿を研究するための共通言語を提供すると主張しています。その主な意義は以下の通りです。

• 汎用的ステップと固有ステップの分離: 特徴量の合致を潜在的な遷移へと持ち上げる汎用的なステップと、曖昧さの正確な形態を特定するために必要なモデル固有の剛性議論を分離しています。
• 多様なレジームの統一: 非線形ICA、因果学習、摂動モデリングにおける一見異なる結果が、属性ポテンシャルの保存という共通の基礎メカニズムを共有していることを示しています。
• 外挿の保証の提供: 識別可能性のみに焦点を当てがちな従来の多くの研究とは異なり、このフレームワークは、特にポテンシャルの代数的拡張を通じて、未観測の属性への汎化が保証される条件を明示的に導き出しています。

著者らは、現在の定式化が共通サポートの仮定（対数密度比を使用）に依存しており、これは指数族やソフト介入モデルをカバーするものの、決定論的な $do$ 介入やサポートを変更するメカニズムはまだカバーしていないと述べています。彼らは、中心となる「遷移とコントラスト」の視点を変えることなく、因果表現学習への適用範囲を広げるために、特異な、あるいは部分的に重なるコンセプト法則へと理論を拡張することを今後の課題として挙げています。