技術要約：トポロジカル・ニューラル・ネットワークのための微分可能なリフティング

問題定義

トポロジカル・ニューラル・ネットワーク（TNN）は、高次の構造（例：サイクル、クリーク、単体）を活用することで、従来のグラフニューラルネットワーク（GNN）の表現力を強化できる強力なモデル・クラスとして台頭しています。しかし、その「リフティング（lifting）」プロセスには決定的なボトルネックが存在します。すなわち、入力グラフをトポロジカルなドメイン（ハイパーグラフ、単体複体、細胞複体など）へと変換するプロセスです。

現在、このリフティング操作は主に教師なしかつ静的です。サイクル・リフティング、$k$-ホップ・リフティング、$k$-最近傍（$k$-NN）リフティングなどの手法は、グラフの連結性やノード特徴量に基づいた事前定義済みのヒューリスティックに依存しています。本論文で示されているように、最適なトポロジカル・ドメインおよびリフティングの手順は、データに強く依存し、タスク特異的です。静的で教師なしのリフティングは、しばしば不適切なトポロジカル表現をもたらし、ダウンストリームのTNNの性能を制限してしまいます。細胞複体に対しては微分可能なリフティング（DCMなど）が以前に検討されてきましたが、ハイパーグラフや単体複体を含む様々なトポロジカル・ドメインに適用可能な一般的なフレームワークは欠如していました。

手法：$\partial$lift (DiffLift)

著者らは、グラフのリフティングを学習するための、エンドツーエンドで微分可能な汎用フレームワークである$\partial$liftを提案しています。固定されたルールを使用する代わりに、$\partial$liftは、出力構造に含まれる候補となる高次セル（higher-order cells）の分布を特定し、パラメータ化することを学習します。

コア・メカニズム

このフレームワークは、反復的かつ階層的なサンプリング・プロセスを通じて動作します。

1. ノード埋め込み: 任意のGNN（例：GIN, GPS）が、入力グラフの各ノードに対して潜在表現（$z_v$）を計算します。
2. 候補の抽出: これらの埋め込みに基づき、モデルは一連の候補セルを定義します。
   • ハイパーグラフの場合: ノード $v$ の埋め込み空間における $k_v$ 個の最近傍ノードを選択することによって、候補が形成されます。ここで、$k_v$ は $z_v$ によってパラメータ化された分布から適応的にサンプリングされます。
   • 細胞複体の場合: プロセスは階層的です。次元 $D=1$ では、候補エッジはハイパーエッジと同様に形成されます。$D \ge 2$ の場合、候補セル（例：2セル）は、ターゲットとなるドメインの階層的制約を遵守しつつ、現在の複体内のサイクル（またはクリーク）から導出されます。
3. 採択/棄却: 各候補セル $C$ に対して、ニューラルネットワーク（通常はMLPまたはDeepSet）が $C$ 内のノット埋め込みのマルチセットを処理し、採択確率 $\phi(z_C)$ を出力します。
4. 確率的サンプリング: ベルヌーイ・サンプリングにより、リフトされた構造にセルが含まれるかどうかが決定されます。勾配は、**ストレートスルー・エスティメータ（straight-through estimator）**を用いて、この離散的なサンプリング・ステップを通じて伝播されます。
5. 反復: 最大次元 $D_{max}$ に達するまで、次元が増加する方向（$D \to D+1$）にプロセスが繰り返されます。

特徴のリフティング

新たに形成された高次セルの特徴量は、構成要素となるノード特徴量のスケーリングされた和の射影によって計算され、これによりリフトされた構造が標準的なTNNメッセージパッシング層と互換性を持つことが保証されます。

主な貢献

1. 汎用的な微分可能フレームワーク: $\partial$liftは、ハイパーグラフ、単体複体、細胞複体を含む複数のトポロジカル・ドメインにわたって、グラフのリフティングをエンドツーエンドで学習することを可能にする汎用的なフレームワークであり、特定のドメインに限定されていた従来の研究を拡張しています。
2. 適応的な構造学習: 静的な手法とは異なり、$\partial$liftは、タスク固有の目的関数と学習されたノード表現に基づいて、高次セルのサイズと組成（例：適応的なハイパーエッジのサイズ）を学習します。
3. 階層的サンプリング: 本手法は、低次元のセルがより高次元のセルの生成に情報を与える反復的なサンプリング手順を導入しており、トポロジカルな対象の階層的な性質を自然にモデル化しています。
4. 統合性: このフレームワークは、既存のTNNパイプラインにシームレスに統合できるように設計されており、学習可能な前処理レイヤーとして機能し、オフザシェルフのTNNアーキテクチャへとデータを供給します。

実験結果

著者らは、グラフ分類（分子特性）およびノード分類タスクにわたる12のデータセットを用い、4つの異なるTNNアーキテクチャ（CWN, CXN, CIN, UniGCNII, UniGIN）を用いて$\partial$liftを評価しました。

• グラフ分類: $\partial$liftは、24回の実験中22回において、静的なリフティング手法（cycle, $k$-hop, $k$-NN, kernel）を一貫して上回りました。最大で**45%**の性能向上を達成しました。例えば、ZINCデータセットにおいて、CWNを使用した場合、$\partial$liftは平均絶対誤差（MAE）を0.46から0.17に減少させました。
• ノード分類: $\partial$liftは、静的なリフティングおよび微分可能なベースラインであるDCMと比較して、同等または優れた性能を達成しました。特に、ヘテロフィリック（異質性が高い）なデータセット（例：Texas）において、DCMを大幅に上回りました。Coraデータセットでは、DCMが80.73%を達成したのに対し、$\partial$liftとTopoTuneを組み合わせたものは86.82%に達しましたが、$\partial$liftとCWNの組み合わせは80.17%となり、DCMよりわずかに低い結果となりました。全体として、$\partial$liftは多くのデータセットで強力な性能を示し、しばしばDCMを大きな差で上回りました。
• 堅牢性: $\partial$liftは、異なるバックボーンGNN（GIN vs. GPS）間で堅牢性を示しましたが、より豊かな表現（GPS）の方が一般に優れた結果をもたらしました。
• 効率性: $\partial$liftは、サンプリングと確率計算のために、静的な手法と比較してわずかな実行時間のオーバーヘッドが発生しますが、計算量としては依然として実行可能です。ハイパーグラフの場合、プロセスは並列化が容易であり、細胞複体の場合、コストはサイクル基底の計算によって支配されますが、管理可能な範囲に留まっています。

意義と主張

本論文は、$\partial$liftがトポロジカル・ディープラーニングにおける根本的な限界、すなわち教師なしでタスクに依存しないリフティング手順への依存に対処していると主張しています。リフティングプロセスを学習可能かつタスクに即したものにすることで、データのトポロジカルな構造をダウンストリームのタスクに合わせて最適化できることを著者らは示しています。

著者らは、彼らのアプローチが大幅な経験的利点をもたらすことを強調しており、これは「最適な」トポロジカル・ドメインがデータの固定された特性ではなく、学習目的の関数であることを示唆しています。さらに、適応的なリフティングは、グラフのボトルネックを横断するショートカットを作成する高次セル（例：2セル）を学習によって導入することで、**オーバースクォッシング（情報の過度な圧縮）**の問題を緩和できると提唱しています。

結論として、現在の実装はTNNライブラリの制約により2次元の細胞複体に限定されていますが、本フレームワークは他のドメイン（例：点群）にも一般化可能であり、完全に適応的なトポロジカル・ディープラーニングに向けた重要な一歩であると述べています。