Encoding the Euler Characteristic Transform

技術要約：オイラー標数変換（ECT）のエンコーディング

問題提起
オイラー標数変換（ECT）は、複数のサンプリング方向に対して計算されたオイラー標数曲線（ECC）を集約する、強力で単射的な形状記述子である。微分可能なECT（DECT）はエンドツーエンドの学習を可能にしたが、ECTをニューラルネットワークにどのようにエンコードするかという点において、決定的なボトルネックが依然として残っている。従来、ECCは各方向（$D$）に対して高さの閾値（$H$）に基づく固定グリッド上に離散化され、$D \times H$ の行列として扱われてきた。この離散化は、解像度のハイパーパラメータ（$H$）を導入することになり、これはデータセットごとに調整が必要なトレードオフ（表現力と計算コストの間の関係）を生じさせる。さらに、一様な離散化は、ECCのすべての位相情報は本質的に基礎となるセル複体の頂点に帰属しているにもかかわらず、急激に変化する領域と平坦な領域に対して同じ解像度を強制してしまう。

手法
著者らは、離散化グリッドを必要としない、ECTの連続的エンコーディングを提案する。ECC関数を固定の高さでサンプリングする代わりに、この手法では、与えられた方向 $w_i$ に対して各頂点 $v$ に帰属する正味のオイラー標数の変化（$\Delta\chi$）を記録する。

• トークン化: セル複体と $N$ 個の頂点および方向 $w_i$ が与えられたとき、各セルのフィルタリング高さはその「責任頂点」（最大投影を持つ頂点）によって決定される。正味の変化 $\Delta\chi(v, w_i)$ は、その頂点によって定義される閾値でセルがフィルタリングに参入する際の符号付き寄与を合計することで計算される。正味の変化がゼロである頂点は破棄され、結果としてスパースなトークン列 $\{(\langle v, w_i \rangle, \Delta\chi(v, w_i))\}$ が得られる。
• ECCエンコーダ: 小規模なトランスフォーマーエンコーダがこれらのトークン列を各方向ごとに処理し、可変長のシーケンスを固定長の特性ベクトル（$d_{out}$）へとマッピングする。これにより、従来の離散化された行列は $D \times d_{out}$ の特徴行列へと置き換えられる。
• 表現アーキテクチャ: 本研究では、構造に依存しないベースラインから等変モデルに至るまで、6つの異なるアーキテクチャを評価している：
  1. フィードフォワードネットワーク: 行列をフラット化する。構造的な帰納バイアスを持たない。
  2. Deep Sets: 方向を順序のない集合として扱う（置換不変）。
  3. 2D畳み込み: 行列を画像として扱う。回転等変性を保持するために、方向軸に沿って循環パディングを使用する。
  4. 1D畳み込み: 循環パディングを用いて、方向軸に沿って畳み込みを適用する。
  5. 1D複素畳み込み: 位相エンコーディングを通じて回転等変性を本質的に保持するために、ECCを複素領域で表現する。
  6. ハイブリッド: 1D畳み込みと全結合層を組み合わせる。

主な貢献

1. 連続的ECT表現: グリッドに依存せず、正確かつ簡潔なエンコーディングの導入。これは関数の値をサンプリングするのではなく、頂点における位相的変化を記録する。これにより、解像度のハイパーパラメータを排除し、本質的に微分可能となる。
2. 体系的なアーキテクチャ研究: 異なる帰納バイアス（構造に依存しないものから回転等変なものまで）を網羅する6つのニューラルアーキテクチャの包括的な評価を行い、方向情報の集約に最適となる方法を特定した。
3. 実証的ベンチマーク: 点群、グラフ、立方体複体、メッシュ（2Dおよび3D）を含む、多様なデータタイプをカバーする6つの分類ベンチマークによる評価。

結果

• エンコーディングの影響: 連続的エンコーディングは、最良の離散的エンコーディングと比較して、6つのデータセットのうち5つで分類精度を向上させた。最も顕著な利得は、Letter-high (+0.120) および SwissBuildings (+0.094) で観察された。
• トークン化 vs 容量: コントロール実験により、性能の向上はトランスフォーマーの追加容量によるものではなく、トークン化自体に起因することが示された。離散化された ECTに対してトランスフォーマーを適用しても、一貫した改善は見られなかった。
• アーキテクチャの相互作用: 表現アーキテクチャの選択は、エンコーディングの選択よりも重要ではなかったが、以下のような相互作用が観察された：
  • 連続的エンコーディングの下では、単純なフィードフォワードネットワークが6つのデータセットのうち5つで最強のパフォーマンスを示した。
  • 離散的エンコーディングの下では、フィードフォワードネットワークは不安定（例：SwissBuildings で崩壊）であったが、畳み込みアーキテクチャ（特に1Dおよびハイブリッド）の方がより堅牢であった。
  • 連続的エンコーディングはより「学習しやすい」入力を提供し、フィードフォワードネットワークと畳み込みモデルの間の性能差を縮小させた。
• 等変性: 回転等変アーキテクチャ（1D/複素畳み込み）は対称性を保持するように設計されているが、標準的な向きを持つデータセット（Fashion-MNIST派生など）ではフィードフォワードネットワークがより優れた性能を示すことが多く、厳密な等変性が常に最適な帰納バイアスであるとは限らないことを示唆している。

意義
本論文は、ECTのエンコーディングの方法が、それを処理するために使用される特定のニューラルアーキテクチャよりも、ダウンストリームの性能における重要な要因であると主張している。グリッドベースの離散的な表現から、頂点ベースの連続的なトークン化へと移行することで、複雑な等変アーキテクチャに頼ることなく、高い精度と学習の安定性を実現している。連続的エンコーディングは、グリッド解像度に関連するハイパーパラメータ調整を効果的に回避し、ニューラル処理に適した、トランスフォームの正確な表現を提供する。この研究は、グローバルな形状記述子にとって、入力表現の忠実度（エンコーディング）が、モデルの帰納バイアスの複雑さよりも重要であることを示唆している。