Hyper-Network Neural Functional Maps for Unsupervised Robust 3D Shape Matching

技術要約：非教師ありロバスト3D形状マッチングのためのハイパーネットワーク・ニューラル・ファンクショナル・マップ

問題提起
非剛体3D形状間において正確な頂点ごとの対応関係を確立することは、コンピュータビジョンおよびグラフィックスにおける基本的な課題であり、特にトポロジーノイズ、部分性（欠損部分）、および非構造化された生のポイントクラウドといった実世界のデータを取り扱う場合に顕著となる。ファンクショナルマップのフレームワークは、スペクトル領域で動作することにより効率的な3D形状マッチングの礎石となってきたが、こうした困難なシナリオにおいては決定的なボトルネックに直面する。標準的なファンクショナルマップは、切り捨てられたスペクトル基底（ラプラス・ベルトラミ固有関数）を整列させるために線形変換に依存している。しかし、部分性やトポロジーノイズによって引き起こされる重大な固有の歪みは、単純な線形演算子ではこれらの基底を正確に整列させることを妨げる。本論文で示されているように、線形変換は、こうした不規則性によって誘発される複雑で非線形なスペクトルシフトをモデル化するには不十分であり、その結果、スペクトルの不整合が生じ、対応関係の復元が失敗するという根本的な問題を引き起こす。

手法
著者らは、硬直的な線形スペクトル変換を柔軟で非線形な**ニューラル・ファンクショナル・マップ（NFM）**に置き換える、非教師あり学習フレームワークを提案している。このアプローチの核となるのは、以下の3つのステージである：

1. 初期線形推定： パイプラインは、標準的な非教師ありディープ・ファンクショナルマップ・ブロック（例：DiffusionNetのようなサイアミーズ特徴抽出器）を用いて、初期の線形ファンクショナルマップ（$C_{NM}$）とソフトな頂点ごとの対応関係を計算することから始まる。
2. ハイパーネットワークによる予測： 従来の精緻化手法のように、形状ペアごとにマップパラメータを個別に最適化するのではなく、著者らはハイパーネットワーク（$H$）を導入している。このネットワークは、初期の線形ファンクショナルマップ（$C_{NM}$）を入力として受け取り（$k \times k$ 行列を単一チャンネルの画像として扱う）、ニューラル・ファンクショナル・マップの重み（$\theta_{NM}$）を動的に予測する。ハイパーネットワークは、自己注意メカニズムを活用するためにVision Transformer (ViT) アーキテクチャを採用しており、これにより異なる周波数帯域にわたるグローバルな依存関係や複雑なスペクトル不整合のパターンを捉えることが可能となる。
3. 非線形整列： 予測された重みは、スキップ接続を備えた軽量な多層パーセプトロン（MLP）を定義する。このNFM（$h_{\theta_{NM}}$ と表記）は、ソースのスペクトル基底に対して非線形変換を行う。これは残差学習プロセスとして定式化されており、NFMは標準的な線形マップを精緻化する：$h_{\theta_{NM}}(\phi_N(x)) = C_{NM}\phi_N(x) + \text{MLP}(\phi_N(x))$。これにより、線形スペクトル整列の構造的利点を維持しつつ、非線形な歪みを補正するための表現力を獲得することができる。
4. 非教師ありスペクトル整列損失： 正解の対応関係なしにハイパーネットワークを訓練するために、新しいスペクトル整列損失が導入されている。この損失は、初期の線形ステップからのソフトな頂点ごとの対応関係を空間的な架け橋として用い、ターゲットのスペクトル基底と非線形変換されたソースのスペクトル基達との間の不一致を最小化する。

主な貢献

• 非教師ありNFMフレームワーク： 線形手法が失敗するシナリオにおいて、柔軟なスペクトル基底の整列を可能にする、非線形的ニューラル・ファンクショナル・マップのための初の非教師あり学習フレームワークを提案した。
• 汎用的なハイパーネットワーク： 標準的なファンクショナルマップを条件として、NFMの重みを動的に予測するハイパーネットワークを導入した。これにより、パラダイムを「ペアごとの最適化」から「予測的学習フレームワーク」へと転換し、入念な初期化や時間のかかる最適化を回避している。
• 新規の損失関数： 非線形変換が、推定された空間的対応関係と一致するようにスペクトル基底を整列させることで、ハイパーネットワークの訓練を促進する、非教師ありスペクトル整列損失を設計した。
• シームレスな統合： 本フレームワークは、コアとなるアーキテクチャを変更することなく、既存の最先端ディープ・ファンクショナルマップ・パイプラインに統合できるように設計されている。

実験結果
広範な実験により、提案手法が多様かつ困難なベンチマークにおいてマッチング精度を大幅に向上させることが示された：

• トポロジーノイズ： TOPKIDSデータセットにおいて、本手法は、固有または外的なアウェアネスを持つベースラインと比較して、平均測地線誤差を大幅に減少させ、硬直的な整列プライアに依存する手法をも凌駕した。
• 部分的形状マッチング： SHREC16 (Cuts and Holes) および Pfaust データセットにおいて、本非教師ありアプローチは、既存の非教師ありベースラインを大幅に上回り、新たなSOTA（State-of-the-Art）を樹立した。特筆すべきは、最も困難なベンチマーク（例：SHREC16 Holes および Pfaust Hard）において、確立された教師あり手法をも上回ったことであり、極端な幾何学的欠損に対する堅牢性を示している。
• マルチモーダル・マッチング： 三角メッシュと非構造化ポイントクラウド間の対応関係を伴うタスク（FAULT, SCAPE, SHREC19）において、本手法は教師ありおよび自己教師ありの両方のベースラインを一貫して上回り、異なる形状表現間での優れた汎用性を示した。
• アブレーション研究： ViTバックボーンがグローバルなスペクトル依存性を捉えるために極めて重要であること、および2層のMLPを用いたNFMが、表現力と正則化の最適なバランスを提供することを実験結果が裏付けている。

意義および主張
本論文は、線形変換の限界を超えてアプローチすることで、標準的なファンクショナルマップでは解決できない複雑な固有の歪みを効果的に受け入れることができると主張している。その意義は、適応的スペクトル整列へのパラダイムシフトにある。すなわち、ハイパーネットワークが、初期の線形マップにエンコードされた歪みのプロファイルに基づいて、非線形な補正を予測することを学習する。著者らは、この手法が、線形近似が崩壊するシナリオにおいて、完全教師ありの代替手法と同等、あるいはそれを上回る精度を実現できる、高品質な対応関係のための堅牢な基盤を提供すると断言している。本研究は、スペクトル処理とディープ非線形アーキテクチャを融合させることが、正解の監督なしに、ロボティクスや医療画像などの分野における3D形状解析のための多用途なソリューションを提供することを示唆している。