SGMatch: 意味情報に基づく非剛体形状マッチングとフロー正則化

1. 問題設定

3D 形状間の点対点の対応付け（Shape Matching）は、テクスチャ転送やポーズ転送など、コンピュータビジョンおよびグラフィックスの多くの下流タスクの前提条件となる重要な課題です。特に、非剛体変形（Non-rigid deformation）やトポロジカルなノイズ（自己交差や穴など）が存在する状況では、従来の手法には以下の重大な課題がありました。

1. 幾何学的記述子の曖昧さ: 従来の関数マップ（Functional Maps）パイプラインは、主に幾何学的記述子（HKS, WKS など）に依存しています。しかし、対称領域や類似した形状部分において、幾何情報だけでは対応関係の曖昧さ（Ambiguity）を解消できません。
2. スペクトル截断による空間的不整合: 関数マップから高密度な点対点対応を復元する際、低次元のスペクトル基底への投影（截断）により、局所的な空間的不整合（Spatial Inconsistency）が生じやすくなります。これにより、対応関係が滑らかでなくなったり、局所的な誤対応が発生したりします。
3. 非等長変形への弱さ: 強い非等長変形（Non-isometric deformations）やトポロジカルなノイズが存在する場合、既存の深層学習ベースの手法でも性能が大幅に低下します。

2. 提案手法：SGMatch

著者らは、これらの課題を解決するために、SGMatch（Semantic-Guided Non-Rigid Shape Matching）という学習ベースのフレームワークを提案しました。この手法は、視覚基盤モデル（Vision Foundation Models）から得られる意味情報を幾何学的特徴に統合し、さらにフローマッチングに基づく正則化を導入することで、曖昧性と空間的不整合の両方を同時に軽減します。

2.1 主要な構成要素

(1) 意味情報に基づく局所クロスアテンションモジュール (SGLCA)

幾何学的特徴と意味特徴を効果的に融合させるためのモジュールです。

• 特徴抽出:
  • 幾何特徴: DiffusionNet を用いて、メッシュ解像度やサンプリング密度に頑健な幾何学的記述子を抽出します。
  • 意味特徴: 事前学習済みの DINOv2（視覚基盤モデル）を用い、多視点レンダリングから得られた 2D 画像の特徴を 3D 表面に投影（Back-projection）することで、頂点レベルの意味記述子を構築します。
• SGLCA の仕組み:
  • 意味誘導ゲート: 意味特徴を幾何特徴の次元にマッピングし、MLP を通じてチャネルごとのゲート重みを生成します。これにより、意味情報に基づいて幾何特徴のチャネルを適応的に増幅または減衰させます。
  • 局所クロスアテンション: グローバルなアテンションではなく、メッシュ上の局所的な近傍（Neighborhood）にのみアテンションを制限します。これにより、意味情報が局所的な幾何構造を破壊することなく、対称性の曖昧さを解消しつつ、幾何的な連続性を維持します。

(2) 条件付きフローマッチング正則化 (Conditional Flow Matching Regularization)

復元された対応関係の空間的な滑らかさを促進するための正則化項です。

• スペクトル熱拡散: 融合された特徴に対してスペクトル熱拡散（Spectral Heat Diffusion）を適用し、局所ノイズを平滑化して特徴輸送の安定性を高めます。
• フローマッチングの定式化: ソース形状とターゲット形状の対応する特徴間の連続的な輸送経路を仮定し、時間変化する速度場（Velocity Field）を学習します。
  • 線形補間経路 $z_t = (1-t)z_0 + tz_1$ を定義し、学習された速度場 $v_\theta$ がこの経路に沿って一貫しているように制約します。
  • 目的: 空間的に隣接する頂点が、発散しない輸送経路をたどるようにすることで、対応関係の急激な局所変化を抑制し、滑らかな対応マップを導出します。
• 重み付け目的関数: 軟対応行列（Soft Correspondence Matrix）の不確実性を考慮し、類似度に基づいた重要度サンプリング（Importance Sampling）を行い、外れ値に強い Charbonnier 損失を用いて最適化を行います。

2.2 学習目的関数

全体の損失関数は、以下の 2 つの主要な項から構成されます。

1. スペクトル損失 ($L_{spectral}$): 関数マップの構造的正則化（双射性、直交性）と、関数マップと点対写像の整合性を保証する項。
2. CFM 正則化項 ($L_{cfm}$): 上記のフローマッチングに基づく滑らかさの制約。

3. 主要な貢献

1. SGMatch の提案: 曖昧性と空間的不整合の両方を軽減する、新しい教師なし非剛体形状マッチングフレームワーク。
2. SGLCA モジュール: 幾何学的特徴に意味的文脈を統合しつつ、局所的な構造連続性を維持する新しいアテンション機構。
3. CFM 正則化の導入: 復元された対応関係の空間的滑らかさを促進するための、条件付きフローマッチングに基づく新しい正則化目的関数。
4. 高性能な実験結果: 非等長変形やトポロジカルノイズを含む多様なベンチマークにおいて、既存の最先端手法（SOTA）を上回る一貫した性能向上を実現。

4. 実験結果

複数の標準的なベンチマークデータセット（FAUST, SCAPE, SHREC'19, SMAL, DT4D-H, TOPKIDS）を用いた評価が行われました。

• 準等長形状マッチング (Near-isometric): FAUST や SCAPE などのデータセットでは、既存の手法と同等かそれ以上の性能を示しました。特に SHREC'19（異なる体型や関節を持つ人間形状）では、クロスデータセットの一般化能力において最良の結果を記録しました。
• 非等長形状マッチング (Non-isometric): SMAL（動物形状）や DT4D-H（人間形状）において、既存の教師あり・教師なし手法を大幅に上回る性能を示しました。SMAL 全体では 24% 以上の改善、DT4D-H のクラス間マッチングでも最良の性能を達成しました。これは、幾何記述子だけでは困難なクラス間対応において、意味特徴が有効に機能したことを示しています。
• トポロジカルノイズへの頑健性: TOPKIDS データセット（自己交差や穴を持つ形状）において、平均測地線誤差を 34% 改善し、既存手法を凌駕しました。意味情報が幾何記述子が信頼できなくなった状況での補完情報として機能したことが確認されました。
• 対応関係の滑らかさ: 等角歪み（Conformal Distortion）の指標を用いた評価において、SGMatch はすべてのベンチマークでより低い歪みを示し、局所的な不整合が少なく、滑らかな対応マップを生成していることが確認されました。

5. 意義と結論

SGMatch は、3D 形状マッチングの分野において、「意味情報（Semantic）」と「幾何情報（Geometry）」の統合、および**「フローベースの正則化（Flow Regularization）」**という 2 つの新しい視点を導入しました。

• 意義: 従来の幾何学的アプローチの限界（対称性の曖昧さ、トポロジカルノイズへの弱さ）を、大規模視覚モデルの汎用的な意味知識と、連続的な輸送理論に基づく正則化によって克服しました。
• 限界と将来展望: 現在のフレームワークは部分的なマッチング（Partial Matching）を明示的に扱っておらず、意味特徴の提供元である事前学習モデルのドメイン適応能力に依存しています。将来的には、部分的な対応付けへの拡張や、学習済み意味表現の適応戦略の探求が課題となります。

総じて、SGMatch は非剛体 3D 形状の対応付けにおいて、特に困難な変形やノイズ条件下で高い精度と滑らかさを両立させる画期的な手法として位置づけられます。