技術要約：群対称性下におけるフローマッチングを用いた等変潜在アライメント

問題提起

本論文は、幾何学を考慮した生成モデルおよび新規視点合成（NVS）における**等変表現学習（ERL）の決定的な限界に対処している。ERLは、群作用（例：$SO(2)$または$SO(3)$ における回転）が解析的かつ予測可能に作用する潜在空間を構築することを目指しているが、著者らは潜在的ミスアライメント（latent misalignment）**と呼ばれる現象を特定している。

実際には、エンコーダ $\Phi$ が等変性の目的関数を用いて訓練されていても、解析的に変換された潜在表現 $\rho(g)\Phi(x)$（ここで $\rho(g)$ は既知の群表現）は、変換された画像の経験的にエンコードされた潜在表現 $\Phi(g \circ x)$ から乖離することが多い。この不一致は以下の理由により発生する：

1. 不完全な最適化： エンコーダが、物体のコンテンツと対称性の構造を同時に圧縮するという複雑さのために、完全に等変な写像を学習できていない。
2. エイリアシング： 標準的なアーキテクチャ（CNN、Transformer）は、離散的なサンプリングや帯域制限のないフィルタを通じてエイリアシングを導入し、持続的な等変誤差を引き起こす。
3. マルチモーダルなターゲット： 不完全なエンコーダは、異なる入力を同じ潜在変数にマップする場合があり、これにより、群作用が適用された際に決定論的な点対点の写像では解決できないマルチモーダルなターゲット分布が生じる。

このミスアライメントは、変換の下で蓄積され、新規視点合成の幾何学的整合性と視覚的忠実度を低下させる。

手法：残差潜在フロー（Residual Latent Flow: RLF）

群論的な事前知識を破棄することなくこのミスアライメントを修正するために、著者らはフローマッチングに基づくフレームワークである**残差潜在フロー（RLF）**を提案している。

コア概念

解析的に変換された潜在表現 $\rho(g)\Phi(x)$ を最終的なグラウンドトゥルースとして扱うのではなく、これを一次近似として扱う。そして、この近似的な潜在表現を、経験的に正しいターゲット潜在表現 $\Phi(g \circ x)$ へと輸送する連続的なフロー（時間依存の微分同相写像）を学習する。

問題定式化

タスクは条件付き分布輸送問題として定式化される：

• ソース ($z_0$): 解析的に変換された潜在表現、$z_0 = \rho(g)\Phi(x)$。
• ターゲット ($z_1$): 変換された画像の真のエンコードされた潜在表現、$z_1 = \Phi(g \circ x)$。
• 制約: 標準的なフローマッチングが独立した分布間を輸送するのに対し、RLFは同一のオブジェクト $(x, g)$ から導出された特定のペア $z_1$ へと $z_0$ を輸送しなければならない。これには、独立した周辺分布ではなく、条件付き結合分布 $\pi_{0,1}(z_0, z_1 | x, g)$ をモデル化する必要がある。

学習手順

本手法は3段階の学習パイプラインに従う：

1. ベースライン・オートエンコーダの学習： 等変性と再構成誤差を最小化するために、標準的なERL損失（式2）を用いてエンコーダ $\Phi$ とデコーダ $\Psi$ を学習する。
2. RLFの学習： エンコーダを凍結する。$z_0$ から $z_1$ へと輸送する速度場 $v_\theta$ を学習するためにフローモデルを訓練する。目的関数は、学習された速度と条件付き速度場（$z_0$ と $z_1$ の線形補間）との差を最小化する：
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   これにより、モデルは不完全なエンコーダから生じるターゲット分布のマルチモーダルな性質を扱うことが可能になる。
3. デコーダの微調整： フローによって補正された潜在変数に対してデコーダ $\Psi$ を微調整し、シフトした潜在分布に適応させることで、高品質な再構成を保証する。

フローモデルのアーキテクチャは群によって異なり、$SO(2)$ の場合はTransformerベース、$SO(3)$ の場合は（Wigner D行列ブロックの正方格子構造を利用した）U-Netベースとなる。

主な貢献

1. 潜在的ミスアライメントの特定： 本論文は、ERLにおける解析的に回転された潜在表現と経験的にエンコードされた潜在表現の間の乖離を形式的に定義・分析し、それがどのように幾何学的整合性を損なうかを実証している。
2. 残差潜在フロー・フレームワーク： 著者らは、フローマッチングを用いた新しい潜在補正メカニズムを提案している。標準的なフローマッチングがノイズからデータへと輸送するのに対し、RLFは群論的な近似から経験的なターゲットへと輸送することで、エンコーダの不完全さを補正しつつ群の構造を保持する。
3. 実証的検証： 本手法は、$SO(2)$および$SO(3)$ 対称性を持つ複数のデータセット（合成データおよび実画像ベンチマーク）において検証され、潜在誤差の顕著な減少と新規視点合成品質の向上を示している。

実験結果

著者らは、合成データ（ABO-Material, ModelNet10-SO(3), ComplexBRDFs）および実画像（RotatedMNIST, SmallNORB）のベンチマークを含む6つのデータセットでRLFを評価した。

• 新規視点合成 (NVS): RLFは、イン分布（in-distribution）およびアウトオブ分布（OOD）の両方の設定において、ベースライン（NFT, Spatial-VAE, LGAを含む）を一貫して上回った。
• 指標:
  • 潜在誤差: 予測された潜在変数とグラウンドトゥルースの潜在変数の間の $L_2$ 距離の顕著な減少。
  • 角度誤差: 予測された回転角のグラウンドトゥルースからの偏差の、特に $SO(3)$ タスクにおける大幅な減少。
  • 視覚的忠実度: PSNRおよびLPIPSの向上。定性的結果では、回転中の背景や細部の保持において、ベースラインがしばしば破損やアーティファクトを示すのに対し、RLFはより優れた保持能力を示した。
• 汎化性能: 手法は、様々な回転角や未知のオブジェクトに対して頑健性を示し、フロー補正が等変な関係を効果的に一般化していることを証明した。

意義と主張

本論文は、残差潜在フローが、既存の等変モデルを悩ませている「潜在的ミスアライメント」問題に対する実用的な解決策を提供すると主張している。群作用を一次近似として扱い、残差補正を学習することで、本手法は以下のことを実現する：

• 整合性の回復： 潜在空間が、標準的なERL訓練単独よりも、基礎となる群の対称性に、より忠実に従うように強制する。
• 忠実度の向上： 特に、遮蔽（オクルージョン）や幾何学的推論が必要となる困難な面外回転シナリオにおいて、新規視点合成の品質を直接的に向上させる。
• 構造の保持： ニューラルネットワーク・アーキテクチャの実際的な限界を補正しつつ、群の性質（例：Wigner D行列）の解釈可能性と理論的保証を維持する。

著者らは、手法がアライメントを大幅に改善する一方で、最終的な画像品質はデコーダの容量に依存することを指摘している。また、このフレームワークをより一般的な変換（例：$SE(3)$、連動運動）へ拡張することや、安定したエンドツーエンドの学習戦略を開発することを重要な将来の方向性として挙げている。