技術概要：MoSA – 連続体力学における実世界からシミュレーションへのギャップを緩和するための運動制約応力適応

1. 問題定義

視覚的観測から実世界の力学を学習することは、ロボティクス、グラフィックス、および具現化エージェントにとって極めて重要である。支配的なパラダイムは、古典的モデル内の物理パラメータを推定することによるシミュレーターの較正を含む。しかし、これらのモデルは通常、材料が均質かつ等方性であると仮定している。実際には、物体は内部構造、製造、または摩耗により、軽度の異方性と不均質性を示すことがよくある。支配的な等方性の「バックボーン」が較正された後、これらの残差効果が実世界からシミュレーションへのギャップを埋めるための主要なボトルネックとなる。

ニューラルネットワークを用いて力学をエンドツーエンドで学習する代替アプローチは、しばしば強力な物理的事前知識を破棄する。これは、ネットワークが支配的な物理学を再学習すると同時に微妙な残差を捉える必要があるため、データ効率の低さ、不安定な学習、および過学習をもたらす。さらに、ビデオベースの学習における教師信号は間接的（ピクセル再構成のみに依存）であることが多く、異なる 3 変形が類似した 2 次元外観を生み出す可能性があるため、最適化が不適切な条件となる。

2. 手法

著者らは、物理的帰納バイアスを保持しつつ、これらの残差効果を対象とするフレームワークであるMoSA（運動制約応力適応）を提案する。

2.1. 構造化された漸進的応力適応

ゼロから完全な力学をモデル化するのではなく、MoSA は等方性構成則を物理的事前知識として扱い、それを補正するための構造化された残差応力適演算子を学習する。

• 物理情報ネットワーク: フレームワークは、現在の材料状態（変形勾配、事前応力、位置）に基づいて、等方性応力を異方性構成にマッピングする射影関数を定義する。
• 漸進的補正: 補正は、漸進的に適用される 3 つの学習可能な項に分解される。
  1. 前線形項 ($L_{\Phi,pre}$): 事前知識の軽微な欠陥に対処するため、等方性応力をわずかに調整する補完行列。
  2. 再分配項 ($C_{\Psi}$): 応力成分を再スケーリングし再分配する 4 階テンソル（4 つの 2 階テンソル $C_x, C_y, C_z, C_{xyz}$ に分解）。これはマイクロプレーンベースの応力再分配メカニズムによって制約され、特定のマイクロプレーン上の応力調整がその平面上にある成分のみに依存することを保証する。これにより方向性異方性を捉える。
  3. 後線形項 ($L_{\Theta,post}$): 再分配後に適用される最終的な線形調整。
• 不均質性のモデル化: 各粒子に独立したパラメータを割り当てるのではなく、MoSA は単一のグローバル材料パラメータと連続的な陰関数場 ($\eta(x)$) を推定して局所的な変動をモデル化する。これにより、粒子ごとのパラメータ化の不連続性なしに、滑らかで物理的に整合性のある空間的変動を確保する。

2.2. 運動制約最適化戦略

ビデオベースの教師信号の不適切な条件という性質に対処するため、MoSA は動的 3 次元再構成から導出された高次制約を導入する。

• 2 段階再構成: この手法は、まず静的幾何学を再構成し、その上で動的 3 次元ガウシアンスプラッティング（3DGS）モデルを訓練する。これにより、静的幾何学の誤差を動的変形の学習から分離する。
• 微分教師信号: 標準的な画像再構成損失に加えて、フレームワークは変形場の時間微分と空間微分を教師信号とする。
  • フロー損失 ($L_{flow}$): ガウシアンフローマップを使用して粒子速度（時間微分）を教師信号とする。
  • スケールおよび回転正則化 ($L_s, L_r$): 特異値分解（SVD）を通じて変形勾配 ($F$) を分解し、スケーリング成分と回転成分を個別に教師信号とする。これにより、変形場の空間微分に対する直接的な制約を提供する。
• 総損失: 最適化は、画像/マスク再構成、フロー、変形正則化項、および不均質性制約を組み合わせ、総誤差を最小化する。

3. 主要な貢献

1. 物理情報に基づく残差応力適応: 有界な残差演算子で等方性構成事前知識を拡張するモジュール。これは、軽度の異方性と不均質性を捉えるために、構造化された漸進的な方法で事前応力応答を明示的に補正し、物理的解釈可能性を保持しながら忠実度を向上させる。
2. 運動制約最適化: 動的 3 次元再構成からの運動の手がかりを活用して変形場の時間微分および空間微分を教師信号とする戦略。これはピクセル再構成のみよりも直接的な制約を提供し、データ効率を向上させ、過学習を軽減する。
3. 実証的検証: 合成データおよび実世界データセットを用いた実験により、MoSA が最先端のベースライン（PAC-NeRF、GIC、DEL、NeuMA など）と比較して、優れた精度、汎化性、および頑健性を達成することが示された。重要なのは、モデルがノイズを過学習するのではなく、物理的に意味のある残差異方性を学習することである。

4. 実験結果

• 合成データ (PAC-NeRF): MoSA は、3 次元幾何学的グラウンディング（チャーファー距離およびアースムーバー距離で測定）およびレンダリング品質（PSNR/SSIM）において、全体的に最良のパフォーマンスを達成した。これは、真値が等方性である場合、残差補正が偽の異方性を導入しないことを証明している。
• 実世界データ: 弾性、弾塑性、および塑性材料を含む 7 個の物体のカスタム多視点データセットにおいて、MoSA は未見の初期状態への汎化において一貫してベースラインを上回った。完全なニューラル手法（DEL）は過学習し、システム同定手法（GIC）は残差異方性に直面して苦労した。
• ダウンストリームタスク（ロボット操作）: 学習された力学は、シミュレーションから実世界への転移のためのポリシー訓練に使用された。MoSA の力学で訓練されたポリシーは、純粋な等方性事前知識で訓練されたものと比較して、有意に高い成功率を達成した（弾性ウサギの配置：68% 対 42%；タワーの吊り下げ：82% 対 55%）。
• アブレーション研究: 応力再分配項 ($C$) または不均質性モジュールを除去すると、一貫してパフォーマンスが低下し、異方性と空間的変動の両方をモデル化することの必要性が確認された。運動制約も、安定した学習にとって決定的であることが示された。

5. 意義と主張

本論文は、日常的な変形可能な物体に対する実世界からシミュレーションへのギャップの縮小は、支配的な等方性バックボーンを再学習することよりも、標準的なシミュレーターが無視する**軽微だが体系的な連続体残差効果（異方性と不均質性）**を捉えることにかかっていると主張する。

学習を明示的に残差応力補正に制約し、運動の手がかりによる教師信号を強化することにより、MoSA は以下を実現する。

• より良い安定性と転移: 力学指標およびダウンストリームのロボット操作タスクの両方においてパフォーマンスが向上。
• データ効率: 強力な物理的事前知識を活用することで、限られた実世界データから複雑な力学を学習する能力。
• 解釈可能性: 方向性ヤコビアン分析によって検証されるように、モデルはブラックボックスとして機能するのではなく、物理的に意味のある異方性を学習する。

著者らは、強力な物理的バックボーンと標的型残差モデル化を組み合わせることが、信頼性の高い物理ベースのデジタルツインの実世界展開に向けたスケーラブルな道であると結論付けている。