MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery

MOTIONGRPO の技術的概要

問題定義
Project Aria などのヘッドマウントデバイス（HMD）信号からの全身 3 次元ヒト運動の復元は、VR/AR アプリケーションにとって依然として重要な課題です。第三者視点のキャプチャとは異なり、第一人称視点の設定では、ユーザーの体がほとんど観測されないため、重度の遮蔽に悩まされます。既存の拡散ベースの手法は、頭部の軌跡を条件とした運動の事前分布を学習することでこの課題に対処していますが、これらの手法はしばしばグローバルな分布一致に依存しており、局所的な関節再構成誤差、空間的な不一致、および足滑り、運動のジッター、地面への貫通などの視覚的アーティファクトを引き起こします。さらに、拡散ベースの運動復元に強化学習（RL）を直接適用することには、特定のボトルネック、「グループ内多様性の低さ」の問題に直面します。運動復元は決定論的な頭部信号によって強く制約されるため、グループ内でサンプリングされた出力は最小限の分散しか示しません。この多様性の欠如は、グループ相対方策最適化（GRPO）における利得計算の標準偏差がゼロに近づく原因となり、勾配の消失と不安定な学習をもたらします。

手法
著者らは、拡散サンプリングプロセスに微細なガイダンスを注入するために RL 事後学習を活用するフレームワーク MOTIONGRPO を提案します。この手法は、以下の 3 つの中核コンポーネントを中心に構成されています：

1. MDP 定式化と GRPO：拡散サンプリングプロセスをマルコフ決定過程（MDP）としてモデル化します。方策は、個別の価値ネットワークを必要とせず、グループごとのスコアから直接価値ベースラインを推定するグループ相対方策最適化（GRPO）を用いて最適化されます。方策 $\pi_\theta$ は、拡散モデルの逆遷移分布に対応します。
2. ハイブリッド報酬メカニズム：最適化を誘導するために、ハイブリッド報酬システムが設計されています：
   • グローバル視覚報酬：軌跡条件付きの知覚モデルが視覚的な妥当性を評価します。このモデルは、オンライン対比学習を通じて訓練され、足滑りやジッターなどのアーティファクトから自然な運動を区別するために、生成された運動と頭部軌跡をペアにしたハードネガティブサンプルを積極的に合成します。
   • 局所関節報酬：明示的なサブ報酬が、関節の位置、回転、速度の精度を強制します。これには、フレームごとの相似変換アライメントの有無で計算されたポーズ報酬、局所的な回転の不一致、および速度の差が含まれます。
3. ノイズ注入戦略：グループ内多様性の低さというボトルネックに対処するため、著者らはノイズ注入戦略を導入します。入力頭部軌跡条件の並進成分に、時間的に平滑化されたパーリンノイズが追加されます。これは疑似的な分布外入力をシミュレートし、拡散方策にわずかにシフトした状態への対応を強います。これにより、モデルの不確実性とサンプリングされたグループ内の出力多様性が増加し、GRPO 利得計算のための非自明な標準偏差が確保され、学習プロセスが安定します。

主な貢献

• MOTIONGRPO フレームワーク：学習された知覚モデルによるグローバルな妥当性と、精密な関節アライメントのための明示的な目的を組み合わせたハイブリッド報酬を最適化する、第一人称視点の運動復元のための RL ベースの事後学習フレームワークの導入。
• 多様性の低さの特定と緩和：決定論的な運動復元タスクに GRPO を適用する際の根本的なボトルネックとして「グループ内多様性の低さ」を特定。出力多様性を高め、勾配の消失を防ぐために、時間的に平滑化されたノイズ注入戦略を提案。
• 最先端のパフォーマンス：既存のベースラインと比較して、関節精度と視覚的忠実度の両方で優れた性能を達成することを示す広範な実験。

実験結果
この手法は AMASS および RICH ベンチマークで評価され、Aria Digital Twins（ADT）データセットでの追加的な定性的検証も行われました。

• 定量的性能：MOTIONGRPO は最先端の結果を達成し、EgoAllo などの競合ベースラインを大幅に上回りました。AMASS データセットでは、平均関節位置誤差（MPJPE）を 124.985 mm から 114.207 mm に、プロクラステスアラインメント MPJPE（PA-MPJPE）を 103.958 mm から 95.512 mm に削減しました。RICH データセットでも同様の改善が観察されました。
• 視覚的品質：このフレームワークは高周波数のアーティファクトを効果的に軽減しました。ジッター、足滑り、地面貫通の指標は、ベースラインに対して一貫して改善を示し、ハイブリッド報酬メカニズムの有効性を確認しました。
• アブレーション研究：
  • 関節報酬を備えたバニラ GRPO は局所精度を向上させましたが、グローバルな物理的妥当性に対処するために視覚報酬が必要でした。
  • パーリンノイズ注入戦略は決定的でした。これがないと、グループ多様性が崩壊し、性能向上は限定的でした。
  • 合成されたハードネガティブサンプルの使用は、真値に対する単純なノイズ注入と比較して、知覚モデルの自然な運動と欠陥のある運動を識別する能力を大幅に向上させました。
• 効率性：事後学習戦略として、MOTIONGRPO は推論時に無視できる計算オーバーヘッドしか課さず、ベースラインの拡散モデルと同等の推論速度と VRAM 使用量を維持しています。

重要性
本論文は、MOTIONGRPO が生成拡散モデルと運動復元に必要な精密な幾何学的制約の間のギャップを埋めることで、重要な進歩を表すと主張しています。新規のノイズ注入戦略を備えた GRPO を適応させることで、このフレームワークは標準的な分布一致の限界と、決定論的復元タスクに内在する勾配消失の問題を克服します。その結果、優れた視覚的妥当性と関節精度を備えた高忠実度の全身運動を復元できるシステムが実現し、VR/AR アプリケーションにおける第一人称視点の運動復元のための堅牢な解決策を提供します。