技術概要：拡散モデルに基づく逆ソルバーを用いたゼロショット人間ポーズ推定

問題定義

人間ポーズ推定は、限られたセンサーデータから全身の3次元姿勢（頭部、胴体、四肢）を再構築することを目的としている。条件付き拡散モデルを用いた最近の進展は、わずか3つのセンサー（通常は頭部と両手首）から全身ポーズを予測する可能性を示しているが、これらの手法は異なる体型を持つユーザー間での汎化性能が低いという重大な限界に直面している。

カスティージョら（2023）による既存のアプローチは、拡散モデルを関節位置と回転の両方に条件付ける。しかし、関節位置は本質的にスケールに依存しており、ユーザーの骨の長さと体型に応じて大きく変化する。その結果、特定のユーザーのデータで訓練されたモデルは、大規模な微調整なしには異なる体型を持つユーザーに汎化できない。複数の体型で同時に訓練すること（アリアクバリアンら、2022 が試みたように）はモデルの複雑さを増大させ、すべての可能な体型のバリエーションを網羅する保証もない。個別の訓練データを必要とせずに体型のアウトライヤーにも汎化できるアルゴリズムが必要とされている。

手法：InPose

著者らは、ゼロショット汎化を達成するためにポーズ推定を逆問題として定式化する拡散ベースの手法InPoseを提案する。核心的な洞察は、人間ポーズを以下の2つの成分に分解することである：

1. スケールフリーなポーズ：骨格サイズに依存しない関節回転（角度）によって定義される。
2. スケール依存成分：骨の長さと体型に依存する3次元空間における関節位置によって定義される。

1. 逆問題の定式化

位置と回転の両方に拡散モデルを条件付ける（これによりモデルが特定の体型に結合される）のではなく、InPose は生成事前分布を回転測定値のみに条件付ける。

• 事前分布：Conditional Flow Matching (CFG) 拡散モデルを、センサーからのノイズを含む回転測定値（$r_m$）を与えられたスケールフリーなポーズの分布を予測するように訓練する。
• 尤度（ガイダンス）：測定された関節位置（$l_m$）は訓練のための条件入力としてではなく、推論プロセスを導く尤度項として使用される。この項は、ユーザーの特定の骨の長さを与えられたとき、生成されたポーズが観測された位置をどの程度よく説明するかを評価する。

2. 数学的枠組み

目標は、$r_M$ が 22 個のグローバル関節回転を表し、$y_m$ がセンサー測定値を表すとき、事後分布 $p(r_M | y_m)$ からサンプリングすることである。ベイズの定理を用いて、スコア関数を分解する：
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• 事前分布項（$\nabla \log p(r_M^t | r_m)$）：回転のみに条件付けられた CFG ベースのスコアモデルによって学習される。これは、妥当なポーズのスケールフリーな分布を提供する。
• 尤度項（$\nabla \log p(l_m | r_M^t)$）：この項は逆運動学的ガイダンスとして機能する。これは、6D 回転ベクトルを行列に変換する非線形演算子 $D(\cdot)$ と、前方運動学を行う線形演算子 $A$ を通じて、推定された回転を位置にマッピングすることを必要とする。

3. 非線形性に対する擬似逆数ガイダンスによる処理

重要な課題は、尤度項が非線形関数 $D(\cdot)$ を通じてガウス確率変数を伝播させる点にある。拡散モデルに対する標準的な擬似逆数ガイダンス（ΠGDM）は、線形演算子を仮定している。

• 定理 1：著者らは、スコアモデルが 6D 回転ベクトルに対して特定の単位ノルムと直交性の制約を確保する場合、ノイズを含む入力 $r_M^t$ が与えられたとき、変換された回転 $D(r_M^0)$ の分布をガウス分布として近似できることを証明する。
• この近似により、著者らは尤度スコアを解析的に計算でき、演算子が線形である必要なく、ΠGDM を用いてノイズ除去プロセスを導くことが可能になる。

4. パイプライン

推論プロセス（アルゴリズム 1）は、ポーズを反復的に洗練する：

1. CFG 事前分布（回転に条件付け）を用いて、条件付きノイズ除去推定値 $\hat{r}_M^t$ を生成する。
2. ユーザーの特定の骨の長さを組み込み、回転を期待される位置にマッピングする ΠGDM 枠組みを用いて、尤度スコアを計算する。
3. 修正された DDIM サンプリングを用いて事前分布と尤度スコアを組み合わせ、次のタイムステップのポーズ推定値を更新する。

主要な貢献

1. ゼロショット汎化：生成事前分布（回転）とスケール依存測定値（位置）を分離することにより、InPose は再訓練や微調整なしに任意の体型を持つユーザーのポーズを推定できる。
2. 逆ソルバー定式化：本論文は、事前学習された拡散事前分布を、限られた位置測定値から導出された尤度項によって導く逆問題としてポーズ推定を再定義する。
3. 非線形演算子に対するガウス近似：著者らは、6D から行列への回転マッピングを介したガウス変数の伝播を可能にする理論的証明（定理 1）を提供し、ΠGDM をこの特定の逆問題に適用可能にする。
4. 頑健性：この手法は、位置測定ノイズに対する本質的な頑健性を示す。最終推定値において生成事前分布が支配的な役割を果たすため、ノイズの多い位置入力に大きく依存する手法とは異なり、安定している。

実験結果

実験は、BoDiffusion ベースラインと類似のプロトコルを用いてAMASSデータセットで行われた。

• 体型スケーリング：スケーリングされた体型（例：背が高い、または低い）を持つユーザーでテストした際、ベースラインモデル（AvatarJLM、BoDiffusion）は、位置誤差（MPJPE）と回転誤差（MPJRE）の両方で顕著な劣化を示した。対照的に、InPose はすべてのスケーリング因子において一貫した性能を維持し、そのゼロショット能力を実証した。
• 相対的な身体部位の変化：特定の身体部位（例：腕対胴体）が異なってスケーリングされたシナリオにおいて、InPose は MPJPE と上半身位置誤差（UPE）においてベースラインを上回った。これは、逆ガイダンスが変化した骨の長さを正しく考慮したためである。
• ノイズ耐性：位置測定におけるガウスノイズが増加する条件下でも、InPose は安定していたが、ベースラインは顕著に劣化した。
• トレードオフ：
  • InPose は、デフォルトの体型（訓練に使用された形状）においてベースラインをわずかに下回る。これは、ベースラインはその特定の形状に対して直接的な非線形マッピングを学習できるのに対し、InPose は一般的な近似に依存しているためと考えられる。
  • 下半身推定：CFG 入力として頭部の移動変位が含まれていない場合、InPose はルートの移動変位が直接観測されないため、下半身のポーズ推定（高い LPE）に苦戦する。しかし、CFG 入力として頭部位置を追加する（InPose (head)）と、下半身推定が大幅に改善され、さまざまな体型においてすべてのベースラインを上回る。

意義と主張

本論文は、ポーズをスケールフリー成分とスケール依存成分に分解することを活用することで、InPose がゼロショットポーズ予測への道筋を提供すると主張している。その意義は、実用的なウェアラブルセンサー応用における大きなボトルネックである、すべての新規ユーザーに対する個別のデータ収集と再訓練の必要性を排除することにある。

著者らは、以下のような限界を謙虚に認めている：

• 訓練に使用された特定の体型において、この手法はベースラインを上回らない。
• ルートの移動変位が直接組み込まれていないため、下半身推定は事前分布または頭部位置の包含に大きく依存する。
• このアルゴリズムは、推論中にユーザーの骨の長さの正確な知識を必要とする。骨の長さの推定誤差は性能を低下させる可能性がある。

この研究は、将来の研究が物理的制約を通じた下半身モデルの改善と、明示的な較正なしに骨の長さを盲推定する手法の開発に焦点を当てるべきであることを示唆している。