技術概要：動的点雲のための拡散マスク付き事前学習（DiMP）

問題定義

動的点雲の事前学習は、現在、マスク付き再構成目的関数によって支配されています。しかし、既存の手法は、動的シーケンスに対する効果的な表現学習を妨げる 2 つの決定的な欠陥に悩まされています。

1. 時空間位置情報の漏洩: 既存のアプローチ（MaST-Pre、M2PSC など）は、デコーダの位置エンベディングとして、真のチューブ中心座標を直接注入します。これにより空間的事前知識が漏洩し、デコーダが時空間文脈から位置を推論するのではなく、局所的な幾何学的検索に依存するようになります。
2. 決定論的運動監督: 現在の手法は、決定論的代理ターゲット（平均回帰など）を用いてフレーム間運動を監督します。これにより、妥当な軌道の多モーダル分布が単一の条件付き平均に収束してしまいます。その結果、モデルは、平均軌道は類似しているが不確実性や高次統計量が異なる動作クラスを区別する際にしばしば決定的に重要な分布構造（分散と形状）を破棄してしまいます。

手法：拡散マスク付き事前学習（DiMP）

DiMP は、両方の欠陥を同時に解決するために、ノイズ除去拡散確率モデル（DDPM）をマスク付きオートエンコーディングパラダイムに統合した統一された自己教師ありフレームワークです。このフレームワークは 2 つの段階で動作します。

1. 段階 1：トークン符号化と時空間中心ノイズ除去

• マスク付きチューブトークン化: 動的点雲は時空間チューブに分割されます。チューブの大部分がマスクされます。
• 漏洩のない中心拡散: 静的な手法がすべてのパッチを汚染するのとは異なり、DiMP は拡散ノイズをマスクされたチューブ中心（$C^m_0$）に排他的に適用します。可視チューブ中心（$C^v_0$）はノイズフリーのまま保たれ、クリーンな時間的アンカーとして機能します。
• デュアルストリームエンコーダ: 共有エンコーダは、可視トークンを自己注意を通じて処理し、マスクされたトークンを可視文脈に対するクロス注意を通じて処理します。
• 中心予測: 中心予測器ヘッドは、マスクされたトークンを予測されたクリーンな中心（$\hat{C}^m_0$）にマッピングします。これは真値に対する平均二乗誤差（MSE）によって監督されます。可視文脈に条件付けられたノイズ入力から中心を予測することにより、モデルは位置情報の漏洩なしに堅牢な位置表現を学習します。

2. 段階 2：幾何学的再構成と運動認識拡散

• 非対称デコーダ: デコーダは、可視エンコーダ特徴、ノイズの付いたマスク済みコンテンツ埋め込み、クリーンな可視中心から導出された位置エンベディング、およびストップグラディエント付きの予測マスク済み中心（$sg(\hat{C}^m_0)$）を組み合わせます。ストップグラディエントにより、中心予測器は再構成損失や運動損失ではなく、中心損失のみによって更新されます。
• 幾何学的再構成: デコーダ出力は、完全な点雲幾何を回復するためのフレームごとのチャンファー距離再構成（$L_{geo}$）を監督します。
• 運動拡散ブランチ:
  • ターゲット: フレーム間変位ベクトル（$\Delta p$）は、固定された対応モデル（CorrNet3D）を使用してオフラインで構築されます。
  • プロセス: 別の拡散プロセスが、これらの変位ベクトルを階層化されたタイムステップ（$h$ 間隔）で汚染します。
  • 目的: デコーダ出力（$Z_{dec}$）と拡散タイムステップに条件付けられたノイズ予測器ヘッドが、注入されたノイズを予測します（$L_{mot}$）。
  • 意義: これは運動監督をノイズ予測タスクとして再定式化し、エンコーダが単一の決定論的平均ではなく、運動軌道の完全な条件付き分布を内部化することを促します。

総合的な訓練目的

3 つの損失は重み付き総和によって統合されます。
$$L = L_{geo} + \gamma_{cen} L_{cen} + \lambda_{mot} L_{mot}$$
事前学習後、デコーダと拡散ヘッドは破棄され、下流の微調整のためにエンコーダのみが保持されます。

主要な貢献

1. 理論的洞察: 本論文は、決定論的運動監督が体系的に、多モーダル軌道不確実性にとって決定的に重要な分布構造を破棄することを形式的に論じます。また、効果的な分布的運動モデリングへの前提条件としての障壁として位置情報の漏洩を特定しています。
2. DiMP フレームワーク: 動的点雲のための最初の拡散ベースの事前学習フレームワークです。これは、変分代理の下で運動軌道の完全な条件付き分布をターゲットとするために、フレーム間変位監督を DDPM ノイズ予測タスクとして再定式化します。
3. 中心拡散戦略: ノイズ注入をマスクされたチューブ中心に排他的に限定する新しい戦略です。可視座標がクリーンなアンカーとして残るため、時間的推論を損なうことなく位置情報の漏洩を解決します。
4. 実証的性能: 広範な実験により、複数のベンチマークにおいて既存の手法に一貫した改善がもたらされることが示されました。

実験結果

DiMP は、動作セグメンテーション、意味セグメンテーション、動作認識タスクで評価されました。

• 4D 動作セグメンテーション（HOI4D）: DiMP は、単一のバックボーンおよび既存の事前学習手法に対して大幅な改善を達成しました。
  • P4Transformer バックボーンにおいて、F1@50 を**+22.57%（65.9 から 80.77 へ）、編集距離を+11.80%**改善しました。
  • より強力な PPTr バックボーンにおいて、F1@50 を**+11.93%**改善しました。
• 4D 意味セグメンテーション（HOI4D）: DiMP はすべての既存手法を上回り、47.6% の mIoU（P4Transformer ベースラインより +7.5）を達成しました。これは、学習された表現が微細な境界幾何を捉えていることを示しています。
• 3D 動作認識（MSRAction-3D）: DiMP は、PST-Transformer バックボーンで95.51%、P4Transformer で**93.97%**の精度を達成し、決定論的運動目的関数を上回りました。
• オンライン推論: 因果的に制約されたオンライン推論（過去文脈のみから未来の運動を予測）において、DiMP は特に顕著な改善を示し、P4Transformer ベースラインに対して F1@50 を**+27.20%**改善しました。これは、将来のフレームが利用できない場合、学習された運動分布が強力な予測事前知識を提供することを示唆しています。
• アブレーション研究:
  • 位置情報の漏洩: 可視中心を汚染すること（全中心拡散）は性能を低下させ、可視座標をクリーンに保つ必要性を確認しました。
  • 前提条件としての役割: 運動拡散単独では無視できる程度の改善しか得られませんでした。効果的な運動モデリングを可能にするためには、中心拡散が必要でした。
  • 階層化サンプリング: 複数の階層化タイムステップ（$h=4$）を使用することが、微細な局所回復（小 $t$）と粗い大域セマンティクス（大 $t$）の間の最良のトレードオフを提供しました。

意義と主張

本論文は、DiMP が動的点雲の事前学習のために DDPM の完全な分布モデリング能力を活用する最初のフレームワークであると主張しています。その意義は以下の点にあります。

• 多様性の解決: 完全な条件付き分布をターゲットにすることで、DiMP は平均軌道が同一だが軌道の分散と形状が異なる動作クラスを区別できます。これは決定論的回帰には欠けている能力です。
• 位置情報の漏洩の解決: 真の事前知識を漏洩させることなく文脈からマスクされた位置を推論するメカニズムを提供し、運動拡散ブランチが真の分布学習器として機能するために不可欠です。
• 堅牢性: この手法は異なるバックボーンやタスクにわたって堅牢性を示し、特に将来の運動の分布をモデル化することが決定的に重要なオンライン推論シナリオで特に強力な性能を発揮します。

著者は、バックボーンの効率性に関する限界を認めており、実装が二次的な自己注意複雑性と線形複雑性アーキテクチャに比べて低いオンラインスループットを持つ P4Transformer に依存していることを指摘しています。彼らは、動的点雲の分布表現学習に関する将来の研究のための参照ベースラインとして DiMP を位置付けています。