技術要約: VSMP-IMU

1. 問題提起

ウェアラブルな人間活動認識（HAR）は、特に低リソース、クラス不均衡、および被験者汎化のシナリオにおいて、ラベル付き慣性計測装置（IMU）データの不足によって著しく阻害されています。合成データ生成は、実世界のデータ収集への依存を減らすための潜在的な解決策を提供しますが、既存の手法は根本的なトレードオフに直面しています。

• ビデオ駆動型手法（例：IMUTube）は、視覚的に根拠付けられていますが、ポーズ推定の誤差、オクルージョン（遮蔽）、および視点の曖昧さに敏感です。これらは、ラベルを保持したままの実行のバリエーション（テンポ、振幅など）に対する制御に欠けることがよくあります。
• テキスト駆動型手法（例：IMUGGPT 2.0）は高い制御性を提供しますが、実際の活動がどのように行われるかという特定の時空間パターンに弱く根拠付けられていることが多く、ラベルには一致するものの、ウェアラブルに関連する詳細さを欠いた動きを生成する可能性があります。
• 古典的な信号拡張（例：ジッタリング、スケーリング）は堅牢性を向上させますが、新しい意味論的な運動パターンや、活動の物理的に妥当なバリエーションを導入することはありません。

核心となる課題は、脆弱なフレームレベルのポーズ推定や根拠のないテキストプロンプトに頼ることなく、活動を定義する不変量を保持しながら、運動の実行およびセンサーの実現における制御可能でラベル保持的なバリエーションを可能にする合成IMUデータを生成することです。

2. 手法: VSMP-IMU

著者らは、ビデオ理解と慣性合成の架け橋となる**意味的運動プログラム（Semantic Motion Program: SMP）**と呼ばれる構造化された中間表現を導入するフレームワーク、VSMP-IMUを提案しています。

2.1 意味的運動プログラム (SMP)

SMPは、活動を定義する意味論と実行属性を分離する構造化されたスキーマです。これは以下のフィールドの集合として定義されます：
$$S = \{y, P, D, B, T, A, O, C, U\}$$
ここで：

• 不変量 (固定): 活動ラベル ($y$)、プリミティブ・シーケンス ($P$)、身体部位の関与 ($B$)、および物体/接触情報 ($O$)。これらは活動の同一性を定義します。
• バリアント (拡張可能): プリミティブの持続時間 ($D$)、時間的構成 ($T$)、テンポ、振幅、支配的な側、対称性などの実行属性 ($A$)。これらは、クラスラベルを変更することなく、制御されたバリエーションを可能にします。
• 制約と不確実性: 拡張の制約 ($C$) およびフィールドレベルの不確実性 ($U$) が、安全な摂動をガイドします。

2.2 VSMP-IMU パイプライン

本フレームワークは、以下のステージを通じて動作します：

1. ビデオに基づくSMP抽出: 学習済みの視覚言語モデル（VLM、実装では具体的にGPT-5.3）が、入力された活動ビデオから初期のSMPを抽出します。VLMは、自由形式のテキストではなく、構造化されたフィールド（ラベル、プリミティブ、身体部位、属性、不確実性）を出力するようにプロンプトが設定されます。
2. 意味的精緻化: 抽出されたSMPは、一貫性チェック（ラベルとプリミティブの互換性、身体部位の一貫性、時間的一貫性、物体/接触の一貫性）を受けます。チェックに失敗したフィールドは、修正されるか、高い不確実性を持つものとしてマークされます。
3. 制約付き拡張: 精緻化されたSMPは、$K$ 個のバリアントを生成するために拡張されます。拡張は不確実性条件付きで行われます。不確実性が低い（信頼度が高い）フィールドはより積極的に摂動を与えられ、不確実性が高いフィールドは最小限に変更されるか、あるいは固定されます。決定的なことに、不変量のフィールドは変更されません。
4. 言語化と運動合成: 各拡張されたSMPは、凍結されたテキスト-モーション生成器である HY-Motion と互換性のある自然言語プロンプトに変換されます。HY-Motionは、プロンプトに基づいて3D人間運動シーケンス ($M$) を合成します。
5. IMU合成: 3D運動は、IMUSim を用いて仮想IMU信号に変換されます。仮想センサーは、特定の身体セグメントに、公称構成（バイアス、ノイズ、取り付け）とともに取り付けられます。
6. センサー認識グラウンディング: 合成データと実世界のウェアラブルデータの間のギャップを埋めるために、2つの適応ステップが適用されます：
   • シミュレーション・イン・ザ・ループ最適化: 実データの時間的および多変量統計 ($D_{stat}$) に一致するように、有界な物理的残差（取り付け方位、バイアス、ノイズスケールなど）が最適化されます。
   • ランクベース・グラウンディング: 信号はターゲットデータセットの慣習（軸の順序、符号、重力、単位）に合わせて調整され、その後、ランクベースの分位点マッチング ($D_{rank}$) を用いてターゲットドメインの周辺分布にマッピングされます。
7. 品質フィルタリング: 生成されたサンプルは、運動の妥当性、クラスの忠実度（軽量なHARバリデータを使用）、および冗長性（埋め込みベースの最近傍チェック）に基づいてフィルタリングされます。

3. 主な貢献

1. 意味的運動プログラム (SMP): 活動を定義する不変量と、ラベルを保持したままの実行属性を明示的に分離し、制御されたバリエーションを可能にする、構造化された中間表現の導入。
2. VSMP-IMU フレームワーク: SMP抽出、制約付き拡張、テキスト-モーション合成、およびセンサー認識グラウンディングを統合した、ビデオに基づく合成IMU生成のための完全なパイプライン。
3. 包括的な評価: 5つの公開データセット（MM-Fit, UTD-MHAD, MMAct, PAMAP2, HAD-AW）を用い、標準的なLOPO（Leave-One-Person-Out）、低リソース、およびロングテール（クラス不均衡）の3つの設定下での広範な評価。
4. 制御可能性分析: 要求されたSMP属性（テンポ、振幅、反復回数、プリミティブ持続時間、対称性）が、生成された運動において実現され、かつグラウンディングされたIMU信号において観察可能であるかを評価する、厳密なエンドツーエンドの研究。

4. 結果

4.1 パフォーマンスの向上

• 標準的なLOPO: VSMP-IMUは平均Macro-F1で 78.33% を達成し、Real-only学習（68.56%）を 9.77%、最強の先行する合成ベースライン（IMUTube, 74.30%）を 4.04% 上回りました。
• 低リソース: 減少したトレーニングデータ（例：1%のラベル予算）の設定において、VSMP-IMUはReal-only学習を 18.54%、最強の先行ベースラインを 6.76% 上回りました。
• ロングテール: 過小評価されている（テールの）クラスに対して、VSMP-IMUはReal-only学習を 19.86%、SOTAを 4.76% 上回り、希少な活動に対する優れたカバレッジを実証しました。

4.2 制御可能性の知見

研究では、パイプライン全体（$S \to M \to \text{Raw IMU} \to \text{Grounded IMU}$）における要求された制御の実現度を評価しました：

• テンポと反復回数: 運動レベルでは強い一致を示しましたが（$\rho=0.92$ および $\rho=0.93$）、IMU合成およびグラウンディング後に大幅な減衰を経験しました（$\rho=0.61$）。
• 振幅: 運動レベルでは中程度の制御を示しましたが（$\rho=0.86$）、他の属性と比較して、グラウンディングされたIMUにおいてより良く保持されました（$\rho=0.75$）。
• プリミティブ持続時間: パイプラインを通じてエラーが増加しました（運動でのMAPE 9.8% $\to$ グラウンディングされたIMUでの14.1%）。
• 対称性: データセットに両側センサーがないため、運動レベルのみで評価されました。86%の精度を達成しました。
• ラベル保持: 高い保持率（93.5%–97.1%）が観察され、バリエーションがコアとなる活動の同一性を変えることは稀であることを示しました。

4.3 アブレーション研究

• 構造化 vs 非構造化: 構造化されたSMP表現は、単に一般的なキャプションに属性指示を追加する場合よりも、大きな性能向上（+2.90 Macro-F1）をもたらしました。
• コンポーネントの寄与: センサードメイン適応（シミュレーション・イン・ザ・ループ + ランクベース・グラウンディング）が最も重要なコンポーネントであり、これを除去した際に最大の性能低下を示しました。

5. 意義と主張

本論文は、構造化されたビデオに基づく意味論が、制御可能でウェアラブルに関連する合成センサーデータを生成するための実用的な基礎を提供することを主張しています。活動の同一性と実行のバリエーションを分離することで、VSMP-IMUは純粋な視覚的アプローチと純粋なテキスト的アプローチの両方の限界に対処しています。

著者らは以下を強調しています：

• 本フレームワークは、単純な信号摂動よりも意味のある多様性が価値を持つ低リソースおよびロングテール設定において最も有益です。
• この手法は、周期的なエクササイズを超えて手首主導のジェスチャーや非周期的動作にも成功的に拡張できますが、フルボディのモーションバックエンドの制限により、微細な手の関節運動や物体との接触に依存する活動（例：キャッチング、ノッキング）については、利得が小さくなります。
• 本手法は、完璧な分節化された指の動きや物体の状態遷移を生成することを目的としているのではなく、身体および手首レベルのウェアラブルデータのための構造化された補完として機能します。

この研究は、構造化された中間表現を較正されたシミュレーションパイプラインと組み合わせることが、ウェアラブルコンピューティングにおけるデータ不足を克服するための有望な方向性であることを示唆しています。