技術要約: SocioGesture

問題提起

人間とロボットの相互作用（HRI）においては、ロボットが明示的な言語コマンドだけでなく、招待、拒絶、あるいは「手が離せない」という合図といった、暗黙的な社会的キュー（手がかり）を解釈できることが求められます。これらのジェスチャを誤解することは、社会的に不適切な、あるいは安全性を損なう行動（例：「ストップ」の合図が出ているのに近づいてしまう等）につながる可能性があります。しかし、実世界への展開においてこれらのジェスチャを認識するには、オフラインのビデオ分類とは異なる独自の課題が存在します。

1. ノイズの多い知覚: ロボットは、部分的な遮蔽、視点の変化、照明の変化、およびキーポイントの一時的な消失（特に手や腕といった小さく重要な部位に影響）の下で動作します。
2. レイテンシの制約: インタラクションの流れは応答の遅延によって中断されるため、システムはエッジデバイス上でリアルタイムに動作する必要があります。
3. 展開におけるオープンエンド性: 実用的なシステムは、安全性を損なうことなく、現場で遭遇する不確実または未知のジェスタイルの変化に適応しなければなりません。
4. 相反する要件: 豊かなビデオ推論が可能なモデルは、安全なクローズドループ制御のために、処理が遅すぎるかクラウド依存となることが多く、一方で軽量なオンボードモデルは、ポーズ推定が失敗した際に脆弱になる傾向があります。

既存のスケルトンベースのアクション認識手法は、通常、ロボット制御から切り離された精選されたオフラインベンチマークで評価されており、展開可能な知覚・制御ループに必要な堅牢性と適応性のニーズに対処できていません。

手法

SocioGestureは、低レイテンシなオンボード推論と堅牢で適応的な学習の間の緊張関係を解消するために設計された、リアルタイムかつ適応的な社会的ジェスチャ知覚システムです。本システムは、即時の行動選択のためのオンラインパスと、モデル適応のためのオフラインパスという2つの異なる経路で動作します。

1. 信頼性を考慮したスケルトン符号化

欠落した関節を含むフレームを破棄する代わりに、SocioGestureは各フレーム $t$ および関節 $j$ に対して、コンパクトな9チャンネルの関節特徴量を保持します：
$$x_{t,j} = [p_{t,j}, c_{t,j}, p_{t,j} - p_{t-1,j}, b_{t,j}, \Delta b_{t,j}]$$
ここで、$p$ は座標、$c$ はポーズ推定器からの信頼度スコア、$b$ は親関節に対するボーンベクトル、$\Delta b$ はボーンの動きを表します。この表現により、モデルは可視の状態にある手と、信頼できない（または欠落している）手とを区別することができ、部分的に観測されたウィンドウも利用可能な状態に保つことができます。

2. 軽量なデュアルストリーム・ボディ・ハンドモデル

アーキテクチャは、粗い身体姿勢（$X_B$）と微細な手の関節運動（$X_H$）を分離するデュアルストリーム設計を採用しています。

• エンコーディング: 2つの軽量なグラフ時間的バックボーン（$f_B, f_H$）が各ストリームを符号化します。
• 融合: ストリームは、時間的なクロスアテンションメカニズムを介して情報を交換します。
• 効率性: 複数の推論パスを必要とするマルチストリーム・アンサンブルとは異なり、SocioGestureは特徴を融合し、単一のフォワードパスで分類を行うため、エッジ展開のための推論コストを低く抑えられます。
• 不確実性推定: エントロピー、身体と手の補助ヘッド間の不一致、および平均スケルトン信頼度を用いて、不確実性スコア $u$ を算出します。このスコアは直接行動を駆動するのではなく、オフラインラベル付けのためのセグメントをフラグ立てするために使用されます。

3. 遮蔽を考慮したトレーニング

推論時のオーバーヘッドを増やすことなく堅牢性を向上させるために、モデルは**構造化されたスケルトン破損（structured skeleton corruption）**を用いてトレーニングされます。これには以下が含まれます：

• 弱い拡張（Weak Augmentation）: フリップ、スケーリング、時間的シフト、および信頼度に比例したノイズ。
• 構造化された破損: 手のマスキング、腕と手のマスキング、時間的な手の消失、およびランダムな関節のマスキング。
• 損失関数: トレーニングの目的関数は、クリーンなビューと破損したビューに対する教師ありクロスエントロピーと、クリーンと破損した入力間の予測を一致させるための整合性項（初期エポックでランプアップされる）を組み合わせたものです。

4. 不確実性駆動のオフライン適応

システムは、クローズドループ適応戦略を実装しています：

• 選択: 不確実性スコアが高いインタラクションセグメントを、ペアとなるRGBデータおよびスケルトンデータと共に保存します。
• ラベル付け: これらのセグメントは、より強力なクラウドベースのビデオ理解モデル（例：Gemini 2.5 Flash）によってオフラインでラベル付けされます。
• 拡張: 元の重みをコピーし、新しい重みを初期化することで、新しいジェスチャクラスを含めるように分類器を拡張します。
• ファインチューニング: モデルは、人間がラベル付けしたデータ（リハーサル）と疑似ラベル付けされた展開データ（pseudo-labeled deployment data）の混合物を用いてファインチューニングされ、検証後に再展開されます。

主な貢献

1. 展開可能なシステム: オンボードの身体・手ポーズ推定を保守的なロボット行動に接続し、即時のアクションと緩やかな適応を分離する、クローズドループシステム。
2. コンパクトな表現とモデル: 信頼性を考慮したスケルトン表現、およびエッジでの低レイテンシ推論のために単一のフォワードパスで評価される軽量なデュアルストリーム・ボディ・ハンド融合モデル。
3. トレーニングによる堅牢性: 手や腕の欠落に対する堅像性を、推論時の計算量を増やすことなく大幅に向上させる、遮蔽を考慮したトレーニング。
4. 適応可能な語彙: 元のクラスの性能を維持しながら、ジェスの語彙を拡張できる、不確実性駆動のオフライン適応ループ。

実験結果

システムは、10人の被験者と7,055個のスケルトンウィンドウを含む、屋内・屋外の混合HRIシナリオで収集された7クラスの社会的ジェスチャデータセットを用いて評価されました。

• 認識精度: システムは、96.6%のクリーン精度（LOSOクロスバリデーション）を達成しました。構造化された遮蔽下では、顕著な堅牢性を示しました。具体的には、手による遮蔽時の精度が31.8%（標準モデル）から**84.9%へ、腕による遮蔽時の精度が28.3%から79.5%**へと向上しました。
• レイテンシ: ロボット搭載のNVIDIA Jetson Thorにおいて、フルスタックのパイプライン（検出、追跡、ポーズ、ジェスチャ）は、単一の人物に対して25 ms/フレーム（30 FPSでリアルタイム動作）、3人の人物に対して42 msで動作します。
• オフライン適応: 疑似ラベル付けされた展開クリップを用いてクラス数を7から10へ拡張した際、モデルは新しい10クラスのテストセットに対して**87.9%の全体精度を達成しました。極めて重要なことに、元の7クラスに対する精度は98.5%**と変わらず、リハーサルが元の語彙を保持したことを示しました。
• ライブ展開: 未知の参加者5名を用いたライブ・クローズドループテスト（150試行）において、システムはジェスチャを**97.3%の試行で正しく認識しました。行動の成功率（正しいアクションの実行）は79.3%**であり、失敗の大部分は「誤ったアクション」ではなく「保守的な非行動（ロボットの待機）」であり、これは挨拶ロボットにとって安全なトレードオフです。

意義と主張

本論文は、SocioGestureが、堅牢で効率的、かつ適応的な社会的知覚に向けた実践的な道筋を示すものであると主張しています。その意義は以下の点にあります：

• 安全性と学習の分離: 即時的で保守的な行動選択と、低速でデータ集約的な適応を分離することで、システムは安全性を確保しながら、現実世界のインタラクションから学習することを可能にします。
• 実世界のノイズに対する堅牢性: 遮蔽を考慮したトレーニングは、複雑な推論時アンサンブルを必要とすることなく、ロボット搭載のポーズ推定器特有の失敗モード（手や腕の消失）に対してモデルを堅牢にできることを証明しています。
• スケーラビリティ: 不確実性駆動の適応ループは、ゼロからの再学習や広範な新規ラベル付きデータセットを必要とせずに、ロボットが展開後にインタラクションの語彙を拡張できることを示しています。

著者らは、SocioGestureを、オフラインのアクション認識における最先端（SOTA）ベンチマーク設定者としてではなく、展開可能なHRIにおける特定のエンジニアリング制約（低レイテンシ、センサー故障への堅牢性、およびオープンエンドな社会的環境への適応能力）に対する解決策として位置付けています。