技術要約: RSC-GestureNet

問題提起

交通警察の手信号は、自動運転における極めて重要な、安全性に直結する知覚キューであり、混雑した交差点や建設現場などの複雑なシナリオにおいて、信号機や標識を上書きする能力を持ちます。しかし、これらのコマンドに対して堅牢な認識器をデプロイするには、既存の文献がしばしば見落としている3つの具体的な課題が存在します。

1. 因果的制約（Causal Constraints）: オフラインのアクション認識とは異なり、車両搭載型のシステムは、未来の情報にアクセスすることなく、過去のフレームのみを使用して連続的なビデオストリームから因果的にコマンドを推論しなければなりません。
2. ポーズの信頼性（Pose Reliability）: 2Dポーズ推定は、グラウンドトゥルースではなく、本質的にノイズを含む測定値です。道路環境では、低照度、モーションブラー、遮蔽、距離といった要因が、コマンドのセマンティクスを担う重要なランドマーク（特に手首や肘）を頻繁に損なわせます。
3. リスクの非対称性（Risk Asymmetry）: 交通コマンドはリスクの非対称性を持ちます。「停止」コマンドの見落としや、「旋回」コマンドの不安定さは、壊滅的なプランニングの失敗を招く可能性があります。標準的な精度指標は、較正された信頼性や、不安全なラベルを強制するのではなく、不確実な決定を保留する能力の必要性を捉えきれないことがよくあります。

現在のベンチマークは、一貫性のない評価プロトコル（異なるデータ分割、特徴量の定義、またはオフライン対オンラインの設定）に苦しんでいることが多く、デプロイ指向のモデルを直接比較することを困難にしています。

手法: RSC-GestureNet

著者らは、上記のギャップに対処するために設計された、信頼性認識型の選択的因果認識器であるRSC-GestureNetを提案します。このフレームワークは32フレームの因果的ウィンドウで動作し、以下のコアコンポーネントを統合しています。

1. 信頼性認識型空間グラフ推論

本モデルは、ポーズの信頼性を第一級の信号として扱います。

• 信頼性ゲート付き集約（Confidence-Gated Aggregation）: 軽量なMLPが、検出器の信頼度、速度、およびランドマークの欠損状態に基づき、各関節の信頼性スコアを推定します。このスコアはメッセージパッシングの前にノード特徴量をゲート制御し、信頼性の低い関節（例：破損した手首や肘）の重みを下げることで、それらがグラフ推論を歪めるのを防ぎます。
• 動的グラフトポロジー（Dynamic Graph Topology）: 隣接行列は、物理的な骨格構造、コマンド固有の上半身の事前知識（肩、肘、手首を強調）、および遮蔽や視点変化に適応するためにインスタンス固有の協調を学習する動的な項を組み合わせます。

2. 因果的時系列モデリング

• 拡張因果畳み込み（Dilated Causal Convolutions）: テンポラルエンコーダは、拡張因果畳み込みを使用して過去のエビデンスを効率的に集約します。受容野は因果律を破ることなく拡大し、モデルが静的なポーズではなく、短い動きのフェーズ（例：旋回中と待機中）によって異なるクラスを識別できるようにします。
• 危険認識損失（Danger-Aware Loss）: 学習目的関数には、特定の「危険な」混乱を罰する専用の正則化項が含まれています。具体的には、「停止」から運動コマンド（前進、左/右旋回、車線変更）への遷移を抑制し、高リスクなエラーモードから確率質量を遠ざけます。

3. ポーズ–RGB融合と適応的推論

• 後期融合（Late Fusion）: 軽量なRGB記述子（12次元ヒストグラム）が、ポーズブランチとログレベルで融合されます。これにより、ポーズの信頼性が低下した場合に、外観のコンテキストが支援を行うことが可能になります。
  এটি allows appearance context to assist when pose confidence degrades.
• 選択的放出（Selective Emission）: 本システムは、信頼性トリガー型の確率ブレンディングメカニズムを採用しています。全体および上肢の信頼性スコアに基づいて、融合ブランチ、ポーズ単独ブランチ、およびテンポラル単独ブランチの間の重みを動的に調整します。
• 較正された出力（Calibrated Output）: 予測は、内部トレーニングストリームのみで適合されたベクトル較正と「安定K（stable-K）」ルールを通過します。コマンドは、過去$K$個の予測が一致し、かつ較正された信頼度が閾値を超えた場合にのみ放出されます。そうでなければ、システムは判断を保留（abstain）します。

主な貢献

本論文は、主に4つの貢献を行っています。

1. 再現可能な因果プロトコル: 公式のCTPGesture v1スプリット（ラベル付き134,424フレーム、33,451因果ウィンドウ）を用いたフルフレーム因果評価プロトコル、および3つのシード統計、オンライン・マクロF1、Early@10、Time-to-Command (TTC)、および封印されたテストセット報告を提供します。
2. RSC-GestureNetモデル: 信頼性ゲート付きグラフ推論、危険認識学習、ポーズ–RGB融合、および適応的推論ルールを特徴とする新しいアーキテクチャ。
3. CTPGesture-Cベンチマーク: 7つの劣化ファミリー（例：ポーズのドロップアウト、座標のジッター、上肢の抑制）を含む特徴レベルの破損ベンチマーク、および低照度やモーションブラー下でのMediaPipeによるポーズ再抽出を含むRGBレベルの診断。
4. 制御された評価: 同一のデータ分割および因果プロトコルの下での、汎用的なベースラインおよび交通特化型グラフの実装（MD-GCNおよびHLP-GCN）との厳格な比較。

実験結果

完全な公式CTPGesture v1スプリットで評価した結果、RSC-GestureNetは以下の性能を達成しました。

• 精度（Accuracy）: 93.33% ± 0.24%
• マクロF1（Macro-F1）: 91.71% ± 0.27%
• オンライン・マクロF1（Online Macro-F1）: 91.69% ± 0.29%
• Early@10: 98.80% ± 0.07%
• Time-to-Command (TTC): 0.153 ± 0.013 s
• 堅牢マクロF1（Robust Macro-F1）: 90.97% ± 0.37%（評価された手法の中で最高）

比較性能:
同一の因果プロトコルの下で、RSC-GestureNetは再現された交通特化型ベースラインを上回りました。

• vs. MD-GCN: マクロF1で+3.23ポイント、オンラインF1で+2.15ポイント、および0.104秒早いTTC（RSC-GestureNet: 0.153s vs. MD-GCN: 0.257s）。
• vs. HLP-GCN: マクロF1で+4.11ポイント、オンラインF1で+3.07ポイント、および0.160秒早いTTC（RSC-GestureNet: 0.153s vs. HLP-GCN: 0.313s）。

堅牢性と較正:

• 本モデルは、CTPGesture-Cにおける7つのすべての破損ファミリーに対して優れた堅牢性を示し、特に上肢の機能抑制およびポーズのドロップアウトにおいて最大の利得が見られました。
• RGBレベルの診断（破損したフレームからのポーズ再抽出）において、モデルは低照度条件下で最高のマクロF1を達成し、モーションブラー下でも競争力のある性能を維持しました。
• 較正分析によれば、RSC-GestureNetは高いカバレッジレベル（90%, 95%, 99%）において最も低い選択的リスク（selective risk）と最小のブライア・スコア（Brier score）を達成しており、高品質な確率分布を示しています。

意義と主張

本論文は、ポーズの信頼性を明示的にモデリングすることが、早期、安定、かつ堅牢な交通コマンド認識を向上させるための決定的な要因であると主張しています。結果は、ポーズの信頼度を単なる測定値ではなく、モデリング信号として扱うことで、システムが以下を実現できることを示しています。

1. 堅牢性の失敗を軽減する: 破損した関節の重みを下げることで、視覚的なストレス（ブラー、遮蔽、低照度）下でも性能を維持します。
2. 選択性による安全性の向上: 不確実な決定を保留する能力により、潜在的に不安全なラベルの放出を防ぎます。これは自動運転のプランニングにおいて極めて重要な機能です。
3. デプロイへの架け橋: 較正された、保留可能なコマンドインターフェースと統一された因果プロトコルを提供することで、本研究は、安全性重視の自動運転システムへ交通警察の手信号知覚を統合するための再現可能な道筋を提示しています。

著者らは、視覚的に類似した遷移ジェスチャ（例：旋回と待機）においてエラーは残存するものの、信頼性認識型のアプローチは、最先端のグラフベースおよびテンポラル・ベースラインに対して、測定可能かつ統計的に有意な改善を提供すると結論付けています。