Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras

技術要約：組み込みデバイスにおけるアフォーダンス・セグメンテーションのためのパレート最適フロントの充填

問題提起
ウェアラブルロボットには、ユーザーの力仕事や危険な作業を軽減するために、特に把持（グラスピング）や操作タスクにおける半自律的な制御能力が求められる。この制御パイプラインの重要な構成要素は、オブジェクトの機能的な部分を特定して微細な制御を可能にする「アフォーダンス・セグメンテーション（AS）」である。深層ニューラルネットワーク（DNN）はASの標準であるが、これらを携帯用のエネルギー制約のある組み込みデバイスにデプロイすることは大きな課題となる。既存のソリューションは、マイクロコントローラ向けに最適化された「極小（tiny）」モデル（堅牢性に欠ける可能性がある）か、あるいは高性能な制約のないモデル（ポータブルなハードウェアには重すぎる）のいずれかに依存することが多い。さらに、非接触把持のために不可欠な幾何学的情報を提供する深度（D）センサがあるが、軽量なDNNへのRGB-Dデータの統合については未だ十分に研究されていない。RGBと深度データの単純な統合は、多くの場合、わずかな改善にとどまるか、計算コストを過度に増大させてしまう。核心となる問題は、精度を向上させるためにRGB-Dデータを効果的に活用しつつ、組み込みハードウェアのエネルギー、サイズ、およびリアルタイム性の制約を厳格に遵守するシステムを設計することである。

手法
本論文では、RGB-Dアフォーダンス・セグメンテーションのためのハードウェア効率の良いDNNを生成するための、2つの異なる設計戦略を提案している。これらは、精度とハードウェア要件（FLOPsやパラメータ数）のバランスを取るパレート最適フロント上の解を特定することを目的としている。

1. ハードウェア認識型ニューラルアーキテクチャ探索（HW-NAS）：

   • 著者らは、RGB-D入力用に特別に設計された新しい探索空間を用いて、HW-NASを再定式化した。
   • このアーキテクチャは、RGBストリームと深度ストリームを独立して処理した後に共有バックボーンへと統合するデュアルブランチ構造を採用している。
   • **アグリゲーター（Aggregator）**ネットワークは、バックボーンの出力と複数のエンコーダー層からの中間表現を結合し、マルチレゾリューションの特徴抽出を可能にする。
   • 探索空間は、初期層からアグリゲーターへのスキップ接続を含む柔軟な接続を許容し、カーネルサイズ、拡張係数、ストライドなどのパラメータを最適化する。
   • 最適化には進化アルゴリズムを用い、推論時間とメモリの制約を満たしながら検証損失を最小化するアーキテクチャを選択する。

2. ファインチューニング・アプローチ：

   • 計算コストの低い代替案として、事前学習済みのRGB専用ネットワーク（具体的にはMobileNetV3）をRGB-D入力を扱えるように適応させる手法を提案している。
   • 入力部に専用のプリプロセッシング層を挿入し、深度チャンネルをRGBチャンネルと結合して、4チャンネルテンソル（$W \times H \times 4$）を作成する。
   • 単一の畳み込み層（フィルタ数3、ストライド1）によってこれを3チャンネルテンソルへと縮小し、残りの事前学習済みアーキテクチャがデータをそのまま処理できるようにする。
   • この手法は、深度マップとRGB画像の構造的な類似性を利用しており、既存の重み構成を大きく変えることなく、低レベルの特徴をネットワークが調整できるようにする。

実験設定
提案手法は、2つの実世界のデータセットを用いて評価された：

• UMD: 様々なフレーミングを持つ7つのオブジェクトカテゴリにわたる28,843枚のRGB-D画像。
• IIT: 照明、遮蔽、解像度の変化を含む8,835枚の画像。
  タスクは、「把持（grasp）」、「把持しない（do not grasp）」、「背景（background）」の3クラスのピクセル単位の分類として定義された。モデルは、極小モデル（HW-0.5s, HW-1s）、カスタムMobileNetV3バリアント、トランスフォーマーベースのモデル（SegFormer）、および大規模CNN（EfficientNet, VGG16）を含む最先端のベースラインと比較された。展開テストは、RealSense RGB-DカメラとインターフェースされたJetson Nanoボード上で実施された。

主な結果

• 性能向上： 両方の提案手法は、深度情報の統合が、特に「把持」および「把持しない」クラスにおいて汎化性能を向上させることを示した。UMDデータセットにおいて、RGB-Dを用いたHW-NASアプローチは、RGB専用モデルに対して最大2.8%の精度向上を示した。
• パレート最適性： 生成されたモデルは、性能とモデルサイズおよびFLOPsをプロットした際、一貫してパレート最適フロント上に位置した。これらは、既存のハードウェア効率の高いアプローチ（極小モデル）よりも優れた性能を示しながら、大規模な制約のないモデルよりも大幅に低いリソース要件を維持した。
• ハードウェア効率：
  • 推論時間： 最適化されたモデル（TensorRT float16量子化を使用）は、モデルや電力モード（5W対10W）に応じて8～16 FPSのフレームレートで、Jetson Nano上でのリアルタイム性能を達成した。
  • エネルギー消費量： システムはスマートフォン用バッテリー（約5000 mAh）で約3.5時間の動作が可能な、標準的なスマートフォン用バッテリーに適合するエネルギー予算（合計システム電力 約7～11W）内で動作した。
  • メモリ： NAS生成モデルはMobileNetV3ベースのモデルよりもメモリ効率が良く、後者の約400 MBに対し、約300 MBのRAMを利用した。
• 堅牢性： 深度情報は、照明が不十分なシナリオや、オブジェクトの色が背景と一致する場合（例：青い前景に対する青いスクープ）において極めて重要であり、セグメンテーション精度を大幅に向上させることが証明された。

意義と主張
本論文の主要な貢献は、「極小」モデルと高性能アクセラレータの間のギャップを埋める設計戦略を、特にウェアラブルロボティクス向けに成功させたことであると主張している。専用のRGB-D用HW-NAS探索空間と軽量なファインチューニングメカニズムを導入することで、以下のことが可能であることを示した：

1. 電力制限のあるスマートデバイス上で、RGB-Dカメラから高レベルのセマンティック情報を直接抽出すること。
2. 精度とハードウェア制約の間の最適なトレードオフを提供する、パレート最適なアーキテクチャを生成すること。
3. ポータブルハードウェア（Jetson Nano）上で、バッテリー駆動のウェアラブルロボットに適したエネルギープロファイルを持つリアルタイム推論を実現すること。

著者らは、深度処理が計算の複雑さを増大させる一方で、そのコストを管理するために提案手法が効果的にスケールすることに触れ、中規模のアプリケーション特化型DNNが、半自律的なウェアラブル制御パイプラインにとって実行可能かつ効果的なソリューションであることを証明している。今後の課題として、フレーミングを自動化するための物体ローカライゼーションの組み込み、およびこれらの技術をトランスフォーマーベースのモデルへ拡張することが挙げられている。