技術要約: FloodReasonBench

問題提起

無人航空機（UAV）や移動ロボットなどのエンボディド・エージェントは、人間が立ち入ることが危険な洪水対応オペレーションにおいて、ますます重要になっています。これらのエージェントには、ミッションに関連する自然言語のリクエスト（例：「水没した車両を特定せよ」）を、ピクセルレベルの視覚的グラウンディングへと翻訳できる知覚インターフェースが必要です。Vision-Language Models (VLM) を推論セグメンテーションと組み合わせることでこの機能は提供されますが、既存のベンチマークとモデルは、洪水対応ドメインにおいて主に2つの課題に直面しています。

1. ドメインギャップ: 現在の推論セグメンテーション・ベンチマーク（例：ReasonSeg）は、一般的な視覚シーンに焦点を当てています。これらを特定の適応なしに洪水シナリオに適用すると、LISAのようなモデルは著しい性能低下に陥ります。
2. リソース制約: これらのモデルをエッジプラットフォーム（例：NVIDIA Jetson）にデプロイすることは、重い画像エンコーダ（SAM ViT-Hなど）による高い計算コストと、完全なリモート実行による通信オーバーヘッドによって阻害されます。分割コンピューティング（Split Computing）は中間的な解決策を提供しますが、既存の手法は、階層的なパーティショニングと特徴量圧縮がドメイン固有のタスク要件とどのように相互作用するかについての体系的な評価を欠いていることが多いです。

メソドロジー

著者らは、リソース制約下でのエンボディド洪水対応のためのVLM推論セグメンテーションを評価するために設計されたベンチマーク、FloodReasonBenchを導入します。そのメソドロジーは、以下の3つのコアコンポーネントで構成されています。

1. FloodResponseSeg データセット

半自動パイプラインを通じて、洪水に特化した新しい推論セグメンテーション・データセットが構築されました。

• キュレーション: 実世界の洪水画像をCLIPを用いてフィルタリングし、Grounding DINOで局所化し、SAM2を用いてセグメンテーションを行いました。
• アノテーション: 手動での検査により品質を確保した後、洪水コンテキスト内におけるターゲット（人、建物、車両）を記述する自然言語クエリを作成しました。
• 構成: このデータセットは、532個のオリジナル訓練サンプル（2,128個のインスタンスに拡張）と100個の評価サンプルを含み、洪水対応における3つの重要なカテゴリをカバーしています。

2. モデルアーキテクチャと分割設計

本ベンチマークは、エッジデプロイメント向けに特定の修正を加えたLISAフレームワークを評価します。

• 軽量バックボーン: 重いSAM ViT-Hエンコーダを、階層的なTinyViTバックボーン（12ブロック：2 MBConv + 10 Transformerブロック）を利用したMobileSAMに置き換えています。
• 階層的分割推論: TinyViTバックボーンは12箇所の候補点で分割されます。エッジデバイスはプレフィックスを実行し、学習済みの**潜在オートエンコーダ（Latent Autoencoder: AE）**を介して中間特徴量を圧縮し、それをリモートサーバーに送信して、再構成および推論の完了を行います。
• 圧縮戦略: 特定の特徴次元に適合するように、各パーティションポイントに対して個別のAEを訓練します。これらは、ダウンストリームのセグメンテーションタスクではなく、特徴量再構成のためにADE20Kで訓練されています。

3. 評価プロトコル

評価は2段階で進行します。

• 事前適応（Pre-adaptation）: 特徴的な分割への感度を特性化するために、一般的なReasonSegデータセット上で分割構成を評価します。
• 分割を考慮した洪水適応（Split-aware Flood Adaptation）: 学習済みの圧縮ボトルネックを固定したまま、FloodResponseSeg上で推論セグメンテーションコンポーネントのファインチューニングを行います。これにより、ターゲットとなるワークロード下での設計空間を評価します。
• システム指標: 実験は、複数のパワーモード（MAXN, 10W, 15W, 30W）においてNVIDIA Jetson AGX Xavier上で実施されます。指標には、タスク精度（gIoU, cIoU）、エッジ側のレイテンシ、フレームあたりのエネルギー消費量、および通信フットプリント（圧縮された特徴量サイズ）が含まれます。

主な貢献

1. FloodReasonBench & FloodResponseSeg: 洪水対応における推論セグメンテーションのための初のベンチマークおよびデータセットの導入であり、一般的なVLMベンチマークとドメイン固有の洪水ビジョンタスクとの間のギャップに対処しています。
2. パーティション感度の体系的な特性化: 特徴量圧縮下での階層的分割推論がどのように機能するかについての詳細な分析。本研究は、一般的なワークロードではパーティションに依存した精度の変動が激しいのに対し、洪水に適応したワークロードは、異なる分割点間でもるべくコンパクトな精度範囲を示すことを明らかにしています。
3. 品質制約付きのデザイン空間: タスク品質、レイテンシ、エネルギー、および通信コストの結合評価。これにより、制約のあるエッジプラットフォーム上でリソース使用量を最小限に抑えつつ、特定の知覚品質要件を満たす「オペレーティングポイント」の選択が可能になります。

結果

• ドメイン適応の必要性: 洪水特有のファインチューニングなしでは、LISA-SAMはFloodResponseSegにおいて0.7223 gIoUしか達成できませんでした。洪水特有の適応により、これは0.8423 gIoUへと向上し（12.0ポイントの利得）、ドメイン適応の決定的な必要性を実証しています。
• 軽量エンコーディング: 適応後にSAM ViT-HをMobileSAM (TinyViT) に置き換えると、わずかな精度低下（0.8423から0.8202 gIoU）が発生しますが、これにより階層的分割デザインスペースが可能になります。
• パーティション感度:
  • 一般的な設定 (ReasonSeg): 精度はパーティション間で大きく変動し（gIoUの差は18.24ポイント）、分割が行われる位置に対する高い感度を示しています。
  • 洪水適応設定: 精度範囲は大幅にコンパクトになります（gIoUの差は4.26ポイント）。これは、ターゲットドメインにおいては、複数のパーティションポイントが同等のタスク品質を提供することを意味しており、選択基準をシステムレベルのコストへとシフトさせます。
• トレードオフ分析:
  • 深いパーティションはエッジのレイテンシとエネルギーを増加させますが、階層的な特徴次元のため、必ずしも通信サイズを減少させるわけではありません。
  • gIoU ≥ 0.79という品質制約に対しては、Block 1（早期の分割）が最も効率的なオペレーティングポイントとなり、50.1 msのレイテンシ、0.461 J/フレーム、および0.125 MiBの伝送サイズを実現します。最高品質のBlock 9と比較して、無視できる程度の精度損失で、レイテンシを50.5%、エネルギーを54.8%、特徴量サイズを50%削減できます。
  • プラットフォームのパワーモードはコストに大きく影響します。例えば、Block 1を10Wで実行する場合、30Wでの50.1 msおよび0.461 Jと比較して、142.8 msおよび0.947 Jを要します。

意義と主張

本論文は、FloodReasonBenchが、リソース制約のあるエンボディド洪水対応のための推論セグメンテーションに関するタスクおよびシステムレベルの特性化を提供するものであると主張しています。その主な意義は、以下のことを実証している点にあります。

1. 効果的な洪水対応知覚のためには、ドメイン適応が不可欠であること。
2. 洪水に適応したワークロードは、一般的なワークロードとは異なり、パーティション選択に対して堅牢であること。これにより、システム設計者は、単一の「精度最適」なパーティションに強制されるのではなく、レイテンシ、エネルギー、および帯域幅の制約を優先して分割ポイントを選択できるようになります。
3. 知覚品質とエッジリソースコストの結合最適化は、実用的なデプロイメントに不可欠であり、変化する接続性や電力環境の下で特定のミッション要件を満たすオペレーティングポイントの選択を可能にします。

著者らは、今後の課題として、データセットを他のエンティティへ拡張し、新たなモデルを組み込み、変化するネットワーク条件下でのエンドツーエンドのクローズドループ実行を評価することを述べています。