A Camera-Cooperative ISAC Framework for Multimodal Non-Cooperative UAVs Sensing

技術的概要：マルチモーダル非協働 UAV 感知のためのカメラ協調型 ISAC フレームワーク

問題定義
非協働無人航空機（UAV）の検出と追跡は、統合感知・通信（ISAC）システムにとって重大な課題です。これらの課題は、単一モーダル知覚の固有の限界と、感知機能と通信機能（S&C）間の共有物理リソースに対する激しい競合に起因します。非協働 UAV は、通常、低高度・低速度・小さなレーダー断面積（RCS）という特性を示すため、ISAC エコーのみでは検出が困難です。さらに、従来の ISAC 手法は、目標を特定するために網羅的または階層的なビーム掃引に依存することが多く、これにより多大な時間的・リソース的オーバーヘッドが生じ、通信タスクに利用可能な容量が減少します。一方、視覚に基づく感知は高解像度の空間情報を提供しますが、照明変化や遮蔽といった環境要因の影響を受けやすいという欠点があります。逆に、ISAC 感知は全天候型の堅牢性を提供しますが、微細な視覚的詳細に欠け、多大なビーム管理を必要とします。

手法
これらの課題に対処するため、著者らは**カメラ協調型 ISAC（CC-ISAC）**フレームワークを提案します。このシステムは、外部カメラを ISAC 基地局（BS）に統合し、補完的な知覚ループを構築します。このフレームワークは、感知プロセスを 3 つの相乗的なタスクに分解します：

1. 視覚リアルタイム空域検出：外部カメラが YOLO ベースの検出器を用いて粗粒度の空域監視を行い、UAV を識別し、バウンディングボックス座標と切り抜かれた画像パッチを抽出します。
2. 視覚支援ビーム選択：視覚データを ISAC 感知ドメインに整合させ、ビーム選択を誘導することで、BS の探索空間を削減します。
3. マルチモーダル融合に基づくビーム追跡：過去の感知データと現在の観測データを融合し、堅牢で連続的な追跡を可能にします。

このフレームワークは、2 つの中核となる深層学習モジュールに依存します：

• 視覚からエコーへのデータ整合（V2EDA）：このモデルは、視覚的観測（画像空間）とビーム空間角度との間の異種表現の不一致に対処します。バウンディングボックスベクトルには ResMLP、切り抜かれた画像には CNN を用いたデュアルストリーム特徴抽出アーキテクチャを採用し、その後**クロスアテンション（CA）**メカニズムを適用します。このメカニズムにより、モデルは関連する視覚的手がかりを動的に取得し、画像空間の観測をビーム空間の方位角と仰角にマッピングすることが可能となり、明示的な深度測定なしに非線形マッピングを学習します。
• マルチモーダル融合に基づく推定（MMFE）：追跡フェーズ向けに設計されたこのモジュールは、過去のエコードメイン感知情報（ESI）と現在の視覚感知情報（VSI）を統合します。これは、融合された過去データにおける長距離時系列依存性を捉えるためにTransformer エンコーダを利用し、これを Multi-Layer Perceptron（MLP）を介して現在の視覚入力と組み合わせます。モデルにはフォールバック機構が組み込まれており、視覚データが信頼できない場合（例：重度の遮蔽）、エコーのみの予測にデフォルトし、エコーデータが欠落している場合は視覚データまたは最近の測定値に依存します。

主要な貢献

1. フレームワークレベルの革新：本論文は、異種センサーの機能的役割を再定義する新規のシステムレベル設計を導入しています。従来の研究が固定パイプライン内でビーム整列を微調整するために視覚のみを利用するのに対し、CC-ISAC は明示的な階層的タスク分割を採用します。視覚には初期の空域認識と粗い位置特定が割り当てられ、ISAC リソースは協調的な微細感知のために予約されます。このアプローチにより知覚のオフローディングが実現され、ISAC モジュールからカメラへ粗粒度の環境認識が転送され、全体の感知オーバーヘッドが削減されます。
2. マルチモーダル学習モジュールの実現：著者らは、このフレームワークを支援するために V2EDA と MMFE モデルを特に開発しました。V2EDA は、視覚特徴とエコー特徴を整合させることで、空間的に分離されたセンサー間の実用的な協調を可能にします。MMFE は、クロスモーダル意思決定融合を通じて状態推定の堅牢性を高め、ビーム追跡オーバーヘッドを削減します。
3. システムレベルの最適化：本研究は、感知精度の向上のみならず、ISAC のリソース効率（ビーム制御時間の削減）を直接最適化するためにマルチモーダル協調を活用した最初の事例であると主張しています。

実験結果
このフレームワークは、同期された RGB 画像と UAV の真値 GPS データを提供するDeepSense6G データセットを用いて評価されました。

• ビーム制御効率：V2EDA 支援ビーム選択戦略は、目標獲得に必要なビームスキャンの平均数を大幅に削減しました。従来の階層的スキャンと比較して、提案手法はビーム制御オーバーヘッドを平均**71%**削減しました。
• ビーム追跡効率：MMFE モデルは、ビーム追跡において堅牢な性能を示しました。エコーのみのベースラインと比較して、MMFE アプローチは、さまざまな信号対雑音比（SNR）条件およびデータ損失シナリオにおいて、ビーム追跡オーバーヘッドを**1.69% から 11.15%**削減しました。
• 堅牢性：システムは、チャネル劣化（SNR が -2 dB まで低下）および部分的なデータ損失（エコーまたは視覚データの欠落）下でも、高い角度推定精度を維持しました。融合モデルは各モーダルの長所を適応的に活用し、単一モーダルまたはカルマンフィルタベースのアプローチに比べて優れたフォールトトレランスを示しました。
• リソース回復：感知オーバーヘッドを削減することにより、フレームワークは通信フレーム内の時間ドメインリソース（OFDM シンボル）を実質的に解放し、通信タスクに利用可能な容量を増加させます。

意義と主張
本論文は、CC-ISAC フレームワークが ISAC システム設計における実用的な進展を表すと主張しています。その主な意義は、感知と通信間のリソース競合の緩和にあります。粗い検出を視覚へオフローディングし、ISAC を微細な微調整にのみ利用することで、システムは信頼性の高い UAV 監視を達成しつつ、追加の通信タスクのための膨大なシステムリソースを解放します。著者らは、このアプローチが、感知精度と ISAC リソース消費量の間の従来のトレードオフを、感知精度とマルチモーダル感知能力の間のトレードオフへと変換すると強調しています。このフレームワークは、支配的な見通し（LoS）伝播を伴う低高度シナリオに特に適しており、網羅的なビーム探索を必要としない効率的な非協働 UAV 検出のためのスケーラブルな解決策を提供します。