Structured Evidence and Vision-Language Models for Interpretable Vision-Only UAV Behavior Analysis

技術要約：解釈可能なビジョンのみのUAV行動分析のための、構造化されたエビデンスと視覚言語モデル（VLM）

問題提起
ビジョンのみによる対UAV（カウンターUAV）システムは、コスト、受動的センシング、および既存のカメラインフラとの互換性において大きな利点を提供します。しかし、現在のパイプラインは主に検出と追跡に限定されており、オペレーターに対してターゲットの位置は提供するものの、UAVの行動や必要な対応の緊急性に関する監査可能なエビデスの提供には至っていません。オペレーターはUAVが「どこに」いるかは容易に把握できますが、低レベルの視覚的追跡と高レベルの行動解釈の間の溝を埋めることができず、低レベルの視覚的追跡から高レベルの行動解釈への移行が困難です。既存のビジョンベースのパイプラインは、低レベルの視覚的追跡と高レベルの行動解釈の間のギャップを埋めることができていません。これにより、オペレーターは、低レベルの視覚的追跡から高レベルの行動解釈へと移行することができません。既存のビジョンベースのパイプラインは、低レベルの視覚的追跡と高レベルの行動解釈の間のギャップを埋めることができていません。

手法
著者らは、標準的なトラッカーと視覚言語モデル（VLM）の間に、解釈可能なエビデンス層を導入するために設計された4層のフレームワークを提案しています。このシステムは厳密にビジョンのみで動作し、以下のように機能します。

1. 検出層： 単一クラスのYOLOv8検出器（具体的には1280ピクセル解像度で訓練されたYOLOv8sモデル）が、各フレーム内のUAVを特定します。
2. 追跡とマージ： 検出結果はByteTrackを使用して軌道へと関連付けられます。ByteTrackは、ロバスト性を維持するために低信頼度の検出も活用します。遮蔽や信頼度の低下による軌道の断片化に対処するため、時間的ギャップ、空間的距離、および運動の連続性に基づいて、短いセグメントをコヒーレントなパスへと結合する貪欲なトラックマージアルゴリズムを用います。
3. 構造化エビデンス抽出： これが解釈可能性の中核となるコンポーネントです。マージされた各軌道は、以下の項目を含む固定テンプレートのエビデンスレコードに変換されます。
   • 運動統計： 平均/最大速度、速度標準偏差、総変位、経路長、および線形性（変位と経路長の比）。
   • スケール特徴： バウンディングボックスの面積の開始、終了、および変化率（接近または離脱のプロキシ）。
   • 曲率： 平均および最大回転角。
   • ホバリング指標： ほぼ静止した運動を示すフレームの割合。
   • ルールベースの示唆： 軽量なルールエンジンが、これらの指標に適用される閾値に基づき、予備的な行動ラベル（例：ホバリング、旋回、巡航、接近）を生成します。
4. VLMによる推論： 第4層では、以下のマルチモーダル入力を用いてVLM（Qwen-VL-Max）にプロンプトを与えます。
   • 2×3 キーフレーム・モザイク（一様にサンプリングされた6つのフレーム）。
   • 構造化エビデンスレコード（数値特徴量とルールによる示唆をシリアライズしたテキスト）。
     モデルは、特定の証拠値に基づいた行動ラベル、応答緊急度の推定、および自然言語による根拠を出力するように指示され、それらはJSONブロックとしてフォーマットされます。

主な貢献
本論文の主要な貢献は、新しい検出器やトラッカーそのものではなく、解釈可能なエビデンス・インターフェースがいかにして従来の検出・追跡パイプラインを、監査可能な行動分析システムへと変貌させるかを実証した点にあります。

• 生のピクセルに対する構造化エビデンス： 本フレームワークは、知覚と推論を明示的に分離します。VLMに対して、疎な静止フレームのみから複雑な時間的ダイナミクスを推論させるのではなく、コンパクトな数値的軌跡の事実を提供します。
• 監査可能性： VLMに特定の証拠値（例：線形性、スケール変化率）を根拠として引用させることで、推論プロセスを検査可能にします。これは、根拠が不透明なエンドツーエンドの視覚的プロンプティングとは異なります。
• ハイブリッド・アプローチ： 本システムは、ルールベースのヒューリスティクスとVLMのセマンティック合成能力を組み合わせ、必要に応じてモデルが予備的なルールベースの示唆を洗練または上書きできるようにしています。

実験結果
フレームワークはDUT Anti-UAVデータセットの20シーケンスで評価され、52個の有効なトラックが得られました。50個のトラックのサブセットが、6つのカテゴリ（ホバリング、旋回、巡航、接近、離脱、不安定な動き）について行動評価のために手動でアノテーションされました。

• 性能： フル構成のマルチモーダル設定（画像 + 構造化エビデンス）は、最高の**プライマリ一致精度（0.700）および任意一致精度（0.760）**を達成しました。
• アブレーション研究の結果：
  • 画像のみ： キーフレーム・モザイクのみを使用するバリアントは、性能が悪く（プライマリ一致精度0.220）、疎な静止フレームでは時間的行動を確実に推論できないことが確認されました。
  • エビデンスのみ： 構造化エビデンスのみを使用したバリアントは、0.680のプライマリ一致精度を達成し、軌跡統計が支配的な情報源であることを示しました。
  • 比較： フル構成は、単一のモダリティ・バリアントおよびルールエンジンの両方を上回りました。具体的には、視覚フレームは幾何学的に曖昧なケース（例：「巡航」の精度をエビデンスのみの場合の0.57から0.71へ向上させるなど）において、測定可能な利点を提供しました。
• クラス別性能： システムは「接近」および「離脱」の行動において良好な性能を示しました。「ホバリング」は依然として最も困難なクラスであり、ホバリングの割合が支配的でない場合に旋回と混同されることがよくありました。

意義と主張
本論文は、ビジョンのみによる対UAV行動分析において、構造化された軌跡エビデンスが不可欠な情報源であり、視覚フレームは補完的ではあるが有用な利点を提供するものであると主張しています。著者らは、提案されたフレームワークが、低レベルのトラックを監査可能な行動ラベルと応答指向の説明へと正常に変換することに成功したと述べています。

本研究は、VLMが疎な静止画像のみから時間的行動を推論させようとするのではなく、明示的な軌跡エビデンスに基づいている場合にのみ、この領域で効果的であることを強調しています。本システムは、オペレーターがアラートの背後にある論理を検証できる、スケーラブルで解釈可能な対UAV運用への実用的な道筋を提供します。著者らは、アノテーションされたサブセットの小ささ（50トラック）、単一のアノテーターの使用、および画像ベースラインとしての限られた数のキーフレームへの依存といった制限を挙げ、研究の範囲について謙虚な姿勢を保っています。今後の課題として、データセットの拡大、複数のアノテーターの関与、およびより高密度な時間的視覚入力の探索が示唆されています。