技術サマリー: FalconTrack

問題提起

視覚ベースの空中追跡は、特にGPSが利用できない環境において、輸送、環境モニタリング、捜索救助などのアプリケーションに不可欠です。しかし、信頼性の高い追跡システムを開発するには、大規模で正確にラベル付けされたデータセットが必要です。既存のアプローチには、主に2つのボトルネックが存在します。

1. 手動アノテーションのコスト: 実世界のデータセット（例：ImageNet、BDD100K）は、コストが高く、時間がかかり、エラーが発生しやすい人間によるアノテーションに依存しており、不規則で非パラメトリックな物体に対してはスケールアップが困難です。
2. Sim-to-Realのギャップ: CARLAやGazeboのようなシミュレータは自動ラベル付けを提供しますが、その出力はフォトリアリズムに欠けることが多く、モデルを実世界に展開した際に性能が低下する原因となります。逆に、フォトリアルな生成モデル（例：拡散モデルベース）は、正確な6自由度（6-DoF）ポーズラベルを提供できなかったり、ターゲットの外観の忠実性を保証できなかったりすることがよくあります。
3. 限定的な汎用性: 現在の空中追跡手法の多くは、特定の追跡ジオメトリや単一のオブジェクトタイプ（例：静止したゲート）に過学習しており、不規則で動的に動くターゲットや未知の背景に対しては汎用性を欠いています。

手法

著者らは、ゼロショットのsim-to-real転移を可能にするために、自動データ生成と物理学に基づいた追跡コントローラーを統合した統一フレームワークであるFalconTrackを提案しています。

1. 自動ラベル付けパイプライン

データ不足とフォトリアリズムのギャップに対処するため、著者らはFalconGym 2.0シミュレータ内で**3D Gaussian Splatting (GSplat)**を用いた自動化パイプラインを開発しました。

• データ収集: ターゲットオブジェクトの手持ちビデオ（約2分間）をキャプチャします。
• 再構成と分離: ビデオを使用して、ターゲットの3D Gaussian Splattingモデルを再構成します。SAGAおよびFalconGym 2.0 Edit APIを使用して、ターゲットのスプラットを背景から分離します。
• コンポジットとレンダリング: 分離されたターゲットのGSplatsを、ドメインランダム化（ポーズ、スケール、照明の変化）の下で多様な背景のGSplatsと融合させます。
• ラベル生成: 既知のカメラの内部パラメータ/外部パラメータおよびレンダリング変換を使用して、システムは各レンダリングフレームに対してピクセル精度のセグメンテーションマスクと6-DoFポーズラベルを自動的に生成します。
• 効率性: このプロセスにより、手動アノテーションなしで、20分以内に約10,000枚のラベル付き画像（RGB、マスク、クラス、ポーズ）を生成できます。

2. 統合知覚モジュール

知覚モジュールは、オンボード展開用に設計されたマルチヘッドニューラルネットワークです。

• アーキテクチャ: 共有ResNet-18エンコーダを使用し、分類、セグメンテーション（マスク）、および6-DoFポーズ回帰の3つのヘッドに供給します。
• ゲート付きアテンション: ポーズヘッドは、予測されたマスクに基づいたゲート付きアテンションを使用し、方位推定に必要な外観の手がかりを保持しながら、背景のノイズを抑制します。
• 段階的学習: 安定性を確保するため、ネットワークは3つのステージで学習されます。
  1. 分類ヘッドを学習（他を凍結）。
  2. 分類およびセグメンテーションヘッドを学習（ポーズを凍結）。
  3. すべてのヘッドを共同で学習。
• 再投影の一貫性: 主要な革新は、再投影損失の導入です。予測されたポーズを使用してFalconGym 2.0内でターゲットを再レンダリングし、その結果を入力画像とSSIMを用いて比較します。これにより、幾何学的一貫性が強制され、特にヨー（yaw）におけるポーズ誤差が修正されます。

3. 物理学に基づいた追跡コントローラ

追跡コントローラは、知覚モジュールの出力とターゲットのダイナミクスを融合して、堅牢な追跡を実現します。

• 状態推定: 拡張カルマンフィルタ（EKF）は、知覚モジュールからの生のポーズ推定値と、クラス固有のダイナミクス事前分布（例：F1-tenth用のDubins carモデル、クアッドローター用の剛体ダイナミクス、ゲート用の二重積分器）を融合します。これにより、ノイズを平滑化し、一時的な視界外イベントからの復帰を可能にします。
• ビジュアルサーボイング: ポーズベースのビジュアルサーボイング（PBVS）コントローラは、EKFで推定された状態と、ターゲットクラスに特有の所望の相対オフセットを使用して、ボディフレームの速度およびヨーレートのコマンドを生成します。

主な貢献

1. 自動ラベル付けパイプライン: 手動アノテーションなしで、多様で不規則なオブジェクトに対してフォトリアルで自動ラベル付けされたデータセットを生成する手法であり、sim-to-realのギャップを大幅に縮小します。
2. 統合マルチヘッド知覚: 段階的学習と再投影の一貫性を採用した知覚アーキテクチャにより、3つの幾何学的に異なるオブジェクト（F1-tenth車両、クアッドローター、ゲート）および未知の背景に対して、ゼロショット転移を達成します。
3. 物理学に基づいた追跡: クラス条件付きのダイナミクス事前分布をEKFに統合したクローズドループ追跡システムにより、複数のターゲットタイプおよび軌道にわたって、実機のハードウェア上で堅牢な追跡を可能にします。

実験結果

フレームワークは、FalconGym 2.0シミュレーションおよび2つの環境における実機のクアッドローター（NVIDIA Jetson Orin）を用いて評価されました。

• 知覚性能:
  • フル版のFalconTrackモデルは、ゼロショットのsim-to-real転移において96–100%のクラス精度を達成しました。
  • 平均移動誤差（MTE）および平均角度誤差（MAE）において、ベースライン（PnPおよびニューラルポーズ推定器）を上回りました。
  • アブレーション研究により、段階的学習と再投影損失の両方がポーズ精度を大幅に向上させることが確認されました。
• 追跡性能:
  • 成功率: FalconTrackは、シミュレーションおよび実機試験の両方において、F1-tenthおよびゲートターゲットのクローズドループ追跡で100%の成功を達成しました。
  • 堅牢性: 実世界のF1-tenth追跡において、FalconTrackは100%の成功率を維持しましたが、マスク中心のビジョンベースラインは、高速な視界外シナリオ中に60%の成功率に低下しました。
  • リアルタイム動作: オンボードシステムは約25 Hzで動作し、リアルタイム制御に十分な速度です。
• 運用設計領域（ODD）: システムは、ターゲットとの距離が2から6ボディ長の間で信頼性の高い性能を示します。

意義と主張

論文は、FalconTrackが不規則なオブジェクトに対するフォトリアルな画像合成と自動ラベル付けの間のギャップを正常に埋めたと主張しています。自動ラベル付けパイプラインと物理学に基づいた追跡コントローラを組み合わせることで、システムは手動アノテーションやターゲットごとの再学習を必要とせずに、堅牢なゼロショットのsim-to-real転移を実現します。著者らは、自身のアプローチが異なるオブジェクトの形状や環境を横断して汎用できることを強調しており、静的なゲートに限定されていたり、手動アノテーションを必要としたり、未知のターゲットへの汎用性に欠けたりといった従来の手法の限界を克服しています。

著者らは現在の制限についても謙虚に述べています。システムは一度の実行につき単一のターゲットを想定しており、初期のGSplat再構成のために短いビデオを必要とするため（未知のオブジェクトに対するオープンワールド展開を制限する）、また、安全上の制約から、非常に高速なターゲット（>2 m/s）やクアッドローター対クアッドローターのシナリオについてはまだ検証されていないとしています。