E2E-Fly: 四脚ドローン（クアッドコプター）の自律飛行のための統合トレーニングからデプロイまでのシステムの技術的概要

本論文は、シミュレーションから実世界への移行（Sim-to-Real）が依然として困難である四脚ドローンのエンドツーエンド学習制御において、E2E-Fly という統合フレームワークを提案しています。このシステムは、微分可能な物理学習（Differentiable Physics Learning）をトレーニング、検証、実世界へのデプロイメントまで一貫して統合し、ゼロショット転移（事前調整なしの実機適用）を可能にします。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と課題 (Problem)

四脚ドローンの自律化において、エンドツーエンド学習（センサー入力から直接アクチュエータ命令を出力）は注目されていますが、実世界への適用には以下の重大な課題が存在します。

• 非効率なシミュレーションと物理モデルの誤差: 従来のシミュレーターは視覚レンダリングが遅く、物理モデルの精度が低いため、学習効率が悪い。
• センサーの不一致: 実機とシミュレーション間のセンサーノイズや遅延の差異が、学習済みポリシーの性能を著しく低下させる。
• 統合プラットフォームの欠如: 微分可能な物理学習をトレーニングから実機デプロイまで一貫してサポートする統合システムが存在せず、再現性や実世界展開が阻害されている。
• 検証の難しさ: 実機での試行錯誤は墜落による破損リスクが高く、安全かつ迅速な検証手法が不足している。

2. 提案手法：E2E-Fly (Methodology)

E2E-Fly は、トレーニング、検証、デプロイメントの全工程をカバーするフルスタックフレームワークです。

A. トレーニングパイプライン

• 高速レンダリングシミュレーター (VisFly): Habitat-sim を基盤とした微分可能なシミュレーターを使用。RGB、深度、セマンティックセグメンテーションなどのマルチモーダル観測を高速（最大 6000 FPS）で生成し、四脚ドローンのダイナミクスを通じてエンドツーエンドの微分を可能にします。
• 学習アルゴリズム:
  • 強化学習 (RL): PPO などのブラックボックス手法。
  • 微分シミュレーション (BPTT): 物理モデルの解析的な勾配を利用した「Time-Through Backpropagation」。これにより、サンプル効率と収束速度が飛躍的に向上します。
• 構造化された報酬設計: 特定のタスクに依存せず、一般的な四脚ドローン制御に適用可能な報酬設計ガイドラインを提供します（進行度、動作の滑らかさ、姿勢、速度、衝突回避などの要素を組み合わせる）。
• カリキュラム学習: 複雑なタスク（高速障害物回避など）に対して、単純なタスクから段階的に難易度を上げる学習戦略を採用。

B. 検証戦略 (Validation)

実機デプロイ前に、以下の 2 段階の検証を行います。

1. Sim-to-Sim 転移: 学習環境（VisFly）から高忠実度シミュレーター（AirSim）へポリシーを転移し、制御ロジックの一貫性を確認。
2. ハードウェア・イン・ザ・ループ (HIL): 実機のモーションキャプチャシステムとシミュレータを連携させ、実機の姿勢情報で仮想環境を駆動します。これにより、実機を安全に動かしながら仮想の障害物と相互作用させる検証が可能になります。

C. 実世界デプロイメントと Sim-to-Real 整合 (Alignment)

実機へのゼロショット転移を実現するため、4 つの整合手法を適用します。

1. システム同定 (System Identification): 質量、慣性モーメント、モーター - プロペラ特性（推力 - 回転数関係）を高精度に計測・モデル化。
2. 遅延補償 (Latency Compensation): 通信遅延やモーター応答遅延を特定し、シミュレーション内で動作フレームの遅延を調整して一致させます。
3. ドメインランダム化 (Domain Randomization): 学習中に初期状態や環境パラメータをランダム化し、ロバスト性を向上させます。
4. ノイズモデリング: 深度センサーや IMU などのセンサーノイズをシミュレーションに追加し、実世界のノイズ特性に近づけます。

D. ハードウェアプラットフォーム

実証実験用に 2 種類のドローンプラットフォームを開発・公開しました。

• VIS-R: オンボード計算（Intel N100 + Radax X4）を搭載し、リアルタイム推論を行う機体。
• VIS-H: 地上局から無線制御を行う機体で、HIL 検証や高負荷なモデル実行に適しています。
• 制御ブリッジ: 学習済みポリシーの出力を Betaflight 互換の低レベル制御コマンドに変換するオープンソースパッケージ betaflight-ctrl を提供。

3. 主要な貢献 (Key Contributions)

1. 初の統合システム: 微分可能な物理学習、構造化された報酬設計、シミュレーション検証、実世界デプロイメントを統合した初の四脚ドローン用フレームワーク。
2. ゼロショット転移の成功: 6 つの多様なタスク（ホバリング、着陸、追跡、レーシング、障害物回避など）において、実機への追加調整なし（ゼロショット）での成功したデプロイを達成。
3. BPTT と RL の比較検証: 微分シミュレーション（BPTT）が、従来の RL（PPO）と比較して、サンプル効率と収束速度において劇的に優れていることを実証（BPTT は PPO の約 30% 以下の時間で収束）。
4. オープンソース化: 2 つのハードウェアプラットフォーム、シミュレーターインターフェース、制御パッケージ、報酬設計マニュアルを公開し、研究の再現性とアクセシビリティを向上。

4. 実験結果 (Results)

• 学習効率: BPTT は PPO に比べて、ホバリング、着陸、追跡、レーシングのすべてのタスクで、より少ないステップ数（最大で 10 倍以上の効率化）で高報酬に収束しました。
• 視覚タスク: セマンティックセグメンテーションのみを用いた視覚着陸や、深度マップを用いた障害物回避レーシングにおいて、BPTT と PPO の両方で成功しました。特に視覚着陸では、BPTT が 100 万ステップ以下で学習を完了し、多様な形状の着陸台への一般化を示しました。
• 実機性能: 実機（VIS-R）および HIL 環境（VIS-H）での実験において、シミュレーションで学習したポリシーが、追加のチューニングなしで実世界でも安定した飛行とタスク遂行を実現しました（図 15 参照）。

5. 意義と結論 (Significance)

E2E-Fly は、四脚ドローンのエンドツーエンド学習研究における「シミュレーションから実世界への壁」を打破する重要な基盤を提供します。

• 研究の加速: 統合されたパイプラインにより、ポリシーの開発から実機評価までのサイクルが大幅に短縮され、デバッグと評価の安全性が向上します。
• 手法の融合: 探索能力に優れた RL と、高精度な制御と効率性に優れた微分シミュレーションの両方をサポートし、将来的には両者の長所を組み合わせたハイブリッドアプローチへの道筋を示しています。
• 再現性の向上: 詳細なハードウェア仕様、システム同定データ、および標準化されたトレーニングフローを提供することで、コミュニティ全体での研究の再現性と比較可能性を高めています。

本システムは、アジリティの高い自律飛行における学習ベースのアルゴリズムの実用化を加速させるための包括的なプラットフォームとして確立されました。