技術要約：Transformerを用いたUTMにおける安全性に直結するシナリオの解明

1. 問題提起

無人航空機交通管理（UTM）システムは、共有空域における複数の無人航空機（UAV）の調整に不可欠なクラウドベースのプラットフォームである。これらのシステムは安全性が極めて重要であり、衝突や墜落といった失敗は許容されない。しかし、UTMシステムの潜在的な脆弱性を発見することには、特有の課題が存在する：

• データの不均衡と自己修復機能： 現代のUTMシステムは、多くの失敗を自動的に防ぐ自己修復機能を備えている。その結果、過去の運用データは安全な軌道が支配的となり、極めて重要な失敗シナリオが非常に稀で発見が困難な「ロングテール効果」が生じている。
• 最適なデモンストレーションの欠如： 標準的な強化学習（RL）タスクとは異なり、学習すべき失敗状態の明確な「エキスパートによるデモンストレーション」も、脆弱性を発見するための明確な報酬信号も存在しない。
• 複雑性： 脆弱性は、単純なコンポーネントの故障ではなく、微妙なマルチエージェント間の実行時相互作用から発生することが多く、複雑な時間的依存関係を持つ高次元の状態空間の探索を必要とする。

エキスパートによるストレス・テストやルールベースのシナリオ生成といった従来のテスト手法では、この広大なパラメータ空間を効率的にナビゲートして、稀なクリティカルなエッジケースを発見することは困難である。

2. 手法

著者らは、UTMの脆弱性発見を、Transformerベースのオフライン強化学習（RL）によって解決可能なシーケンスモデリング問題として定式化することを提案している。その核心となる仮説は、潜在空間においてシステムの状態、アクション（異常摂動）、および結果の関係をモデル化することで、明示的なワールドモデリングやオンライン探索を必要とせずに、失敗を誘発するための最適なアクションを予測できるというものである。

2.1 フレームワークのアーキテクチャ

提案されるフレームワークは、主に2つのモジュールで構成される：

1. ポリシーモデル (PM)： ジェネレーティブ・エンジンとして機能するTransformerベースのアーキテクチャ（具体的にはDecision Transformerの変種）。
   • 入力： 履歴およびリアルタイムのシステム状態（UAV、環境、ミッションデータの観測値）、Returns-to-go（将来の累積報酬）、およびアクションを処理する。
   • メカニズム： 自己注意（Self-attention）メカニズムを利用して、複雑な時間的依存関係とエージェント間の相互作用を捉える。このモデルは、望ましい将来の報酬（具体的には高リスクな報酬）を条件として、次に行うべきアクションを予測するように訓練される。
   • 学習目的： 次のアクションの予測誤差とReturns-to-goの推定誤差の両方を最小化するというデュアル目的によって最適化される。これにより、モデルはエキスパートの行動を直接模倣するのではなく、オフラインデータから基礎となるシステムダイナミクスや「世界の特性」を学習することができる。
2. アクションサンプラー (AS)： 物理的な妥当性と制約を強制するドメイン固有のモジュール。
   • 機能： PMが生成したアクションをフィルタリングし、それらがUTMドメインのルールに従っていることを保証する。
   • 選好バイアス (Preference Bias)： 失敗データの不足に対処するため、ASは「選好バイアス」メカニズムを導入する。これは、人間の専門知識と最近の軌道とターゲット分布との距離に基づいてサンプリング分布を動的に調整し、ロングテール効果を緩和し、アクション選択の公平性（例：Top-Kサンプリングの使用）を向上させる。

2.2 定式化

本問題は、クリティカルな失敗状態（$S_{crit}$）への遷移確率を最大化する方策 $\pi$ を見つけることを目的としたマルコフ決定過程（MDP）として定式化される。

• 状態空間 ($S$): 時間窓内における $N$ 台のUAVに関する、時間的、空間的、およびミッション情報の結合。
• アクション空間 ($A$): 特定のUAVまたはシステムコンポーネントを対象とした、離散的な注入操作（例：風による乱れ、ネットワークジッター、障害物）。
• 報酬 ($r$): システムを不安定化させる方向へ押し進める遷移を優先するように設計された、リスクベースの報酬関数。

3. 主な貢献

• 脆弱性発見の再定式化： 本論文は、従来のポリシーベースの動的進化や反復的な編集手法から離れ、Decision Transformerを用いたシーケンスモデリング問題としてUTMテストを再定義するという、新しいアプローチを導入した。
• ハイブリッド学習戦略： 本フレームワークは、逆強化学習（エキスパートの行動だけでなく、世界の特性を学習する）の強みと、Transformerの潜在空間モデリング能力を組み合わせている。
• 選好バイアスを備えたアクションサンプラー： 安全なシナリオとクリティカルなシナリオの間の深刻なデータ不均衡に対処するために、人間の専門知識と動的な補償戦略を取り入れたアクションサンプラーを導入した。
• スケーラブルなアーキテクチャ： Transformerアーキテクチャの使用により、UAVの数や時間的コンテキストの複雑さに応じてシステムを効果的にスケールさせることが可能となり、この領域におけるRNNやGNNの限界を克服している。

4. 実験結果

本フレームワークは、多様な地理的領域（農村部、郊外、都市部）をカバーする約170億トークンの大規模なオフラインデータセットを含む、業界レベルのシミュレータを用いて評価された。2つのモデルサイズ（PM-1.2BおよびPM-2B）がテストされた。

• 効率性の向上： 本フレームワークは、エキスパートによる搾取（Exploitation）と比較して、脆弱性発見の効率において8倍の改善を示した。
• クリティカルなエッジケースの発見： システムは、従来のメソッドやスモークテストが検出できなかったクリティカルなエッジケースおよび失敗モード（FPM：100万フライトあたりの故障数で測定）を正常に発見した。例えば、PM-2Bモデルは、ベースラインのスモークテストでは完全に見逃されていた失敗モード（SPMおよびFPM）を検出した。
• 汎化性能： モデルは強力な汎化能力を示し、インドメイン領域と比較して、未知の農村部および都市部（分布外領域：OOD）においても効果的に機能した。
• スケーリング効果： より大きなモデル（PM-2B）は、アクションの質、効率性、および高リスクなシナリオを継続的に維持する能力（Constant-Pressure Action Ratio）において、一貫してより小さなモデル（PM-1.2B）やベースラインを上回った。

5. 意義と主張

著者らは、本研究が安全性に直結するシステムのテストにおける重要な進歩であると主張している。Transformerベースのシーケンスモデリングを活用することで、本フレームワークは、従来のテストを悩ませてきた「ロングテール効果」と最適な失敗デモンストレーションの欠如を克服している。

• 効率性： エキスパートによる指導型の手法よりも8倍速く、標的を絞った高リスクなシナリオを生成できる能力は、脆弱性の特定を大幅に加速させる。
• 稀なバグの発見： ルールベースや従来のストレス・テストが見逃してしまう創発的な失敗モードを発見する能力は、ミッションクリティカルなシステムを強化する可能性を浮き彫りにしている。
• 将来の可能性： 本論文は、このエンドツーエンドの自己回帰学習アプローチが、適切なガードレールが設けられている限り、自動運転車や産業制御システムなどの他の安全性に直結するドメインにおけるテストの新たな方向性を切り開くものであることを示唆している。

著者らは、本フレームワークはテスト効率を大幅に向上させているものの、すべてのタイプのアクションの分布を完全にバランスさせるには至っていないことを認め、アクションサンプリング戦略におけるさらなる洗練の必要性を示唆するなど、控えめな姿勢を維持している。