論文「LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation」の技術的サマリー

本論文は、航空交通管理（ATM）における「フライト遅延予測」の精度向上を目的とした新しいフレームワーク「LLM4Delay」を提案しています。従来の手法の限界を克服し、大規模言語モデル（LLM）と航空機軌跡データを統合したマルチモーダルアプローチを採用しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

• 課題: 航空需要の増加に伴い、航空交通管理システム（ATM）の容量超過による遅延が発生しています。特に、目的地空港の管制官（ATC）が監視する「ターミナル・マニューバリングエリア（TMA）進入後」の遅延予測は、地上サービスの調整や安全確保のために重要です。
• 既存手法の限界:
  • 従来の予測モデルは、固定長の数値特徴量（フライト情報、天気データ、交通量など）に依存しており、可変長のテキストデータ（TAF、NOTAM など）や、詳細な空域混雑を反映する複数の軌跡データを柔軟に扱えません。
  • 既存の軌跡ベースの手法は、単一の航空機の軌跡のみを考慮することが多く、周囲の航空機による空域混雑（コンジェスチョン）や、気象・運航上の制約といった文脈情報を十分に統合できていません。
  • 時系列データを LLM に適用する既存の適応技術（パッチ化やトークン化など）は、主に単一時系列の予測向けであり、複数の軌跡から「インスタンスレベル（個々の飛行パターン）」のセマンティクスを捉えるには不十分です。

2. 提案手法：LLM4Delay

LLM4Delay は、事前学習済みの LLM と事前学習済みの軌跡エンコーダを統合し、テキスト情報と複数の軌跡データをシームレスに融合するフレームワークです。

2.1 入力データのマルチモーダル化

予測対象のフライト $i$ について、以下の情報を統合した「シナリオ $s_{i,t}$」を構築します。

• テキストデータ:
  • フライト情報（フライト番号、航空会社、機体種別など）
  • 気象データ（METAR: 実況、TAF: 予報）
  • 運航上の注意（NOTAMs）
• 軌跡データ（時系列）:
  • フォーカス軌跡 ($X^f$): 対象フライト自身の TMA 進入後の軌跡。
  • アクティブ軌跡 ($X^a$): 同時刻に TMA 内に存在する他の航空機の軌跡（混雑状況の反映）。
  • 先行軌跡 ($X^p$): 過去に完了した類似フライトの軌跡（歴史的パターン）。

2.2 核心技術：インスタンスレベル・プロジェクション (Instance-Level Projection)

これが本論文の最大の技術的貢献です。

• 従来のアプローチ: 時系列データを小さなパッチや数字のトークンに分解し、LLM に「時系列の構造」を推論させます。これでは、複数の軌跡間の関係性や、飛行手順全体の意味を捉えるのが困難です。
• LLM4Delay のアプローチ:
  1. 事前学習済み軌跡エンコーダ ($f_{enc}$): 自己教師あり学習（TS2Vec など）で事前学習されたエンコーダを使用し、各軌跡（フォーカス、アクティブ、先行）を「インスタンスレベルの埋め込みベクトル（320 次元）」に変換します。これにより、軌跡全体の飛行手順やパターンが凝縮されます。
  2. クロスモーダル適応ネットワーク ($f_{xa}$): 軽量な MLP を用いて、上記の軌跡埋め込みベクトルを LLM の埋め込み空間（言語空間）にマッピングします。
  3. LLM 統合: マッピングされた軌跡ベクトルを、テキストプロンプト（フライト情報、天気、NOTAM など）の間に挿入し、LLM に入力します。LLM はこれらを「トークンの列」として扱い、文脈を統合して遅延を推論します。

2.3 学習パイプライン

• 固定化: LLM 本体、軌跡エンコーダ、テキスト埋め込みテーブルは凍結（Frozen）し、学習しません。
• 学習対象: 軌跡から言語空間へのマッピングを行うアダプタ（$f_{xa}$）と、最終的な回帰予測を行うヘッド（$f_h$）のみを学習させます。これにより、計算コストを低減しつつ、事前学習された知識を活用できます。
• 目的: TMA 進入から着陸までの所要時間（$\Delta t_{post}$）を回帰タスクとして予測します。

3. 主要な貢献

1. LLM4Delay フレームワークの提案: 航空分野のテキストデータと複数の軌跡時系列データを統合し、TMA 進入後の遅延を予測する初のマルチモーダル LLM ベースのフレームワーク。
2. インスタンスレベル・プロジェクション: 複数の軌跡から抽出された高レベルな意味（飛行手順やパターン）を、LLM の言語空間に直接マッピングする新しいクロスモーダル適応手法。
3. 公開データセット: 仁川国際空港の 2022 年データに基づき、フライト情報、気象、NOTAM、ADS-B 軌跡を統合したマルチモーダル遅延予測データセットを公開。
4. 実用的な更新機能: 新しい情報が入手されるたびに予測を逐次更新できる仕組みを示し、管制運用での実用性を検証。

4. 実験結果

仁川国際空港の 2022 年 1 年間のデータ（月別 12 データセット）を用いて評価を行いました。

• ベースラインとの比較:
  • 従来の表形式モデル（XGBoost, Random Forest など）や、単一軌跡のみを用いた時系列モデル（LSTM, Transformer など）と比較して、LLM4Delay はすべての評価指標（MAE, MSE, SMAPE, $R^2$）で顕著に高い精度を達成しました。
  • 特に、MAE（平均絶対誤差）は約 1.1 分（約 66 秒）であり、従来の最良手法（約 1.4 分）よりも精度が向上しました。
• 適応手法の比較:
  • 既存の「トークン化（LLMTIME）」や「パッチ再プログラミング（Time-LLM）」などの時系列適応手法と比較し、提案する「インスタンスレベル・プロジェクション」が最も優れていることを示しました。これは、LLM が低レベルの数字から時系列構造を推論するのではなく、高レベルな軌跡意味を直接利用できるためです。
• アブレーション研究:
  • エンコーダ: TS2Vec を用いた事前学習エンコーダが最も性能が良いことを確認。
  • LLM バックボーン: 10 億パラメータ以下の軽量モデル（Pythia-1B など）でも高い性能を発揮し、大規模な生成能力が必須ではないことを示しました。
  • コンテキスト: テキスト情報（気象、NOTAM）や複数の軌跡（アクティブ、先行）を除去すると性能が低下し、これらが補完的な役割を果たしていることが証明されました。特に軌跡データの除去は性能を大きく損なうため、最も重要であることが示されました。
• 可視化: トークンレベルの重要性分析により、軌跡データが予測に大きく寄与していること、かつテキスト情報が特定の状況で重要な役割を果たすことが確認されました。

5. 意義と将来展望

• 実運用への貢献: 管制官が TMA 進入後に得られる情報をリアルタイムで統合し、着陸までの時間を高精度に予測できます。これにより、地上サービスの調整やターミナル空域の混雑管理（ICAO KPI08, KPI13 など）に直接寄与します。
• 技術的革新: 時系列データとテキストデータを「インスタンスレベル」で統合する新しいパラダイムを示し、LLM を航空分野の複雑な時系列タスクに応用する道を開きました。
• 拡張性: 凍結されたバックボーンと学習可能なアダプタの構造により、より高性能な LLM や、画像・音声などの追加モダリティへの拡張が容易です。

総じて、LLM4Delay は、航空遅延予測において、テキストと軌跡データの相補性を最大限に活用し、従来の手法を超えた精度と実用性を実現した画期的な研究です。