💬 NLP

LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

本文提出了 LLM4Delay 框架，通过跨模态适应策略将文本航空信息与飞机轨迹表示融合到大语言模型中，从而在终端区场景下实现了比现有方法更精准的航班延误预测。

原作者： Thaweerath Phisannupawong, Joshua Julian Damanik, Han-Lim Choi

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Thaweerath Phisannupawong, Joshua Julian Damanik, Han-Lim Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 LLM4Delay 的新系统，它的核心任务非常明确：预测飞机落地后还需要多久才能停到登机口（即“延误”时间）。

为了让你更容易理解，我们可以把整个航空系统想象成一个繁忙的超级高速公路收费站，而这篇论文就是给这个收费站装上了一个超级聪明的“交通指挥官”大脑。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心问题：为什么飞机落地了还在“堵车”？

想象一下，你开车到了高速收费站的出口（机场），虽然车已经下高速了（飞机进入了终端管制区 TMA），但前面排队太长，或者地面交通太堵，导致你还要在原地等很久才能开到停车场（登机口）。

以前的做法：以前的预测系统就像是一个只会看表格的会计。它只记录几个死数字：比如“今天天气怎么样”、“这架飞机飞了多久”、“前面有多少辆车”。它不懂复杂的语境，如果天气报告是一长串复杂的代码，或者前面的车流量是动态变化的，它就容易算错。
现在的痛点：空中交通管制员（ATC）就像现场的交通警察，他们脑子里要同时处理很多信息：飞机的飞行轨迹、天气报告、机场的临时通知（比如跑道维修）、以及周围其他飞机的动态。以前的电脑系统很难把这些“文字”和“动态轨迹”结合起来看。

2. 解决方案：LLM4Delay（给指挥官装上了“超级大脑”）

这篇论文提出的 LLM4Delay，就是给这个系统装上了一个大语言模型（LLM）的大脑。

什么是大语言模型（LLM）？ 你可以把它想象成一个读过全世界所有书、懂所有人类语言的超级学霸。它擅长理解复杂的文字，比如读懂复杂的天气报告、机场通知，甚至能理解“因为前面有雷暴，所以我们要绕路”这种逻辑。
它的特殊能力：这个系统不仅会读文字，还能看懂飞机的飞行轨迹（就像看视频回放）。它能把“文字信息”和“飞行轨迹”融合在一起，形成一个完整的“故事背景”。

3. 它是如何工作的？（三个关键步骤）

第一步：收集“情报”（多模态输入）

这个系统会收集三类信息，就像侦探破案一样：

文字情报：航班计划、天气报告（METAR/TAF）、机场临时通知（NOTAM）。这就像看新闻和天气预报。
主角的轨迹：这架飞机自己飞行的路线。
配角们的轨迹：周围其他飞机的飞行路线。这就像看周围的车流，如果周围车都堵死了，主角肯定也跑不快。

第二步：神奇的“翻译官”（跨模态适应）

这是论文最厉害的地方。

难题：大语言模型（LLM）是学“文字”的，它看不懂“飞行轨迹”这种时间序列数据（就像让一个只懂中文的人直接看数学公式，他看不懂）。
创新：作者发明了一种叫**“实例级投影”（Instance-level Projection）**的技术。
- 比喻：想象有一个超级翻译官。他先把复杂的“飞行轨迹”翻译成“人类能听懂的故事片段”，然后把这些故事片段喂给那个“超级学霸（LLM）”。
- 以前的方法是把轨迹切成碎碎的“像素点”让模型猜，而这个新方法直接把整个“飞行故事”打包好，告诉模型：“看，这是一架正在排队进站的飞机，周围很堵。”

第三步：预测未来

有了这些丰富的信息，LLM 就能像经验丰富的老交警一样，结合当前的天气、周围的拥堵情况和飞机的状态，精准地预测：“这架飞机还需要 15 分钟才能停好。”

4. 为什么它比以前的方法好？

以前的系统（表格派）：像是一个只会填 Excel 表格的实习生。如果天气报告格式变了，或者多了一架飞机，它可能就懵了。它只能处理固定格式的数据。
LLM4Delay（智能派）：像一个经验丰富的老交警。
- 灵活：它能读懂各种格式的文字（哪怕是乱糟糟的天气代码）。
- 全局观：它不只盯着这一架飞机，还能看到周围所有飞机的动态（就像交警能看到整个路口的车流）。
- 实时更新：随着新信息（比如突然下雨了，或者前面那辆车开走了）不断传来，它能实时修正预测时间。就像你导航软件里的“预计到达时间”会随路况实时变化一样。

5. 实验结果：真的准吗？

作者用韩国仁川机场 2022 年的真实数据进行了测试。

结果：LLM4Delay 的预测准确度远超以前所有的预测模型（无论是只看表格的，还是只看轨迹的）。
比喻：以前的预测可能误差在 5-10 分钟，而这个新系统能把误差缩小到1 分钟以内。对于机场调度来说，这 1 分钟的精准度意味着地勤人员可以提前安排行李搬运、清洁和加油，避免飞机在停机坪上干等，从而节省大量时间和金钱。

总结

这篇论文的核心思想就是：不要只把飞机延误看作冷冰冰的数字，要把它看作一个包含天气、文字通知和周围车流动态的复杂“故事”。

通过利用大语言模型强大的理解能力，配合一种新的**“翻译”技术**，让电脑像人类专家一样去“阅读”和“理解”航空数据，从而做出更聪明、更精准的延误预测。这不仅能让乘客少等一会儿，更能让整个机场的运转像钟表一样精准。

这是一份关于论文《LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation》的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：
随着航空交通量的增长，空中交通管理（ATM）系统面临容量不足的挑战，导致航班延误。延误不仅影响运营效率，还涉及安全问题。传统的延误预测方法通常基于表格数据（如航班计划、天气数值）或单一轨迹数据，存在以下局限性：

固定维度限制： 传统机器学习模型需要固定长度的特征向量，难以处理可变长度的文本（如 METAR、TAF、NOTAM）和动态变化的轨迹数据。
信息割裂： 现有方法往往难以同时整合非结构化的文本信息（如天气报告、航行通告）和结构化的时间序列轨迹数据。
上下文缺失： 大多数基于轨迹的方法仅关注单一飞机的轨迹，忽略了空域内的交通拥堵（其他飞机轨迹）和整体空域环境。

核心问题：
本文聚焦于**终端阶段后（Post-terminal phase）**的延误预测，即飞机进入终端机动区（TMA）后直到降落的延误。目标是利用空中交通管制员（ATC）视角的多模态数据（文本 + 多轨迹），预测飞机在 TMA 内的剩余飞行时间（ $\Delta t_{post}$ ），从而推算总延误。

2. 方法论 (Methodology)

论文提出了 LLM4Delay 框架，这是一个基于大语言模型（LLM）的多模态预测框架。其核心创新在于将时间序列轨迹数据适配到语言模态，实现跨模态融合。

A. 数据构建与多模态输入

模型输入被定义为场景 $s_{i,t}$ ，包含以下两部分：

文本提示（Textual Prompts）：
- 航班信息（ $P^F$ ）：航班号、起降机场、机型等。
- 天气报告（ $P^M$ ）：METAR（当前天气）。
- 天气预报（ $P^T$ ）：TAF（未来天气）。
- 航行通告（ $P^N$ ）：NOTAM（空域限制、跑道关闭等）。
- 特点： 直接保留原始航空编码格式，无需人工规则解析，利用 LLM 的语义理解能力。
轨迹数据（Trajectory Data）：
- 聚焦轨迹 ( $X^f$ )： 目标飞机的轨迹。
- 活跃轨迹 ( $X^a$ )： TMA 内其他飞机的实时轨迹，反映当前拥堵。
- 历史轨迹 ( $X^p$ )： 已完成的历史轨迹，反映历史模式和地面交通影响。
- 特点： 将轨迹视为时间序列，包含位置、速度、方向等 9 维特征。

B. 核心架构：LLM4Delay

框架由三个主要部分组成：

预训练轨迹编码器 (Frozen Trajectory Encoder, $f_{enc}$ )：
- 在 ATFMTraj 数据集上通过自监督学习（如对比学习）预训练。
- 负责将多组轨迹（ $X^f, X^a, X^p$ ）压缩为实例级嵌入（Instance-level Embeddings）。这一步提取了轨迹的语义特征（如机动程序模式），而非原始的时间点数据。
跨模态适配层 (Cross-Modality Adaptation, $f_{xa}$ )：
- 创新点：实例级投影（Instance-level Projection）。
- 这是一个轻量级的 MLP 网络，将轨迹编码器输出的实例级嵌入映射到 LLM 的嵌入空间维度。
- 优势： 与现有的“分块重编程”或“片段嵌入”不同，该方法直接利用预训练好的高层语义，让 LLM 直接理解轨迹的整体含义，而非让 LLM 从零学习时间依赖关系。
大语言模型骨干 (Frozen LLM Backbone, $f_{llm}$ )：
- 使用开源小参数 LLM（如 Pythia-1B, LLaMA-1B）。
- 接收文本提示的 Token 嵌入和经过适配的轨迹嵌入，将它们拼接成序列。
- LLM 作为特征提取器，输出最后隐藏状态作为场景的汇总表示。
回归头 (Regression Head, $f_h$ )：
- 一个 MLP 层，将 LLM 的输出映射为标量预测值 $\hat{y}_i$ （即 $\Delta t_{post}$ ）。

C. 训练策略

冻结参数： 预训练的 LLM 和轨迹编码器参数保持冻结，仅训练适配层（ $f_{xa}$ ）和回归头（ $f_h$ ）。
损失函数： 使用 Smooth L1 Loss，对异常值鲁棒。
推理更新： 随着新信息（新的轨迹点、更新的天气）到达，模型可以连续更新预测，模拟 ATC 的实时监控过程。

3. 主要贡献 (Key Contributions)

LLM4Delay 框架： 首个将航空文本（METAR, TAF, NOTAM）与多轨迹时间序列数据统一整合到预训练 LLM 中进行延误预测的框架。
实例级投影技术 (Instance-level Projection)： 提出了一种高效的跨模态适配方法。不同于将时间序列切分为碎片化 Token 或特征片段，该方法利用预训练编码器提取完整的轨迹语义，并将其投影到语言空间，显著提升了 LLM 对复杂空域状态的理解能力。
多模态数据集与实证： 构建了包含仁川国际机场 2022 年全年的公开多模态数据集，证明了文本与轨迹数据的互补性。
操作相关性： 展示了模型能够随着新数据流入实时更新预测，具有实际空中交通管理的部署潜力。

4. 实验结果 (Results)

实验在仁川国际机场 2022 年 12 个月的数据集上进行，对比了多种基线模型。

与基线模型对比：
- LLM4Delay 在 MAE（平均绝对误差）、MSE 和 SMAPE 等指标上均显著优于传统的表格模型（如 XGBoost, Random Forest）和基于轨迹的深度学习模型（如 LSTM, Transformer, TCN）。
- 关键发现： 仅使用单一轨迹的模型性能远不如 LLM4Delay，证明了引入多轨迹（活跃和历史）和文本上下文的重要性。
跨模态适配技术对比：
- 与 Tokenization（直接序列化数字）、Patch Reprogramming（Time-LLM）、Segment Embedding（AutoTimes）相比，实例级投影取得了最佳性能。
- 这表明让 LLM 直接处理高层语义（实例级）比让其从低层片段中推断时间依赖更有效。
消融实验：
- 轨迹编码器： 使用 TS2Vec 预训练的编码器效果最好（R² 达到 0.8634）。
- LLM 骨干： Pythia-1B 表现优于 LLaMA 和 Qwen 系列，表明在特定领域任务中，预训练语料的质量比参数量或指令微调更重要。
- 上下文重要性： 移除所有轨迹数据导致性能大幅下降（MAE 增加约 2.2 分钟），证明轨迹是核心因素；但移除文本数据（如 NOTAM、TAF）也会导致性能下降，证明文本提供了关键的补充信息。
可视化分析：
- 注意力热力图显示，模型不仅关注轨迹数据，也能在特定样本中关注关键文本（如恶劣天气或跑道关闭通告）。
- 实时演示显示，随着时间推移，预测误差逐渐收敛并稳定在 1 分钟以内，符合实际运营需求。

5. 意义与价值 (Significance)

理论创新： 成功解决了时间序列数据与大语言模型之间的模态鸿沟，提出了一种新的“实例级语义对齐”范式，为多模态时间序列预测提供了新思路。
实际应用：
- 辅助管制决策： 为空中交通管制员提供实时的、基于多源信息的延误预测，帮助其更好地管理 TMA 内的交通流。
- 地面服务优化： 准确的到达时间预测有助于优化行李处理、加油、清洁等地面保障资源的调度。
- KPI 监控： 支持 ICAO 全球空中航行计划（GANP）中关于终端空域额外时间和滑行时间的关键绩效指标（KPI）监控。
可扩展性： 框架设计灵活，仅训练少量参数即可适配不同的 LLM 骨干，易于扩展到更强大的模型或其他航空任务（如冲突检测、路径规划）。

总结：
LLM4Delay 通过巧妙结合预训练 LLM 的语义理解能力和预训练轨迹编码器的时空特征提取能力，利用“实例级投影”技术实现了多模态数据的高效融合。该方法不仅在预测精度上超越了现有最先进模型，还展示了在动态变化的航空环境中进行实时预测的可行性，具有重要的学术价值和广阔的工程应用前景。