Synthetic Flight Data Generation Using Generative Models

以下是基于论文《Synthetic Flight Data Generation Using Generative Models》（使用生成模型生成合成飞行数据）的详细技术总结：

1. 研究背景与问题 (Problem)

航空领域日益依赖人工智能和机器学习来优化运营、减少延误并提高决策效率。然而，该领域面临以下核心挑战：

• 数据稀缺与隐私限制：由于严格的隐私法规、商业竞争和监管壁垒，获取全面、高质量的真实飞行数据（特别是涉及延误、取消、改道等关键事件）非常困难。
• 类别不平衡：关键事件（如航班取消、改道）在历史数据中发生频率极低，导致机器学习模型难以训练和泛化（类别不平衡问题）。
• 现有研究的不足：虽然合成数据生成（SDG）在其他领域（如金融、医疗）已有应用，但在航空交通管理（ATM）中的应用尚处于探索阶段。现有的研究多关注下游预测任务，而缺乏对合成数据本身质量（统计相似性、保真度、多样性及预测效用）的严格评估。

研究目标：评估生成式模型（特别是 TVAE 和高斯 Copula）生成逼真合成飞行数据的可行性，并验证其是否能有效支持航班延误预测等下游任务。

2. 方法论 (Methodology)

2.1 数据来源与预处理

• 数据集：使用美国交通统计局（BTS）的 TranStats 数据库，选取 2023 年 1 月纽约州所有航班的到达和出发数据。
• 规模：原始数据包含约 61,000 次航班，109 个特征。经过清洗和特征工程后，保留了 30 个关键特征（包括分类、数值、日期时间类型）。
• 预处理策略：
  • 处理缺失值：将缺失值列拆分为“数值/类别列”和“缺失指示列”。
  • 时间特征处理：将本地时间转换为 UTC 时间，并计算相关的时间差特征。
  • 数据分块：为了解决特征间的依赖关系（如出发时间与机场的关联），将数据组织为三个不同的 DataFrame（df_utc_ts, df_utc_d, df_utc_d_2），分别输入模型进行测试。

2.2 生成模型

研究对比了两种主流生成模型：

1. 表格变分自编码器 (TVAE)：基于深度学习的模型，通过编码器将输入映射到潜在空间分布，解码器重构数据。旨在捕捉复杂的非线性关系。
2. 高斯 Copula (GC)：基于统计学的模型，通过转换边缘分布并利用高斯 Copula 函数模拟变量间的依赖结构。

2.3 实验设计

进行了 5 组实验，对比不同模型在不同特征组合下的表现：

• TVAE 实验：分别使用 df_utc_ts (时间戳), df_utc_d (持续时间), df_utc_d_2 (包含实际起飞时间的增强版) 作为输入。
• GC 实验：使用 df_utc_ts 和 df_utc_d_2 作为输入。
• 规模限制：由于内存限制，GC 仅能处理 5,000 条数据，而 TVAE 可处理约 61,000 条数据。

2.4 四阶段评估框架

研究提出了一个全面的评估框架：

1. 多样性 (Diversity)：使用 PCA 可视化数据分布，检查合成数据是否覆盖了真实数据的聚类结构；检查类别平衡（延误/准点比例）。
2. 统计相似性 (Statistical Similarity)：
   • 单变量分布：使用总变差距离 (TVD) 和 Kolmogorov-Smirnov 检验。
   • 双变量关系：使用相关性相似度和列联相似度。
3. 保真度 (Fidelity)：训练 7 种分类器（如随机森林、SVM 等）区分真实数据和合成数据。分类准确率越低，说明合成数据越逼真。
4. 预测效用 (Predictive Utility)：训练 16 种回归模型预测航班到达延误时间。
   • TRTR：真实数据训练，真实数据测试（基线）。
   • TSTR：合成数据训练，真实数据测试（评估合成数据的替代能力）。

3. 关键贡献 (Key Contributions)

1. 构建了航空领域的合成数据评估框架：首次系统地提出了包含统计相似性、保真度、多样性和预测效用四个维度的评估标准，专门针对航空飞行数据。
2. 模型对比与权衡分析：深入比较了 TVAE 和 GC 在航空数据上的表现，揭示了数据规模与统计质量之间的权衡（Trade-off）。
3. 特征工程优化：发现将时间特征从“时间戳”转换为“持续时间”并显式包含关键依赖特征（如 Taxi In Time），能显著提升生成数据的质量。
4. 验证了合成数据的实用性：证明了在特定条件下，使用合成数据训练的模型在预测航班延误时，其精度可与使用真实数据训练的模型相媲美。

4. 主要结果 (Results)

4.1 多样性与特征选择

• TVAE：对特征类型非常敏感。直接使用时间戳（datetime）导致模型无法学习潜在模式（后验坍塌）。将特征转换为数值型持续时间（df_utc_d_2）后，显著改善了数据多样性和类别平衡，成功捕捉到了延误起飞的模式。
• GC：对特征选择和数据类型具有更强的鲁棒性，即使在时间戳格式下也能保持数据的完整变异性。

4.2 统计相似性与保真度

• GC 表现更优：GC 生成的合成数据在统计相似性（边缘分布和双变量关系）和保真度（分类器难以区分真假数据）方面均优于 TVAE。GC 的平均统计相似度达到 89.06%，而 TVAE 为 81.47%。
• 保真度得分：GC 实验的平均分类准确率仅为 66.93%（越低越好），表明其生成的数据极难与真实数据区分。

4.3 预测效用 (核心发现)

• TVAE 胜出：尽管 GC 的统计质量更高，但TVAE 生成的合成数据在预测任务中表现更好。
  • 原因：GC 受限于计算资源，仅生成了约 2,400 条清洗后的数据，而 TVAE 生成了约 52,000 条。
  • 影响：在预测航班延误时，TSTR 模式下，TVAE 的平均绝对误差 (MAE) 约为 11.06 分钟，与真实数据基线 (11.50 分钟) 相当；而 GC 的 MAE 高达 14.66 分钟，R² 仅为 0.66（基线为 0.86）。
  • 结论：对于需要捕捉复杂模式（如特定航线的延误规律）的任务，数据规模（覆盖所有航线模式）比单纯的统计相似性更重要。GC 的小样本导致无法充分学习稀有事件和特定航线的特征。

5. 意义与结论 (Significance & Conclusion)

• 解决数据瓶颈：该研究证明了合成数据是解决航空领域数据稀缺和隐私问题的可行方案，能够支持机器学习模型的训练。
• 模型选择指南：
  • 如果目标是极致的统计保真度且数据量较小，高斯 Copula (GC) 是更好的选择。
  • 如果目标是大规模应用和下游预测任务（如延误预测），TVAE 更具优势，因为它能高效处理大规模数据并保留足够的模式多样性。
• 未来方向：
  • 利用更强的算力在更大规模数据集上测试 GC。
  • 解决 TVAE 的后验坍塌问题，优化其对数据类型的敏感性。
  • 探索生成数据中“新航线”的合理性，并纳入更多关键事件（如取消、改道）的生成。

总结：这项研究不仅展示了生成式 AI 在航空数据领域的潜力，还通过严谨的评估框架揭示了“统计质量”与“预测效用”之间可能存在的脱节，强调了在合成数据生成中数据规模和特征工程的关键作用。