Research on compression technology of meteorological big data based on satellite communication

技术摘要：基于卫星通信的气象大数据压缩技术

问题陈述
本文解决了通过卫星向远洋船舶传输高分辨率数值天气预报（NWP）数据的关键瓶颈问题。虽然全球气象数据（如来自ECMWF的数据）具有极高的空间和时间分辨率，但其数据量巨大（例如，ECMWF每个起报时刻的数据量约为15GB）。目前海事环境下使用的现有卫星通信系统（特别是中国的北斗三号和天通一号）面临严重限制。北斗三号短报文受到约14,000比特（区域）或560比特（全球）的限制；而天通一号虽然提供了更高的带宽（384 Kbps），但存在高功耗和高延迟的问题。因此，目前的海洋通信方法只能支持简单的信息交换，无法传输用于海上精确数值预报所需的大规模数据集。核心挑战在于如何在不丢失天气分析所需的必要气象特征的前提下，显著压缩这些数据集。

研究方法
作者提出了一种结合了有损和无损压缩技术的混合压缩算法，专门针对代表气象场的点云数据（以平均海平面气压，PRMSL，作为主要案例研究）进行设计。该过程包含四个主要阶段：

1. 尺度分离与数据处理：

   • 将原始高分辨率网格数据（0.125°）分解为多层网格嵌套方案（G100, G200, G300），分别对应不同的天气系统尺度（天气尺度和中尺度）。
   • 这涉及从嵌入式网格矩阵中提取核心特征值（MAX/MIN），以表示天气系统的强度和空间分布。

2. 初级有损压缩（降维平面八叉树编码）：

   • 为了在保留核心特征的同时消除冗余，作者设计了一种“降维平面八叉树编码”方案。
   • 数据被结构化为降维平面八叉树，其中每个节点代表一个体积单元。
   • 对八叉树结构的子节点应用莫顿编码（Morton coding）。如果子节点包含数据，则编码为“1”；否则编码为“0”。
   • 将代码为“00000000”（表示八个方向均无数据）的节点移除，从而实现数据集的去重。
   • 数据融合： 为了解决移除操作造成的“点云空洞”问题，采用了数据融合方法。如果某个网格在压缩后包含的数据点少于两个，则使用来自较粗尺度（DDLarge）的数据进行填充，以防止在等压面分析或天气系统边界检测中出现误差。

3. 次级无损压缩（三矩阵指针对称加密表）：

   • 为了在不丢失数据的情况下进一步减小体积，应用了基于“三矩阵指针对称加密表”的无损压缩算法。
   • 压力变换： 将 PRMSL 值（通常为 600–1400 hPa）平移 -500，将整数需求从 4 位降低到 3 位。
   • 矩阵切片： 将全球网格切分为 32 个区域（45°×45°）。
   • 指针编码： 算法利用三个嵌套的矩阵层级（G300, G200, G100）。系统不再传输原始值，而是传输指向这些矩阵中非空值位置的指针（行/列索引）。
   • 数据流组织结构为：区域代码 (QB) $\rightarrow$ G300 指针 $\rightarrow$ G200 指针 $\rightarrow$ G100 指针 $\rightarrow$ 实际 PRMSL 值。该结构使用对称加密表进行加密，以确保传输安全性。

4. 传输：

   • 压缩后的数据通过天通一号卫星进行传输，并且在理论上可以转换为北斗三号短消息。

核心贡献

• 混合算法设计： 本文引入了一种新型的两阶段压缩框架，将感知尺度的有损压缩（八叉树编码）与基于指针的无损压缩相结合。
• 气象特征保留： 与通用压缩不同，有损阶段专门设计用于保留不同尺度天气系统的“核心气象特征”，确保重建的数据在科学分析上保持有效。
• 卫星兼容性： 该算法经过专门优化，以适应海洋卫星通信（北斗三号短消息和天通一号带宽）的严格约束，实现了此前无法实现的 NWP 数据传输。
• 实地验证： 研究包含了在“粤展渔二号”科考船上的实地测试，验证了算法在实际海洋环境下的表现。

结果
研究利用 2021 年 7 月至 12 月的 ECMWF 数值预报数据进行测试：

• 压缩效率：
  • 原始数据： 约 13.9 MB（针对特定区域内的单个元素 PRMSL）。
  • 有损压缩后： 减少至约 29–31 KB（平均有损压缩率为 0.21%）。
  • 无损压缩后： 减少至约 1.6 KB（平均无损压缩率为 5.28%）。
  • 总压缩率： 实现的总压缩比约为 0.112‰（压缩倍率接近 10,000 倍）。
• 传输性能（天通一号卫星测试）：
  • 未压缩数据： 平均传输时间为 578.2 秒，且频繁出现中断和失败。
  • 有损压缩后： 平均时间缩短至 12.4 秒。
  • 全压缩后： 平均传输时间降至 5.2 秒，且传输稳定、无失败。
• 北斗三号转换： 压缩后的区域数据集 (QB(2,7)) 可容纳于 1 条北斗三号短消息中。一个全球单压缩数据集需要 32 条消息，而 10 天的全球数据集需要 1,664 条消息。

意义与主张
本文声称该技术解决了海洋气象大数据传输的瓶颈问题。通过将 13.9 MB 的文件减少到不足 1.7 KB，该算法使得在高带宽受限且不稳定的偏远海域，能够向船舶交付高分辨率数值预报产品。

• 及时性： 通过天通一号传输一个区域数据集仅需 5.2 秒，或者可以在几分钟内通过北斗三号短消息发送，满足了海洋航行的实时需求。
• 可靠性： 实地测试表明，与经常失败的未压缩数据相比，压缩数据的传输既稳定又可靠。
• 实际应用： 压缩后的数据可以在船上使用对称加密表进行解密，从而恢复数据以进行分析、图形绘制和系统集成。
• 知识产权： 作者指出，核心算法和传输优化方案已获得两项授权发明专利（中国 CN116683915B 和荷兰 NL2037367），证实了所提方法的创新性和技术成熟度。