Requirement-Driven Lossy Compression of Weather and Climate Fields

技术摘要：面向需求的降质压缩在天气与气候场中的应用

问题陈述
天气与气候数据存档的增长速度超过了存储能力的提升，使得降质压缩（lossy compression）成为必然。然而，由于缺乏信任，实际应用受到了阻碍：只有当重建结果的误差被限制在明确且可由机器校验的精度要求内时，该重建才是可用的。工程上的挑战不仅在于如何在固定速率下最小化失真，而是在满足由外部领域科学家定义、并由不受压缩器控制的参考校验器验证的约束条件下，实现压缩比的最大化。本研究解决了涉及业务化大气数据的五种不同压缩问题，涵盖了从带有缺失值的卫星场到具有多样化、逐变量精度要求的 ERA5 大规模集合变量。

方法论
作者提出了一种统一的架构，旨在通过“需求驱动”而非“数据驱动启发式”的方法来解决结构性不同的压缩问题。

1. 基于需求分析的编解码器选择： 系统并非根据数据统计特性来选择编解码器，而是分析精度要求的结构（例如：绝对界限与相对界限、逐点界限与均值界限、导数界限）。基于此结构，系统从四类编解码器家族中进行选择：

   • 零锚定均匀网格（Zero-anchored uniform grid）： 用于绝对界限，将数值对齐到以零为锚点的网格，以保留精确的零值（这对于降水和均值界限至关重要）。
   • 对数比例网格（Log-ratio grid）： 用于逐点相对界限，通过 $\log_2|x|$ 对数据进行变换，然后应用均匀网格。
   • 变换类编解码器（SPERR/SZ3）及可选修复层： 适用于平滑场，这些编解码器以低于其标称保证的设置运行。如果违反了逐点界限，则通过一个修正层来修复特定点。
   • 仅修正层（Correction-layer-only）： 一个带有安全保障的常数（零）预测，作为针对常数主导型场的基准。

2. 熵阶段： 所有家族最终都进入一个共享的熵阶段，该阶段包括不同值的标记化（tokenization）、用于将高频标记从字面流中提取出来的位图索引（bitmap index），以及原始的 LZMA2 压缩。缺失值（NaN）的处理方式要么是通过打包位图，要么是通过浮点数舍入，使 NaN 在变换后仍作为一个独特的标记存在。

3. 引入校验器的参数搜索（Checker-in-the-Loop Parameter Search）： 系统采用单参数搜索，其中“松弛度”参数 $p$ 缩放所选编解码器的标称设置。搜索过程从 $p=1$ 开始，不断翻倍直到参考校验器拒绝重建结果，然后通过二分法找到最优设置。对于使用修正层的家族，搜索取评估设置中的最大比例而非最宽松的可采纳设置，因为比例曲线是非单调的。

4. 保真度准则（Fidelity Criterion）： 作者引入了一个准则，用于拒绝“可采纳但退化”的重建结果。如果均值误差界限超过了场本身的变率，编解码器可能会重建出一个常数场（从而抹除了数据），但在技术上仍满足该界限。系统强制执行一项约束，即重建结果必须保留最小数量的独特值，并保持相对于场标准差（$\sigma$）的误差。

关键结果
系统在五个问题（P1–P5）上进行了评估，对参考校验器的违规率为零：

• P1（卫星水汽路径）： 在一个含有 69% 缺失值（NaN）的场上实现了 ×47.44 的压缩比，优于 SZ3（×30.3）和 SPERR（×20.1）等基准。
• P2（降水）： 在一个具有精确零值和偏态分布的场上实现了 ×19.07。在此案例中，均匀对数比例网格优于变换类编解码器，后者无法在噪声数据上维持界限。
• P3（比湿导数）： 通过约束经向导数实现了 ×83.88。变换类编解码器（SPERR）配合修正层非常有效，因为平滑场中的误差具有空间相关性，仅需少量修复。
• P4 & P5 (ERA5 变量)：
  • P4（16 个气压层变量）： 中值压缩比为 ×55.68（对比基准为 ×46.14）。变换类编解码器占据主导地位（16 个变量中的 9 个）。
  • P5 (226 个单层变量)： 中值压缩比为 ×50.76（对比基准为 ×22.88）。均匀网格占据主导地位（226 个变量中的 170 个），特别是对于零膨胀的地面场。
  • 保真度影响： 若不使用保真度准则，226 个单层变量中的 28 个将被重建为常数场，其压缩比高达 ×35,194。应用该准则后，最大压缩比降至 ×6,530，但确保了数据未被抹除。

意义与主张
本文提出了三个超越特定数据集的普遍性发现：

1. 需求与编解码器的交互作用： 变换编码与均匀量化之间的最优选择取决于场正则性与界限类型之间的相互作用。在逐点界限下的平滑场倾向于使用变换编码；而在均值界限下的噪声或零膨胀场则倾向于使用零锚定网格。
2. 修正的代价： 修正层可以保证可采纳性，但其效率取决于需要修复的点数比例。对于平滑场上的导数约束（P3），它是高效的；但对于噪声场上的逐点约束（P2），则是低效的。
3. 仅满足可采纳性是不够的： 本文证明，如果界限允许抹除场的变率，那么满足已发布的精度要求并不足以作为接受标准。作者认为，降质压缩的结果必须与保真度声明（例如：独特值计数和相对误差）一同报告，并且编解码器应作为可重建的配置进行发布，以确保独立验证。

补充观察
评估过程揭示了问题定义本身存在的两个显著问题：

• 导数约束误差： P3 的评估代码将导数除以了 $357.5^\circ$ 而非预期的 $2.5^\circ$，这使得界限比文档描述的宽松了约 143 倍。作者针对实现的（较宽松的）约束报告了结果，并明确说明了这一差异。
• 均值误差界限： 对于 28 个变量，发布的均值误差界限超过了场本身的量级，这在技术上允许常数场重建。这凸显了某些基准测试中需求制定的缺陷。

本研究得出结论：一种由需求分析驱动、并由带有保真度防护的外部校验器验证的单一架构，可以有效地解决多样化的大气压缩问题，同时保持科学完整性。