Requirement-Driven Lossy Compression of Weather and Climate Fields

技術要約：気象・気候場における要件駆動型非可逆圧縮

問題提起
気象および気候データのアーカイブは、ストレージ容量を上回る速度で拡大しており、非可逆圧縮が必要とされている。しかし、再構成されたデータが利用可能であるためには、その誤差が明示的かつ機械的に検証可能な精度要件によって制限されていなければならないため、運用の導入が進んでいない。エンジニアリング上の課題は、単に固定されたレートに対して歪みを最小化することではなく、外部のドメイン科学者によって定義され、圧縮器が制御しないリファレンス・チェッカーによって検証される制約条件下で、圧縮率を最大化することである。本研究では、欠損値を含む衛星場から、多様な変数ごとの精度要件を持つERA5の膨大なアンサンブルまで、運用中の大気データに関連する5つの異なる圧縮問題に対処する。

手法
著者は、データ駆動型のヒューリスティックではなく、要件駆動型のアプローチを通じて、構造的に異なる圧縮問題を解決するために設計された統一アーキテクチャを提案している。

1. 要件分析によるコーデック選択： データ統計に基づいてコーデックを選択するのではなく、精度要件の構造（例：絶対的または相対的な境界、点別または平均的な境界、微分に関する境界）を分析する。この構造に基づき、以下の4つのコーデック・ファミリーから選択する。

   • ゼロにアンカーされた一様格子（Zero-anchored uniform grid）： 絶対的な境界に対して、降水量や平均の境界を正確に保持するために、値をゼロにアンカーされた格子にスナップさせる。
   • 対数比格子（Log-ratio grid）： 点別の相対的な境界に対して、データを $\log_2|x|$ によって変換し、一様格子を適用する。
   • 変換コーデック（SPERR/SZ3）およびオプションの修復層： 滑らかな場に対して、これらを公称の保証値よりも粗い設定で実行する。点別の境界が違反された場合、補正層が特定の点を修復する。
   • 補正層のみ（Correction-layer-only）： セーフガードでラップされた定数（ゼロ）予測であり、定数が支配的な場のためのベースラインとして機能する。

2. エントロピー段階： すべてのファミリーは、異なる値のトークン化、頻出トークンをリテラル・ストリームから引き上げるためのビットマップ・インデックス、および生のLZMA2圧縮からなる共有のエントロピー段階で終了する。欠損値（NaN）は、パッキングされたビットマップを介するか、浮動小数点での丸め処理によって、NaNが変換後も個別のトークンとして生存するように処理される。

3. チェッカー・イン・ザ・ループによるパラメータ探索： システムは、選択されたコーデックの公称設定をスケールさせる「緩み（looseness）」パラメータ $p$ を用いた単一パラメータ探索を採用する。探索は $p=1$ から開始し、リファレンス・チェッカーが再構成を拒否するまで2倍していき、その後、最適な設定を見つけるために二分探索を行う。補正層を使用するファミリーの場合、比率の曲線が非単調であるため、最も緩い許容設定ではなく、評価された設定の最大比率を取る。

4. 忠実度基準（Fidelity Criterion）： 「許容されるが退化した（admissible-but-degenerate）」再構成を拒絶するための基準を導入する。平均誤差の境界が場自身の変動を超えている場合、コーデックはデータを消去してしまう（定数の場を再構成する）可能性がある。システムは、再構成が最小限の異なる値の数を保持し、場の標準偏差 ($\sigma$) に対する誤差を維持するという制約を課す。

主な結果
システムは5つの問題（P1–P5）で評価され、リファレンス・チェッカーに対する違反はゼロであった。

• P1（水蒸気パスの衛星データ）： 69%の欠損値（NaN）を持つ場において、×47.44 の圧縮率を達成し、SZ3（×30.3）やSPERR（×20.1）などのベースラインを上回った。
• P2（降水量）： 正確なゼロと歪んだ分布を持つ場において、×19.07 を達成した。ここでは、一様対数比格子が変換コーデックよりも優れた性能を示した。変換コーデックは、ノイズの多いデータに対して境界を維持することに失敗した。
• P3（比湿の微分）： 経度方向の微分を制約することで、×83.88 を達成した。補正層を備えた変換コーデック（SPERR）は非常に効果的であった。なぜなら、滑らかな場における誤差は空間的に相関しており、少数の修復で済むためである。
• P4 & P5 (ERA5 変数):
  • P4 (16の気圧面変数): 中央値の比率は ×55.68（ベースラインの ×46.14 に対して）。変換コーデックが優勢であった（16変数中9変数）。
  • P5 (226の単層変数): 中央値の比率は ×50.76（ベースラインの ×22.88 に対して）。一様格子が優勢であった（226変数中170変数）、特にゼロが豊富な表面場において。
  • 忠実度の影響： 忠実度基準がない場合、226の単層変数のうち28個が定数の場として再構成され、比率は最大で ×35,194 に達していた。基準を適用することで、最大比率は ×6,530 に減少したが、データが消去されることは回避された。

意義と主張
本論文は、特定のデータセットを超えて一般化できる3つの主要な知見を主張している。

1. 要件とコーデックの相互作用： 変換符号化と一様量子化の間の最適な選択は、場の規則性と境界タイプの間の相互作用によって決定される。点別境界の下での滑らかな場は変換符号化を好むが、平均境界の下でのノイズの多い、あるいはゼロが豊富な場は、ゼロにアンカーされた格子を好む。
2. 補正のコスト： 補正層は許容性を保証するが、その効率は修復を必要とする点の割合に依存する。これは、滑らかな場における微分制約（P3）には有益であるが、ノイズの多い場における点別制約（P2）には非効率である。
3. 許容性は不十分である： 公表された精度要件を満たすことは、その境界が場の変動を消去することを許容している場合、受け入れ基準として十分ではないことを本論文は示している。著者は、要件駆動型の圧縮結果は、忠実度の記述（例：異なる値の数や相対誤差）と共に報告されるべきであり、独立した検証を確実にするために、コーデックは再構築可能な構成として公開されるべきであると主張している。

追加の観察
評価プロセスにおいて、問題定義自体に関する2つの重要な問題が明らかになった。

• 微分制約の誤差： P3の評価コードは、意図された $2.5^\circ$ ではなく $357.5^\circ$ で微分を割っており、境界が文書化されたものよりも約 143倍緩く なっていた。著者は、明示的にその相違を指摘した上で、実装された（より緩い）制約に対して結果を報告している。
• 平均誤差の境界： 28の変数において、公表された平均誤差の境界が場自身の大きさ（平均値）を超えており、技術的に定数場の再構成を許容していた。これは、ベンチマークのための要件の策定方法における欠陥を浮き彫りにしている。

本研究は、要件分析によって駆動され、忠実度ガードを備えた外部チェッカーによって検証される単一のアーキテクチャが、多様な大気圧縮問題を効果的に解決しつつ、科学的な完全性を維持できると結論付けている。