Research on compression technology of meteorological big data based on satellite communication

技術要約：衛星通信に基づく気象ビッグデータ用圧縮技術

問題提起
本論文は、高解像度の数値予報（NWP）データを衛星経由で航海中の船舶へ伝送する際の決定的なボトルネックに対処している。全球的な気象データ（例：ECMWFによるもの）は高い空間・時間解像度を提供する一方で、その容量は膨大である（例：ECMWFの各開始時刻につき約15GB）。中国の北斗3号や天通1号といった海洋環境で使用されている既存の衛星通信システムは、深刻な制限に直面している。北斗3号の短文メッセージは、地域限定で約14,000ビット、全球では560ビットに制限されている。一方、天通1号はより高い帯域幅（384 Kbps）を提供するものの、消費電力が高く遅延が大きい。その結果、現在の海洋通信手法は単純なデータ交換しかサポートできず、海上での正確な数値予報に必要な大規模なデータセットを届けることができない。核心となる課題は、気象分析に必要な不可欠な気象特性を失うことなく、これらのデータセットを大幅に圧縮することである。

手法
著者らは、気象場を表す点群データ（主たるケーススタディとして海面気圧、PRMSLを使用）に特化した、**非可逆（ロス）および可逆（ロスレス）**圧縮技術を組み合わせたハイブリッド圧縮アルゴリズムを提案している。プロセスは主に以下の4つの段階で構成される：

1. スケール分離とデータ処理：

   • 元の高解像度格子データ（0.125°）を、異なる気象システムスケール（総観規模およびメソスケール）に対応する多層格子入れ子スキーム（G100、G200、G300）に分解する。
   • これには、埋め込まれた格子行列からコア固有値（MAX/MIN）を抽出し、気象システムの強度と空間分布を表現する工程が含まれる。

2. 一次非可逆圧縮（次元削減平面八分木コーディング）：

   • 核となる特性を保持しつつ冗長性を排除するため、著者らは「次元削減平面八分木（オクトリー）コーディング」スキームを設計した。
   • データは、各ノードが体積要素を表す低次元化された平面八分木に構造化される。
   • 八分木構造の子ノードに対して**モートン符号化（Morton coding）**が適用される。子ノードにデータが含まれる場合は「1」、含まれない場合は「0」としてコーディングされる。
   • コードが「00000000」（8方向のいずれにもデータが存在しないことを示す）であるノードは削除され、データセットの重複が効果的に除去される。
   • データ融合： この削除によって生じる「点群の空隙」に対処するため、データ融合法が適用される。圧縮後に格子内のデータポイントが2点未満になった場合、等圧線の解析や気象システムの境界検出におけるエラーを防ぐため、より粗いスケール（DDLarge）からのデータで補完される。

3. 二次可逆圧縮（三重行列ポインタ対称暗号テーブル）：

   • データの損失なしにサイズをさらに削減するため、「三重行列ポインタ対称暗号テーブル」に基づく可逆圧縮アルゴлоズムが適用される。
   • 圧力変換： PRMSL値（通常600–1400 hPa）を-500シフトすることで、整数要件を4ビットから3ビットに削減する。
   • 行列スライス： 全球格子を32の領域（45°×45°）に分割する。
   • ポインタエンコーディング： アルゴリズムは3つの入れ子になった行列レベル（G300、G200、G100）を利用する。生の値を送信する代わりに、システムはこれらの行列内の非空の値の場所を参照するポインタ（行/列インデックス）を送信する。
   • データストリームは、リージョンコード（QB） $\rightarrow$ G300ポインタ $\rightarrow$ G200ポインタ $\rightarrow$ G100ポインタ $\rightarrow$ 実際のPRMSL値、という順序で構成される。この構造は、安全な伝送のために対称暗号テーブルを用いて暗号化される。

4. 伝送：

   • 圧縮されたデータは天通1号衛星を介して伝送され、理論上は北斗3号の短文メッセージに変換可能である。

主な貢献

• ハイブリッドアルゴリズム設計： 本論文は、スケール認識型の非可逆圧縮（八分木コーディング）とポインタベースの可逆圧縮を統合した、新しい二段階圧縮フレームワークを導入している。
• 気象特性の保持： 一般的な圧縮とは異なり、非可逆段階は異なるスケールの気象システムの「核となる気象特性」を保持するように明示的に設計されており、再構築されたデータが科学的分析において妥当であることを保証している。
• 衛星適合性： アルゴリズムは、海洋衛星通信（北斗3号の短文メッセージおよび天通1号の帯域幅）の厳格な制約内に収まるよう特別に最適化されており、以前は不可能であったNWPデータの伝送を可能にしている。
• フィールド検証： 本研究には、実際の海洋条件下でのアルゴリズムの検証として、調査船「越禅漁二号」を用いた実地テストが含まれている。

結果
本研究では、テストのために2021年7月から12月までのECMWF数値予報データを使用した：

• 圧縮効率：
  • オリジナルデータ： 約13.9 MB（特定の領域における単一要素、PRMSLの場合）。
  • 非可逆圧縮後： 約29–31 KBに減少（平均非可逆圧縮率：0.21%）。
  • 可逆圧縮後： 約1.6 KBに減少（平均可逆圧縮率：5.28%）。
  • 総圧縮： 達成された総圧縮率は約 0.112‰（約10,000分の1の減少）である。
• 伝送性能（天通1号衛星テスト）：
  • 未圧縮データ： 平均伝送時間は578.2秒であり、頻繁な中断や失敗が発生した。
  • 非可逆圧縮済み： 平均時間は12.4秒に短縮された。
  • 完全圧縮済み： 平均伝送時間は 5.2秒 まで低下し、安定した失敗のない伝送を実現した。
• 北斗3号への変換： 圧縮されたリージョンデータセット（QB(2,7)）は、1つの北斗3号短文メッセージに収まる。全球の単一圧縮データセットには 32個 のメッセージが必要であり、10日間の全球データセットには 1,664個 のメッセージが必要となる。

意義と主張
本論文は、この技術が海洋気象ビッグデータの伝送ボトルネックを解決すると主張している。13.9 MBのファイルを1.7 KB未満に削減することで、このアルゴリズムは、帯域幅が限定的で不安定な遠隔海域の船舶に対し、高解像度の数値予報製品の配信を可能にする。

• 適時性： リージョンデータセットの伝送は天通1号経由でわずか5.2秒、または北斗3号の短文メッセージ経由で数分以内に送信可能であり、海洋航行のリアルタイムのニーズを満たしている。
• 信頼性： フィールドテストでは、未圧縮データが頻繁に失敗したのに対し、圧縮データの伝送は安定しており信頼できることが実証された。
• 実用性： 圧縮されたデータは、対称暗号テーブルを使用して船上で復号でき、分析、グラフィック描画、およびシステム統合のためにデータを復元できる。
• 知的財産： 著者らは、コアアルゴリズムと伝送最適化スキームが2つの付与された発明特許（中国のCN116683915BおよびオランダのNL2037367）によってカバーされていることを述べており、提案された手法の新規性と技術的成熟性を裏付けている。