Research on compression technology of meteorological big data based on satellite communication

Technisches Resümee: Kompressionstechnologie für meteorologische Big Data basierend auf Satellitenkommunikation

Problemstellung
Die Arbeit adressiert den kritischen Engpass bei der Übertragung hochauflösender numerischer Wettervorhersagedaten (NWP) an ozeanengebundene Schiffe via Satellit. Während globale meteorologische Daten (z. B. von ECMWF) eine hohe räumliche und zeitliche Auflösung bieten, ist ihr Volumen massiv (z. B. ~15 GB pro Startzeit für ECMWF). Bestehende Satellitenkommunikationssysteme, die in maritimen Umgebungen eingesetzt werden – insbesondere das chinesische Beidou-3 und Tiantong-1 – stehen vor schweren Einschränkungen. Beidou-3-Kurznachrichten sind auf etwa 14.000 Bits (regional) oder 560 Bits (global) beschränkt, während Tiantong-1 zwar eine höhere Bandbreite (384 Kbps) bietet, jedoch unter hohem Stromverbrauch und Latenz leidet. Infolgedessen können aktuelle maritime Kommunikationsmethoden nur einfache Datenaustausche unterstützen und sind nicht in der Lage, die massiven Datensätze zu liefern, die für eine präzise numerische Vorhersage auf See erforderlich sind. Die Kernherausforderung besteht darin, diese Datensätze signifikant zu komprimieren, ohne die essenziellen meteorologischen Merkmale zu verlieren, die für die Wetteranalyse notwendig sind.

Methodik
Die Autoren schlagen einen hybriden Kompressionsalgorithmus vor, der verlustbehaftete (lossy) und verlustfreie (lossless) Kompressionstechniken kombiniert, die speziell auf Punktwolkendaten zugeschnitten sind, welche meteorologische Felder repräsentieren (wobei der mittlere Meeresspiegeldruck, PRMSL, als primäre Fallstudie dient). Der Prozess umfasst vier Hauptphasen:

1. Skalentrennung und Datenverarbeitung:

   • Die ursprünglichen hochauflösenden Gitternetzdaten (0,125°) werden in ein mehrschichtiges Gitter-Nesting-Schema (G100, G200, G300) zerlegt, das verschiedenen Skalen von Wettersystemen (synoptisch und mesoskalig) entspricht.
   • Dies beinhaltet die Extraktion der Kern-Eigenwerte (MAX/MIN) aus den eingebetteten Gittermatrizen, um die Intensität und räumliche Verteilung des Wettersystems darzustellen.

2. Primäre verlustbehaftte Kompression (Dimensionalitätsreduktions-Ebenen-Octree-Kodierung):

   • Um Redundanzen zu eliminieren und gleichzeitig die Kerncharakteristika zu bewahren, entwerfen die Autoren ein Schema der „Dimensionalitätsreduktions-Ebenen-Octree-Kodierung“.
   • Die Daten werden in einem dimensionsreduzierten Ebenen-Octree strukturiert, wobei jeder Knoten ein Volumenelement repräsentiert.
   • Auf die Kindknoten der Octree-Struktur wird die Morton-Kodierung angewendet. Enthält ein Kindknoten Daten, wird er als „1“ kodiert; andernfalls als „0“.
   • Knoten mit dem Code „00000000“ (was bedeutet, dass in keiner der acht Richtungen Daten vorhanden sind) werden entfernt, was eine effektive De-Duplizierung des Datensatzes bewirkt.
   • Datenfusion: Um die durch diese Entfernung entstehenden „Punktwolken-Lücken“ zu adressieren, wird eine Datenfusionsmethode angewendet. Wenn ein Gitter nach der Kompression weniger als zwei Datenpunkte enthält, wird es mit Daten aus der gröberen Skala (DDLarge) aufgefüllt, um Fehler bei der Isobar-Analyse oder der Detektion von Wettersystemgrenzen zu verhindern.

3. Sekundäre verlustfreie Kompression (Triple-Matrix-Pointer-Symmetrische-Kryptographische-Tabelle):

   • Um die Größe weiter zu reduzieren, ohne Daten zu verlieren, wird ein verlustfreier Kompressionsalgorithmus auf Basis einer „Triple-Matrix-Pointer-Symmetrischen-Kryptographischen-Tabelle“ angewendet.
   • Drucktransformation: PRMSL-Werte (typischerweise 600–1400 hPa) werden um -500 verschoben, wodurch die Anforderung an die Ganzzahl reduziert wird (von 4 Bit auf 3 Bit).
   • Matrix-Slicing: Das globale Gitter wird in 32 Regionen (45° × 45°) zerlegt.
   • Pointer-Kodierung: Der Algorithmus nutzt drei verschachtelte Matrixebenen (G300, G200, G100). Anstatt Rohwerte zu übertragen, überträgt das System Pointer (Zeilen-/Spaltenindizes), die auf die Position der nicht-leeren Werte innerhalb dieser Matrizen verweisen.
   • Der Datenstrom ist organisiert als: Regionscode (QB) $\rightarrow$ G300-Pointer $\rightarrow$ G200-Pointer $\rightarrow$ G100-Pointer $\rightarrow$ Tatsächlicher PRMSL-Wert. Diese Struktur wird mittels einer symmetrischen kryptographischen Tabelle verschlüsselt, um eine sichere Übertragung zu gewährleisten.

4. Übertragung:

   • Die komprimierten Daten werden via Tiantong-1-Satellit übertragen und sind theoretisch in Beidou-3-Kurznachrichten konvertierbar.

Zentrale Beiträge

• Hybrides Algorithmus-Design: Die Arbeit führt ein neuartiges zweistufiges Kompressions-Framework ein, das skalenbewusste verlustbehaftte Kompression (Octree-Kodierung) mit Pointer-basierter verlustfreier Kompression integriert.
• Bewahrung meteorologischer Merkmale: Im Gegensatz zur generischen Kompression ist die verlustbehaftete Phase explizit darauf ausgelegt, die „Kern-meteorologischen Charakteristika“ verschiedener Skalen von Wettersystemen zu bewahren, um sicherzustellen, dass die rekonstruierten Daten für die Analyse wissenschaftlich valide bleiben.
• Satellitenkompatibilität: Der Algorithmus ist spezifisch für die strengen Beschränkungen der maritimen Satellitenkommunikation (Beidou-3 Kurznachrichten und Tiantong-1 Bandbreite) optimiert, was die Übertragung von NWP-Daten ermöglicht, die zuvor unmöglich war.
• Feldvalidierung: Die Studie umfasst reale Tests auf dem Forschungsschiff Yuezhanyuke No.2, welche den Algorithmus unter tatsächlichen ozeanischen Bedingungen validieren.

Ergebnisse
Die Studie nutzte ECMWF-numerische Vorhersagedaten von Juli bis Dezember 2021 für Testzwecke:

• Kompressionseffizienz:
  • Originaldaten: ~13,9 MB (für ein einzelnes Element, PRMSL, in einer spezifischen Region).
  • Nach verlustbehaftter Kompression: Reduziert auf ~29–31 KB (Durchschnittliche verlustbehaftete Kompressionsrate: 0,21 %).
  • Nach verlustfreier Kompression: Reduziert auf ~1,6 KB (Durchschnittliche verlustfreie Kompressionsrate: 5,28 %).
  • Gesamtkompression: Das erreichte Gesamtkompressionsverhältnis beträgt etwa 0,112 ‰ (ein Reduktionsfaktor von fast 10.000-mal).
• Übertragungsleistung (Tiantong-1 Satellitentest):
  • Unkomprimierte Daten: Die durchschnittliche Übertragungszeit betrug 578,2 Sekunden mit häufigen Unterbrechungen und Ausfällen.
  • Verlustbehaftet komprimiert: Die Zeit reduzierte sich auf durchschnittlich 12,4 Sekunden.
  • Vollständig komprimiert: Die durchschnittliche Übertragungszeit sank auf 5,2 Sekunden bei stabiler, fehlerfreier Übertragung.
• Beidou-3 Konvertierung: Der komprimierte regionale Datensatz (QB(2,7)) passt in 1 Beidou-3 Kurznachricht. Ein globaler, einzeln komprimierter Datensatz benötigt 32 Nachrichten, und ein globaler 10-Tage-Datensatz benötigt 1.664 Nachrichten.

Bedeutung und Ansprüche
Das Paper behauptet, dass diese Technologie den Flaschenhals bei der Übertragung von maritimen meteorologischen Big Data löst. Durch die Reduzierung einer 13,9 MB großen Datei auf weniger als 1,7 KB ermöglicht der Algorithmus die Bereitstellung hochauflösender numerischer Vorhersageprodukte an Schiffe in abgelegenen Meeresgebieten, in denen die Bandbreite begrenzt und instabil ist.

• Zeitnähe: Die Übertragung eines regionalen Datensatzes dauert via Tiantong-1 nur 5,2 Sekunden oder kann innerhalb von Minuten via Beidou-3 Kurznachrichten gesendet werden, was den Echtzeitbedarf der Seefahrt erfüllt.
• Zuverlässigkeit: Feldtests zeigten, dass die Übertragung der komprimierten Daten stabil und zuverlässig ist, im Gegensatz zu unkomprimierten Daten, die häufig fehlschlugen.
• Praktische Anwendung: Die komprimierten Daten können auf dem Schiff mittels der symmetrischen kryptographischen Tabelle entschlüsselt werden, um die Daten für Analysen, grafische Darstellungen und Systemintegration wiederherzustellen.
• Geistiges Eigentum: Die Autoren weisen darauf hin, dass das Kernalgorithmus- und Übertragungsoptimierungsschema durch zwei erteilte Erfindungspatente (CN116683915B in China und NL2037367 in den Niederlanden) abgedeckt ist, was die Neuartigkeit und technische Reife der vorgeschlagenen Methode bestätigt.