Research on compression technology of meteorological big data based on satellite communication

Technische Samenvatting: Compressietechnologie voor Meteorologische Big Data gebaseerd op Satellietcommunicatie

Probleemstelling
Het artikel behandelt de kritieke flessenhals bij het verzenden van hoogresolutie numerieke weersverwachtingsgegevens (NWP) naar zeeschepen via satelliet. Hoewel wereldwijde meteorologische gegevens (bijv. van ECMWF) een hoge ruimtelijke en temporele resolutie bieden, is het volume enorm (bijv. ~15 GB per starttijd voor ECMWF). Bestaande satellietcommunicatiesystemen die in maritieme omgevingen worden gebruikt, specifiek de Chinese Beidou-3 en Tiantong-1, kampen met ernstige beperkingen. Beidou-3 korte berichten zijn beperkt tot ongeveer 14.000 bits (regionaal) of 560 bits (globaal), terwijl Tiantong-1, hoewel het een hogere bandbreedte biedt (384 Kbps), kampt met een hoog energieverbruik en latentie. Als gevolg hiervan kunnen huidige maritieme communicatiemethoden slechts eenvoudige gegevensuitwisseling ondersteunen, waardoor het onmogelijk is om de massale datasets te leveren die vereist zijn voor nauwkeurige numerieke voorspellingen op zee. De kernuitdaging bestaat uit het aanzienlijk comprimeren van deze datasets zonder de essentiële meteorologische kenmerken te verliezen die nodig zijn voor weieranalyse.

Methodologie
De auteurs stellen een hybride compressiealgoritme voor dat verlieslatende (lossy) en verliesvrije (lossless) compressietechnieken combineert, specifiek afgestemd op puntenwolkgegevens die meteorologische velden vertegenwoordigen (waarbij de gemiddelde zeeniveaudruk, PRMSL, als primaire casestudy dient). Het proces omvat vier hoofdfasen:

1. Schaalscheiding en Gegevensverwerking:

   • De originele hoogresolutie rastergegevens (0,125°) worden gedecomposeerd in een meerlaags rooster-nestingschema (G100, G200, G300) dat overeenkomt met verschillende schalen van weersystemen (synoptisch en mesoschaal).
   • Dit omvat het extraheren van kerneigenwaarden (MAX/MIN) uit de ingebedde rastermatrices om de intensiteit en ruimtelijke distributie van het weersysteem te vertegenwoordigen.

2. Primaire Verlieslatende Compressie (Dimensionality Reduction Plane Octree Coding):

   • Om redundantie te elimineren terwijl de kernkenmerken behouden blijven, ontwerpen de auteurs een "dimensionality reduction plane octree coding" schema.
   • De gegevens worden gestructureerd in een dimensiereductie-vlak octree waarbij elke node een volume-element vertegenwoordigt.
   • Morton-codering wordt toegepast op de kindnodes van de octree-structuur. Als een kindnode gegevens bevat, wordt deze gecodeerd als '1'; anders als '0'.
   • Nodes met een code van '00000000' (wat aangeeft dat er geen gegevens in de acht richtingen aanwezig zijn) worden verwijderd, wat effectief de duplicatie in de dataset vermindert.
   • Datafusie: Om de "puntenwolk-leegtes" aan te pakken die door deze verwijdering ontstaan, wordt een datafusiemethode toegepast. Als een raster minder dan twee gegevenspunten bevat na compressie, wordt dit aangevuld met gegevens van de grovere schaal (DDLarge) om fouten in de isobare analyse of de detectie van de grenzen van weersystemen te voorkomen.

3. Secundaire Verliesvrije Compressie (Triple Matrix Pointer Symmetric Cryptographic Table):

   • Om de omvang verder te verkleinen zonder gegevensverlies, wordt een verliesvrij compressiealgoritme toegepast op basis van een "triple matrix pointer symmetric cryptographic table".
   • Druktransformatie: PRMSL-waarden (typisch 600–1400 hPa) worden verschoven met -500, waardoor de vereiste voor gehele getallen van 4 bits naar 3 bits wordt verminderd.
   • Matrixsegmentatie: Het wereldwijde raster wordt opgedeeld in 32 regio's (45°×45°).
   • Pointer-codering: Het algoritme maakt gebruik van drie geneste matrixniveaus (G300, G200, G100). In plaats van ruwe waarden te verzenden, verzendt het systeem pointers (rij/kolom indexen) die verwijzen naar de locatie van niet-lege waarden binnen deze matrices.
   • De datastroom is georganiseerd als: Regio-code (QB) $\rightarrow$ G300 pointers $\rightarrow$ G200 pointers $\rightarrow$ G100 pointers $\rightarrow$ Werkelijke PRMSL-waarde. Deze structuur wordt met een symmetrische cryptografische tabel versleuteld voor veilige transmissie.

4. Transmissie:

   • De gecomprimeerde gegevens worden verzonden via de Tiantong-1 satelliet en zijn theoretisch converteerbaar naar Beidou-3 korte berichten.

Belangrijkste Bijdragen

• Hybride Algoritmeontwerp: Het artikel introduceert een nieuw tweefasig compressiekader dat schaalbewuste verlieslatende compressie (octree-codering) integreert met pointer-gebaseerde verliesvrije compressie.
• Behoud van Meteorologische Kenmerken: In tegenstelling tot generieke compressie is de verlieslatende fase expliciet ontworpen om de "kernmeteorologische kenmerken" van verschillende schaalweersystemen te behouden, waardoor wordt gegarandeerd dat de gereconstrueerde gegevens wetenschappelijk geldig blijven voor analyse.
• Satellietcompatibiliteit: Het algoritme is specifiek geoptimaliseerd om te passen binnen de strikte beperkingen van maritieme satellietcommunicatie (Beidou-3 korte berichten en Tiantong-1 bandbreedte), wat de transmissie van NWP-gegevens mogelijk maakt die voorheen onmogelijk was.
• Veldvalidatie: De studie omvat real-world testen op het onderzoeksschip Yuezhanyuke No.2, waarmee het algoritme wordt gevalideerd onder werkelijke oceanische omstandigheden.

Resultaten
De studie maakte gebruik van ECMWF numerieke voorspellingsgegevens van juli tot december 2021 voor testen:

• Compressie-efficiëntie:
  • Originele gegevens: ~13,9 MB (voor een enkel element, PRMSL, in een specifieke regio).
  • Na verlieslatende compressie: Verminderd tot ~29–31 KB (Gemiddelde verlieslatende compressieratio: 0,21%).
  • Na verliesvrije compressie: Verminderd tot ~1,6 KB (Gemiddelde verliesvrije compressieratio: 5,28%).
  • Totale compressie: De totale compressieratio die is bereikt is ongeveer 0,112‰ (een reductiefactor van bijna 10.000 keer).
• Transmissieprestaties (Tiantong-1 Satelliettest):
  • Ongecomprimeerde gegevens: De gemiddelde transmissietijd was 578,2 seconden met frequente onderbrekingen en fouten.
  • Verlieslatend gecomprimeerd: Gemiddelde tijd verminderd naar 12,4 seconden.
  • Volledig gecomprimeerd: De gemiddelde transmissietijd daalde naar 5,2 seconden met een stabiele, foutvrije transmissie.
• Beidou-3 Conversie: De gecomprimeerde regionale dataset (QB(2,7)) past in 1 Beidou-3 kort bericht. Een globale enkele gecomprimeerde dataset vereist 32 berichten, en een 10-daagse globale dataset vereist 1.664 berichten.

Significantie en Claims
Het artikel beweert dat deze technologie de transmissieknooppunt voor maritieme meteorologische big data oplost. Door een bestand van 13,9 MB te reduceren tot minder dan 1,7 KB, maakt het algoritme de levering van hoogresolutie numerieke voorspellingsproducten mogelijk aan schepen in afgelegen oceangebieden waar de bandbreedte beperkt en instabiel is.

• Tijdigheid: De transmissie van een regionale dataset duurt slechts 5,2 seconden via Tiantong-1, of kan binnen minuten via Beidou-3 korte berichten worden verzonden, wat voldoet aan de realtime behoeften van de zeevaart.
• Betrouwbaarheid: Veldtests toonden aan dat de transmissie van gecomprimeerde gegevens stabiel en betrouwbaar is, in tegen tegenstelling tot ongecomprimeerde gegevens die vaak faalden.
• Praktische Toepassing: De gecomprimeerde gegevens kunnen op het schip worden gedecodeerd met behulp van de symmetrische cryptografische tabel om de gegevens te herstellen voor analyse, grafische weergave en systeemintegratie.
• Intellectueel Eigendom: De auteurs merken op dat het kernalgoritme en het transmissie-optimalisatieschema worden gedekt door twee verleende uitvindingsoctrooien (CN116683915B in China en NL2037367 in Nederland), wat de nieuwheid en technische volwassenheid van de voorgestelde methode bevestigt.