Research on compression technology of meteorological big data based on satellite communication

Résumé Technique : Technologie de compression pour les mégadonnées météorologiques basées sur la communication par satellite

Énoncé du problème
L'article traite du goulot d'étranglement critique lié à la transmission de données de prévision numérique du temps (PNT) à haute résolution vers les navires de haute mer via satellite. Bien que les données météorologiques mondiales (par exemple, de l'ECMWF) offrent une résolution spatiale et temporelle élevée, leur volume est massif (environ 15 Go par heure de début pour l'ECMWF). Les systèmes de communication par satellite existants utilisés dans les environnements maritimes, spécifiquement le Beidou-3 et le Tiantong-1 de la Chine, font face à de sévères limitations. Les messages courts de Beidou-3 sont limités à environ 14 000 bits (régional) ou 560 bits (mondial), tandis que le Tiantong-1, bien qu'offrant une bande passante plus élevée (384 Kbps), souffre d'une consommation d'énergie et d'une latence élevées. Par conséquent, les méthodes de communication maritime actuelles ne peuvent supporter que des échanges de données simples, échouant à livrer les ensembles de données massifs requis pour des prévisions numériques précises en mer. Le défi central consiste à compresser ces ensembles de données de manière significative sans perdre les caractéristiques météorologiques essentielles requises pour l'analyse météorologique.

Méthodologie
Les auteurs proposent un algorithme de compression hybride combinant des techniques de compression avec perte (lossy) et sans perte (lossless), spécifiquement adaptées aux données de nuages de points représentant des champs météorologiques (en utilisant la pression au niveau moyen de la mer, PRMSL, comme étude de cas principale). Le processus comprend quatre étapes principales :

1. Séparation d'échelle et traitement des données :

   • Les données de grille à haute résolution d'origine (0,125°) sont décomposées en un schéma de stratification de grille multi-couches (G100, G200, G300) correspondant à différentes échelles de systèmes météorologiques (synoptique et mésoéchelle).
   • Cela implique l'extraction des valeurs propres centrales (MAX/MIN) des matrices de grille intégrées pour représenter l'intensité et la distribution spatiale du système météorologique.

2. Compression primaire avec perte (Codage par octree de plan de réduction de dimensionnalité) :

   • Pour éliminer la redondance tout en préservant les caractéristiques centrales, les auteurs conçoivent un schéma de « codage par octree de plan de réduction de dimensionnalité ».
   • Les données sont structurées en un octree de plan à dimension réduite où chaque nœud représente un élément de volume.
   • Le codage de Morton est appliqué aux nœuds enfants de la structure de l'octree. Si un nœud enfant contient des données, il est codé comme « 1 » ; sinon, comme « 0 ».
   • Les nœuds ayant un code « 00000000 » (indiquant l'absence de données dans les huit directions) sont supprimés, ce qui permet de dédupliquer efficacement l'ensemble de données.
   • Fusion de données : Pour traiter les « vides de nuages de points » créés par cette suppression, une méthode de fusion de données est appliquée. Si une grille contient moins de deux points de données après compression, elle est complétée par des données de l'échelle plus grossière (DDLarge) afin de prévenir les erreurs dans l'analyse isobare ou la détection des limites du système météorologique.

3. Compression secondaire sans perte (Table de cryptographie symétrique par pointeur de triple matrice) :

   • Pour réduire davantage la taille sans perte de données, un algorithme de compression sans perte basé sur une « table de cryptographie symétrique par pointeur de triple matrice » est appliqué.
   • Transformation de pression : Les valeurs PRMSL (typiquement 600–1400 hPa) sont décalées de -500, réduisant l'exigence entière de 4 bits à 3 bits.
   • Découpage matriciel : La grille mondiale est découpée en 32 régions (45°×45°).
   • Codage par pointeur : L'algorithme utilise trois niveaux de matrices imbriqués (G300, G200, G100). Au lieu de transmettre les valeurs brutes, le système transmet des pointeurs (indices ligne/colonne) faisant référence à l'emplacement des valeurs non vides au sein de ces matrices.
   • Le flux de données est organisé comme suit : Code de région (QB) $\rightarrow$ pointeurs G300 $\rightarrow$ pointeurs G200 $\rightarrow$ pointeurs G100 $\rightarrow$ Valeur PRMSL réelle. Cette structure est cryptée à l'aide d'une table de cryptographie symétrique pour une transmission sécurisée.

4. Transmission :

   • Les données compressées sont transmises via le satellite Tiantong-1 et sont théoriquement convertibles en messages courts Beidou-3.

Principales contributions

• Conception d'algorithme hybride : L'article introduit un nouveau cadre de compression à deux étapes qui intègre une compression avec perte sensible à l'échelle (codage par octree) et une compression sans perte basée sur des pointeurs.
• Préservation des caractéristiques météorologiques : Contrairement à la compression générique, l'étape avec perte est explicitement conçue pour préserver les « caractations météorologiques centrales » des différents systèmes météorologiques d'échelle, garantissant que les données reconstruites restent scientifiquement valides pour l'analyse.
• Compatibilité satellite : L'algorithme est spécifiquement optimisé pour s'adapter aux contraintes strictes de la communication satellite maritime (messages courts Beidou-3 et bande passante Tiantong-1), permettant la transmission de données PNT auparavant impossibles à transmettre.
• Validation sur le terrain : L'étude comprend des tests en conditions réelles sur le navire de recherche Yuezhanyuke No.2, validant l'algorithme sous des conditions océaniques réelles.

Résultats
L'étude a utilisé des données de prévision numérique de l'ECMWF de juillet à décembre 2021 pour les tests :

• Efficacité de compression :
  • Données originales : ~13,9 Mo (pour un seul élément, PRMSL, dans une région spécifique).
  • Après compression avec perte : Réduit à ~29–31 Ko (Taux de compression avec perte moyen : 0,21 %).
  • Après compression sans perte : Réduit à ~1,6 Ko (Taux de compression sans perte moyen : 5,28 %).
  • Compression totale : Le taux de compression total atteint environ 0,112 ‰ (un facteur de réduction de près de 10 000 fois).
• Performance de transmission (Test satellite Tiantong-1) :
  • Données non compressées : Le temps de transmission moyen était de 578,2 secondes avec des interruptions et des échecs fréquents.
  • Compressées avec perte : Le temps moyen a été réduit à 12,4 secondes.
  • Entièrement compressées : Le temps de transmission moyen est tombé à 5,2 secondes avec une transmission stable et sans échec.
• Conversion Beidou-3 : L'ensemble de données régional compressé (QB(2,7)) tient dans 1 message court Beidou-3. Un ensemble de données mondial compressé nécessite 32 messages, et un ensemble de données mondial de 10 jours nécessite 1 664 messages.

Signification et revendications
L'article affirme que cette technologie résout le goulot d'étranglement de la transmission des mégadonnées météorologiques marines. En réduisant un fichier de 13,9 Mo à moins de 1,7 Ko, l'algorithme permet la livraison de produits de prévision numérique à haute résolution aux navires dans les zones océaniques reculées où la bande passante est limitée et instable.

• Rapidité : La transmission d'un ensemble de données régional ne prend que 5,2 secondes via Tiantong-1, ou peut être envoyée via les messages courts Beidou-3 en quelques minutes, répondant aux besoins en temps réel de la navigation océanique.
• Fiabilité : Les tests sur le terrain ont démontré que la transmission des données compressées est stable et fiable, contrairement aux données non compressées qui échouent fréquemment.
• Application pratique : Les données compressées peuvent être décryptées sur le navire à l'aide de la table de cryptographie symétrique pour restaurer les données pour l'analyse, le dessin graphique et l'intégration au système.
• Propriété intellectuelle : Les auteurs notent que l'algorithme central et le schéma d'optimisation de la transmission sont couverts par deux brevets d'invention accordés (CN116683915B en Chine et NL2037367 aux Pays-Bas), confirmant la nouveauté et la maturité technique de la méthode proposée.