Research on compression technology of meteorological big data based on satellite communication

तकनीकी सारांश: उपग्रह संचार पर आधारित मौसम संबंधी बिग डेटा के लिए संपीड़न तकनीक

समस्या विवरण
यह शोध पत्र उपग्रह के माध्यम से समुद्री जहाजों तक उच्च-रिज़ॉल्यूशन वाले संख्यात्मक मौसम पूर्वानुमान (NWP) डेटा को प्रसारित करने में आने वाली महत्वपूर्ण बाधा को संबोधित करता है। जबकि वैश्विक मौसम संबंधी डेटा (जैसे, ECMWF से) उच्च स्थानिक और कालिक रिज़ॉल्यूशन प्रदान करता है, इसका आयतन अत्यधिक विशाल है (उदाहरण के लिए, ECMWF के लिए प्रत्येक स्टार्ट टाइम के लिए ~15GB)। समुद्री वातावरण में उपयोग की जाने वाली मौजूदा उपग्रह संचार प्रणालियाँ, विशेष रूप से चीन की बेइडू-3 (Beidou-3) और टियानतोंग-1 (Tiantong-1), गंभीर सीमाओं का सामना करती हैं। बेइडू-3 के लघु संदेश लगभग 14,000 बिट्स (क्षेत्रीय) या 560 बिट्स (वैश्विक) तक सीमित हैं, जबकि टियानतोंग-1, हालांकि उच्च बैंडविड्थ (384 Kbps) प्रदान करता है, उच्च बिजली खपत और विलंबता (latency) से ग्रस्त है। फलस्वरूप, वर्तमान समुद्री संचार विधियाँ केवल सरल डेटा विनिमय का समर्थन कर सकती हैं, जो समुद्र में सटीक संख्यात्मक पूर्वानुमान के लिए आवश्यक विशाल डेटासेट प्रदान करने में विफल रहती हैं। मुख्य चुनौती इन डेटासेट्स को मौसम विश्लेषण के लिए आवश्यक आवश्यक मौसम संबंधी विशेषताओं को खोए बिना महत्वपूर्ण रूप से संपीड़ित करने की है।

कार्यप्रणाली
लेखक एक हाइब्रिड संपीड़न एल्गोरिदम प्रस्तावित करते हैं जो लॉसी (lossy) और लॉसलेस (lossless) संपीड़न तकनीकों को जोड़ता है, जो विशेष रूप से मौसम संबंधी क्षेत्रों (मुख्य रूप से माध्य समुद्र स्तर दबाव, PRMSL, को केस स्टडी के रूप में उपयोग करते हुए) का प्रतिनिधित्व करने वाले पॉइंट क्लाउड डेटा के लिए तैयार किया गया है। इस प्रक्रिया में चार मुख्य चरण शामिल हैं:

1. स्केल पृथक्करण और डेटा प्रोसेसिंग:

   • मूल उच्च-रिज़ॉल्यूशन ग्रिड डेटा (0.125°) को विभिन्न मौसम प्रणाली पैमानों (सिनॉप्टिक और मेसोस्केल) के अनुरूप एक बहु-स्तरीय ग्रिड नेस्टिंग योजना (G100, G200, G300) में विभाजित किया जाता है।
   • इसमें मौसम प्रणाली की तीव्रता और स्थानिक वितरण का प्रतिनिधित्व करने के लिए एम्बेडेड ग्रिड मैट्रिसेस से कोर आइजनवैल्यू (MAX/MIN) निकालना शामिल है।

2. प्राथमिक लॉसी संपीड़न (डायमेंशनलिटी रिडक्शन प्लेन ऑक्ट्री कोडिंग):

   • मुख्य विशेषताओं को संरक्षित करते हुए अतिरेक (redundancy) को समाप्त करने के लिए, लेखक एक "डायमेंशनलिटी रिडक्शन प्लेन ऑक्ट्री कोडिंग" योजना डिजाइन करते हैं।
   • डेटा को एक कम-आयामी प्लेन ऑक्ट्री में संरचित किया जाता है जहाँ प्रत्येक नोड एक वॉल्यूम तत्व का प्रतिनिधित्व करता है।
   • ऑक्ट्री संरचना के चाइल्ड नोड्स पर मॉर्टन कोडिंग (Morton coding) लागू की जाती है। यदि किसी चाइल्ड नोड में डेटा होता है, तो उसे '1' के रूप में कोडित किया जाता है; अन्यथा '0'।
   • जिन नोड्स का कोड '00000000' है (जो इंगوء करता है कि आठों दिशाओं में कोई डेटा नहीं है), उन्हें हटा दिया जाता है, जिससे डेटासेट का प्रभावी ढंग से डी-डुप्लीकेशन होता है।
   • डेटा फ्यूजन: इस हटाने से उत्पन्न होने वाले "पॉइंट क्लाउड वॉइड्स" (रिक्त स्थानों) को संबोधित करने के लिए, एक डेटा फ्यूजन विधि लागू की जाती है। यदि संपीड़न के बाद किसी ग्रिड में दो से कम डेटा बिंदु होते हैं, तो इसे त्रुटियों को रोकने के लिए मोटे पैमाने (DDLarge) के डेटा से भरा जाता है।

3. द्वितीयक लॉसलेस संपीड़न (ट्रिपल मैट्रिक्स पॉइंटर सिमेट्रिक क्रिप्टोग्राफिक टेबल):

   • बिना डेटा हानि के आकार को और कम करने के लिए, "ट्रिपल मैट्रिक्स पॉइंटर सिमेट्रिक क्रिप्टोग्राफिक टेबल" पर आधारित एक लॉसलेस संपीड़न एल्गोरिदम लागू किया जाता है।
   • प्रेशर ट्रांसफॉर्मेशन: PRMSL मानों (आमतौर पर 600–1400 hPa) को -500 से शिफ्ट किया जाता है, जिससे पूर्णांक आवश्यकता 4 बिट से घटकर 3 बिट हो जाती है।
   • मैट्रिक्स स्लाइसिंग: वैश्विक ग्रिड को 32 क्षेत्रों (45°×45°) में विभाजित किया जाता है।
   • पॉइंटर एनकोडिंग: एल्गोरिदम तीन नेस्टेड मैट्रिक्स स्तरों (G300, G200, G100) का उपयोग करता है। कच्चे मानों को प्रसारित करने के बजाय, सिस्टम इन मैट्रिसेस के भीतर गैर-खाली मानों के स्थान को संदर्भित करने वाले पॉइंटर्स (रो/कॉलम इंडेक्स) प्रसारित करता है।
   • डेटा स्ट्रीम को इस प्रकार व्यवस्थित किया जाता है: रीजन कोड (QB) $\rightarrow$ G300 पॉइंटर $\rightarrow$ G200 पॉइंटर $\rightarrow$ G100 पॉइंटर $\rightarrow$ वास्तविक PRMSL मान। सुरक्षित ट्रांसमिशन के लिए इस संरचना को एक सिमेट्रिक क्रिप्टोग्राफिक टेबल का उपयोग करके एन्क्रिप्ट किया जाता है।

4. ट्रांसमिशन:

   • संपीड़ित डेटा को टियानतोंग-1 उपग्रह के माध्यम से प्रसारित किया जाता है और यह सैद्धांतिक रूप से बेइडू-3 लघु संदेशों में परिवर्तनीय है।

प्रमुख योगदान

• हाइब्रिड एल्गोरिदम डिजाइन: यह शोध पत्र एक नया दो-चरणीय संपीड़न ढांचा पेश करता है जो स्केल-अवेयर लॉसी संपीड़न (ऑक्ट्री कोडिंग) को पॉइंटर-आधारित लॉसलेस संपीड़न के साथ एकीकृत करता है।
• मौसम संबंधी विशेषता संरक्षण: सामान्य संपीड़न के विपरीत, लॉसी चरण को स्पष्ट रूप से विभिन्न पैमाने की मौसम प्रणालियों की "मुख्य मौसम संबंधी विशेषताओं" को संरक्षित करने के लिए डिज़ाइन किया गया है, जिससे यह सुनिश्चित होता है कि पुनर्निर्मित डेटा विश्लेषण के लिए वैज्ञानिक रूप रूप से वैध बना रहे।
• उपग्रह अनुकूलता: एल्गोरिदम को विशेष रूप से समुद्री उपग्रह संचार (बेइडू-3 लघु संदेश और टियानतोंग-1 बैंडविड्थ) की सख्त सीमाओं के भीतर फिट होने के लिए अनुकूलित किया गया है, जिससे उस NWP डेटा का प्रसारण संभव हो पाता है जो पहले असंभव था।
• क्षेत्र सत्यापन: अध्ययन में युएझानीयुके नंबर 2 (Yuezhanyuke No.2) अनुसंधान जहाज पर वास्तविक दुनिया का परीक्षण शामिल है, जो वास्तविक समुद्री स्थितियों के तहत एल्गोरिदम को सत्यापित करता है।

परिणाम
अध्ययन ने परीक्षण के लिए जुलाई से दिसंबर 2021 के ECMWF संख्यात्मक पूर्वानुमान डेटा का उपयोग किया:

• संपीड़न दक्षता:
  • मूल डेटा: ~13.9 MB (एक विशिष्ट क्षेत्र में एकल तत्व, PRMSL के लिए)।
  • लॉसी संपीड़न के बाद: ~29–31 KB तक कम हो गया (औसत लॉसी संपीड़न दर: 0.21%)।
  • लॉसलेस संपीड़न के बाद: ~1.6 KB तक कम हो गया (औसत लॉसलेस संपीड़न दर: 5.28%)।
  • कुल संपीड़न: प्राप्त कुल संपीड़न अनुपात लगभग 0.112‰ है (लगभग 10,000 गुना कमी)।
• ट्रांसमिशन प्रदर्शन (तियानतोंग-1 उपग्रह परीक्षण):
  • अनकंप्रेस्ड डेटा: औसत ट्रांसमिशन समय 578.2 सेकंड था जिसमें बार-बार व्यवधान और विफलताएं हुईं।
  • लॉसी कंप्रेस्ड: औसत समय घटकर 12.4 सेकंड रह गया।
  • पूर्ण रूप से संपीड़ित: औसत ट्रांसमिशन समय गिरकर 5.2 सेकंड हो गया और ट्रांसमिशन स्थिर एवं त्रुटि-मुक्त रहा।
• बेइडू-3 रूपांतरण: संपीड़ित क्षेत्रीय डेटासेट (QB(2,7)) 1 बेइडू-3 लघु संदेश में समाहित हो जाता है। एक वैश्विक एकल संपीड़ित डेटासेट के लिए 32 संदेशों की आवश्यकता होती है, और 10-दिवसीय वैश्विक डेटासेट के लिए 1,664 संदेशों की आवश्यकता होती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह तकनीक समुद्री मौसम संबंधी बिग डेटा के ट्रांसमिशन बॉटलनेक को हल करती है। 13.9 MB की फ़ाइल को 1.7 KB से भी कम में बदलकर, एल्गोरिदम उन दूरस्थ समुद्री क्षेत्रों में उच्च-रिज़ॉल्यूशन वाले संख्यात्मक पूर्वानुमान उत्पादों को वितरित करना सक्षम बनाता है जहाँ बैंडविड्थ सीमित और अस्थिर है।

• समयबद्धता: एक क्षेत्रीय डेटासेट का ट्रांसमिशन टियानतोंग-1 के माध्यम से केवल 5.2 सेकंड लेता है, या इसे मिनटों के भीतर बेइडू-3 लघु संदेशों के माध्यम से भेजा जा सकता है, जो समुद्री नेविगेशन की वास्तविक समय की जरूरतों को पूरा करता है।
• विश्वसनीयता: क्षेत्र परीक्षणों ने प्रदर्शित किया कि संपीड़ित डेटा ट्रांसमिशन स्थिर और विश्वसनीय है, अनकंप्रेस्ड डेटा के विपरीत जो अक्सर विफल हो जाता है।
• व्यावहारिक अनुप्रयोग: संपीड़ित डेटा को सिमेट्रिक क्रिप्टोग्राफिक टेबल का उपयोग करके जहाज पर डिक्रिप्ट किया जा सकता है ताकि विश्लेषण, ग्राफिक ड्राइंग और सिस्टम एकीकरण के लिए डेटा को बहाल किया जा सके।
• बौद्धिक संपदा: लेखक नोट करते हैं कि मुख्य एल्गोरिदम और ट्रांसमिशन अनुकूलन योजना दो स्वीकृत आविष्कार पेटेंटों (चीन में CN116683915B और नीदरलैंड में NL2037367) द्वारा कवर की गई है, जो प्रस्तावित पद्धति की नवीनता और तकनीकी परिपक्वता की पुष्टि करती है।