🤖 machine learning

Less Tokens, Better Forecasts: Sparse Residual Routing for Efficient Weather Prediction

यह शोध पत्र Sparse-Reslim को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त रूटिंग मॉड्यूल है जो केवल महंगे ट्रांसफार्मर ब्लॉक्स के माध्यम से टोकन के एक विरल (sparse) उपसमूह को संसाधित करके और रेसिडुअल डेल्टा अपडेट के माध्यम से पूर्ण-ग्रिड प्रतिनिधित्वों को संरक्षित करके, पूर्वानुमान की गुणवत्ता से समझौता किए बिना महत्वपूर्ण गति और मेमोरी में कमी प्राप्त करते हुए ViT-आधारित मौसम पूर्वानुमान की दक्षता और सटीकता में सुधार करता है।

मूल लेखक: Janet Wang, Yunbei Zhang, Lin Zhao, Xi Xiao, Jihun Hamm, Xiao Wang

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Janet Wang, Yunbei Zhang, Lin Zhao, Xi Xiao, Jihun Hamm, Xiao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पूरी दुनिया के मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। इसे करने के लिए, कंप्यूटर पृथ्वी के वायुमंडल को लाखों छोटे वर्गों (एक विशाल पिक्सेलेटेड मानचित्र की तरह) के एक विशाल ग्रिड में तोड़ देता है। हर एक वर्ग के लिए, कंप्यूटर को यह गणना करनी होती है कि हवा, तापमान और दबाव कैसे बदलेंगे।

समस्या: "व्यस्त मधुमक्खी" की बाधा (The "Busy Bee" Bottleneck)
वर्तमान मौसम मॉडल एक बहुत ही मेहनती, लेकिन थोड़ी अक्षम मधुमक्खी की तरह काम करते हैं। वे बगीचे के हर एक फूल (ग्रिड वर्ग) के पास जाते हैं, चाहे वह कितना भी उबाऊ या खाली क्यों न हो।

कुछ क्षेत्र, जैसे कि तूफान का शांत केंद्र या शांत महासागर, बहुत अधिक नहीं बदलते।
अन्य क्षेत्र, जैसे कि तूफान का किनारा, अराजक और तेजी से बदलते हैं।

फिर भी, कंप्यूटर "उबाऊ" शांत स्थानों पर भी उतना ही समय और ऊर्जा खर्च करता है जितना कि वह "रोमांचक" तूफानी स्थानों पर करता है। यह ऊर्जा की बर्बादी है।

पुराने समाधान: "कट और पेस्ट" की गलती (The "Cut and Paste" Mistake)
वैज्ञानिकों ने कंप्यूटर को उबाऊ स्थानों को अनदेखा करने (प्रूनिंग/छंटाई) या उन्हें एक बड़े समूह में मिलाने (मर्जिंग) के लिए कहकर इसे ठीक करने की कोशिश की।

उपमा: कल्पना कीजिए कि आप एक शहर के बारे में कहानी लिख रहे हैं। समय बचाने के लिए, आप शांत उपनगरों के बारे में लिखना छोड़ देते हैं और बस खाली जगह में "उपनगर मौजूद हैं" लिख देते हैं।
समस्या: मौसम के पूर्वानुमान में, आप किसी स्थान को बस छोड़ नहीं सकते। एक स्थान का मौसम बगल वाले स्थान को प्रभावित करता है। यदि आप किसी स्थान को हटा देते हैं या उसे एक "प्लेसहोल्डर" से बदल देते हैं, तो कहानी टूट जाती है। कंप्यूटर भ्रमित हो जाता है क्योंकि मानचित्र में हर वर्ग के लिए कोई मान (value) नहीं रह जाता, जिससे अगले दिन की भविष्यवाणी खराब हो जाती है।

नया समाधान: स्पार्स-रेस्लिम (Sparse-Reslim - "डेल्टा डिलीवरी" प्रणाली)
इस शोध पत्र के लेखकों ने एक नई विधि बनाई है जिसे Sparse-Reslim कहा जाता है। यह एक स्मार्ट डिलीवरी सेवा की तरह है जो यह बदल देती है कि काम कैसे किया जाता है, बिना इस बात को बदले कि क्या डिलीवर किया जा रहा है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

तीन-चरणों वाली फैक्ट्री: कल्पना कीजिए कि कंप्यूटर का मस्तिष्क तीन कमरों वाली एक फैक्ट्री है:
- कमरा 1 (डेंस अर्ली - Dense Early): हर एक कार्यकर्ता (ग्रिड वर्ग) को पूरी ब्रीफिंग मिलती है। सभी शामिल हैं।
- कमरा 2 (स्पार्स मिडिल - Sparse Middle): यह भारी और महंगा काम करने वाला कमरा है। सभी 10,000 कार्यकर्ताओं को यहाँ भेजने के बजाय, मैनेजर उनमें से केवल 25% को (चुने हुए टोकन) यादृच्छिक रूप से चुनता है।
- कमरा 3 (डेंस लेट - Dense Late): अंत में अंतिम समापन के लिए सभी वापस आते हैं।
जादुई ट्रिक (द रेसिडुअल डेल्टा - The Residual Delta):
- बीच वाले कमरे में, केवल चुने गए 25% कार्यकर्ता ही भारी गणना करते हैं। वे पता लगाते हैं कि मौसम में कितना बदलाव होना चाहिए।
- बाकी 75% कार्यकर्ता गलियारे में बैठे रहते हैं। वे कोई काम नहीं करते, लेकिन वे अपनी मूल ब्रीफिंग को बिल्कुल वैसा ही रखते हैं जैसा वह था।
- डिलीवरी: 25% कार्यकर्ता अपनी गणित पूरी करते हैं और एक छोटा सा नोट सौंपते हैं जिसे "डेल्टा" (जिसका अर्थ है "परिवर्तन") कहा जाता है।
- कंप्यूटर इस नोट को लेता है और उस विशिष्ट स्थान पर वापस चिपका देता है जहाँ कार्यकर्ता थे।
- महत्वपूर्ण रूप से: गलियारे में बैठे 75% लोगों को कोई "नकली" नोट या "खाली" नोट नहीं मिला। उन्होंने बस अपनी मूल ब्रीफिंग को बनाए रखा। कुछ भी हटाया नहीं गया, कुछ भी मास्क से बदला नहीं गया। मानचित्र 100% पूर्ण रहता है।

यह एक बड़ी बात क्यों है

गति: क्योंकि कंप्यूटर मध्य भाग में केवल 25% ग्रिड पर कठिन गणित करता है, इसलिए यह 2.5 गुना तेज़ चलता है। उच्चतम रिज़ॉल्यूशन पर, यह लगभग 3 गुना तेज़ है।
मेमोरी: यह आधे से भी कम कंप्यूटर मेमोरी (VRAM) का उपयोग करता है क्योंकि इसे एक साथ हर स्थान के लिए भारी गणनाओं को रखने की आवश्यकता नहीं होती है।
बेहतर सटीकता: आश्चर्यजनक रूप से, मौसम के पूर्वानुमान पुराने, धीमे तरीके की तुलना में अधिक सटीक हैं।
- क्यों? शोध पत्र सुझाव देता है कि मध्य कमरे में कार्यकर्ताओं को यादृच्छिक रूप से चुनना एक "स्टोकेस्टिक रेगुलराइज़र" (एक फैंसी तरीका जिसका अर्थ है कि यह कंप्यूटर को एक विशिष्ट पैटर्न पर बहुत अधिक केंद्रित होने से रोकता है और इसे बेहतर सीखने में मदद करता है) के रूप में कार्य करता है। यह एक शिक्षक की तरह है जो छात्रों को जवाब देने के लिए यादृच्छिक रूप से बुलाता है; यह पूरी कक्षा को अधिक सतर्क और बेहतर सीखने में मदद करता है, बजाय इसके कि शिक्षक केवल उन्हीं स्मार्ट बच्चों को बुलाए जो हमेशा जवाब देते हैं।

परिणाम
टीम ने दो प्रकार के मौसम मॉडलों (एक जो एक भविष्य की भविष्यवाणी करता है, और एक जो कई संभावित भविष्य उत्पन्न करता है) पर परीक्षण किया। दोनों मामलों में:

उनके मॉडल बहुत तेज़ी से प्रशिक्षित हुए।
उन्होंने कम मेमोरी का उपयोग किया।
उन्होंने मानक मॉडलों की तुलना में हवा, तापमान और दबाव की अधिक सटीक भविष्यवाणी की।

संक्षेप में
Sparse-Reslim एक स्मार्ट मैनेजर की तरह है जो यह समझता है कि दुनिया के हर हिस्से को हर सेकंड विशेषज्ञों की एक पूर्णकालिक टीम की आवश्यकता नहीं होती है। शांत क्षेत्रों को "आराम" करने देकर जबकि विशेषज्ञ सक्रिय क्षेत्रों पर काम करते हैं, और फिर विशेषज्ञों के निष्कर्षों को मानचित्र में वापस जोड़कर, यह प्रणाली तेज़, सस्ती और आश्चर्यजनक रूप से अधिक स्मार्ट हो जाती है।

तकनीकी सारांश: कुशल मौसम पूर्वानुमान के लिए स्पार्स रेसिडुअल रूटिंग (Sparse Residual Routing)

समस्या विवरण

डेटा-संचालित मौसम पूर्वानुमान ने पारंपरिक संख्यात्मक मौसम पूर्वानुमान (NWP) की सटीकता के बराबर या उससे अधिक प्रदर्शन करते हुए, Pangu-Weather, ClimaX और FuXi जैसे मॉडलों के साथ महत्वपूर्ण सफलता प्राप्त की है, और यह बहुत कम इन्फरेंस लागत पर संभव हुआ है। हालाँकि, इन मॉडलों को प्रशिक्षित करना एक प्राथमिक बाधा बनी हुई है। अधिकांश अत्याधुनिक मॉडल विजन ट्रांसफॉर्मर (ViTs) का उपयोग करते हैं, जो सभी स्थानिक टोकन (spatial tokens) पर समान सेल्फ-अटेंशन गणना लागू करते हैं। यह दृष्टिकोण अक्षम है क्योंकि वायुमंडलीय क्षेत्र उच्च स्थानिक ऑटोकोरिलेशन (spatial autocorrelation) प्रदर्शित करते हैं; बड़े क्षेत्रों में अक्सर सुचारू, धीरे-धीरे बदलने वाली स्थितियाँ होती हैं जहाँ मध्यवर्ती टोकन प्रतिनिधित्व अनावश्यक होते हैं।

मौजूदा टोकन-दक्षता विधियाँ, जैसे कि टोकन प्रूनिंग (token pruning), मर्जिंग, या रैंडम सिलेक्शन (जैसे इमेज जनरेशन के लिए Sprint), मौसम पूर्वानुमान के लिए उपयुक्त नहीं हैं। मौसम पूर्वानुमान एक स्पैटियोटेम्पोरल डेंस प्रेडिक्शन समस्या है जिसके लिए मूल अक्षांश-देशांतर ग्रिड पर प्रत्येक ग्रिड सेल के लिए भौतिक रूप से सार्थक आउटपुट की आवश्यकता होती है, विशेष रूप से ऑटोरिग्रेसिव रोलआउट (autoregressive rollout) के दौरान। मानक विधियाँ जो टोकन को हटा देती हैं, उन्हें फ्यूज करती हैं, या उन्हें सीखे गए मास्क एम्बेडिंग (mask embeddings) से बदल देती हैं, वे फिक्स्ड-ग्रिड संरचना और सटीक पूर्वानुमान के लिए आवश्यक टेम्पोरल कंडीशनिंग को बाधित करती हैं।

कार्यप्रणाली: स्पार्स-रेस्लिम (Sparse-Reslim)

लेखक Sparse-Reslim का प्रस्ताव करते हैं, जो एक पैरामीटर-मुक्त, प्लग-इन रूटिंग मॉड्यूल है जिसे स्पार्स टोकन प्रोसेसिंग को सक्षम करने के लिए डिज़ाइन किया गया है, जबकि मौसम पूर्वानुमान की डेंस ग्रिड आवश्यकता को सुरक्षित रखा जा सके।

मुख्य तंत्र

Sparse-Reslim ट्रांसफॉर्मर ब्लॉक्स को तीन चरणों में विभाजित करता है:

डेंस अर्ली स्टेज (Dense Early Stage): पहले $n_1$ ब्लॉक्स समृद्ध प्रारंभिक प्रतिनिधित्व बनाने के लिए सभी $L$ स्थानिक टोकन को प्रोसेस करते हैं।
स्पार्स मिडिल स्टेज (Sparse Middle Stage): मध्य $n_2$ ब्लॉक्स केवल $K = \lfloor rL \rfloor$ टोकन के एक यादृच्छिक (randomly selected) उपसमुच्चय को प्रोसेस करते हैं (जहाँ $r$ कीप रेश्यो है, जो आमतौर पर 0.25 होता है)।
डेंस लेट स्टेज (Dense Late Stage): अंतिम $n_3$ ब्लॉक्स प्रेडिक्शन हेड से पहले स्थानिक सामंजस्य (spatial coherence) को परिष्कृत करने के लिए पूर्ण अनुक्रम $L$ को प्रोसेस करते हैं।

रेसिडुअल डेल्टा फॉर्मूलेशन (Residual Delta Formulation)

मुख्य नवाचार यह है कि स्पार्स स्टेज पूर्ण अनुक्रम के साथ कैसे इंटरैक्ट करता है। अनसेलेक्टेड टोकन को प्लेसहोल्डर्स या मास्क एम्बेडिंग से बदलने के बजाय, Sparse-Reslim एक रेसिडुअल डेल्टा ( $\Delta$ ) की गणना करता है:

चयनित टोकन स्पार्स मिडिल ब्लॉक्स से गुजरते हैं।
इन ब्लॉक्स के आउटपुट की तुलना उनके इनपुट (प्री-रूटिंग रिप्रेजेंटेशन) से की जाती है ताकि परिवर्तन ( $\Delta$ ) की गणना की जा सके।
इस $\Delta$ को मूल टोकन स्थितियों में वापस स्कैटर (scatter) किया जाता है।
अनसेलेक्टेड टोकन को शून्य डेल्टा प्राप्त होता है, जो प्रभावी रूप से एक इंप्लिसिट आइडेंटिटी स्किप कनेक्शन के माध्यम से उनके प्री-रूटिंग रिप्रेजेंटेशन को यथावत बनाए रखता है।

यह दृष्टिकोण सुनिश्चित करता है कि कोई भी ग्रिड सेल हटाया या सिंथेटिक टोकन द्वारा बदला नहीं जाता है, जिससे पूरे नेटवर्क में वायुमंडलीय अवस्था के भौतिक अखंडता को बनाए रखा जा सके।

आर्किटेक्चर के साथ एकीकरण

डिटरमिनिस्टिक मॉडल (Res-Slim-ViT): यह मॉड्यूल सीधे मानक ViT ब्लॉक लूप में एकीकृत होता है। स्पार्स मिडिल ब्लॉक्स $O(L^2D)$ के बजाय कम से कम सेल्फ-अटेंशन जटिलता $O(K^2D)$ के साथ काम करते हैं।
जेनरेटिव मॉडल (EDM/Diffusion): लेखक एक एसिमेट्रिक अटेंशन डिज़ाइन का उपयोग करते हैं। जबकि सेल्फ-अटेंशन को टारगेट टोकन पर स्पार्स किया जाता है ( $O(K^2D)$ ), क्रॉस-अटेंशन पूर्ण कंडीशनिंग सीक्वेंस ( $Z_c$ ) को कीज़ (keys) और वैल्यूज़ (values) के रूप में बनाए रखता है ( $O(KL \cdot D)$ )। यह सुनिश्चित करता है कि मॉडल पूर्ण वायुमंडलीय संदर्भ (हिस्ट्री फ्रेम्स) को बनाए रखे जो डिनोइजिंग के लिए आवश्यक है, भले ही टारगेट सीक्वेंस को स्पार्स किया गया हो।

टोकन सिलेक्शन रणनीति

यह विधि सीखे गए स्कोरिंग या अटेंशन-आधारित चयन के बजाय रैंडम टोकन सिलेक्शन का उपयोग करती है। लेखक तर्क देते हैं कि इससे तीन लाभ होते हैं:

शून्य स्कोरिंग ओवरहेड।
यह एक स्टोकेस्टिक रेगुलराइज़र (स्टोकेस्टिक रेगुलराइज़र) के रूप में कार्य करता है (टोकन डायमेंशन पर ड्रॉपआउट के समान)।
यह व्यवस्थित स्थानिक पूर्वाग्रह (systematic spatial bias) से बचता है जो गतिशील रूप से सक्रिय क्षेत्रों के पक्ष में शांत क्षेत्रों (जैसे उष्णकटिबंधीय क्षेत्रों) का कम प्रतिनिधित्व कर सकता है।

मुख्य योगदान

Sparse-Reslim मॉड्यूल: एक पैरामीटर-मुक्त रूटिंग मैकेनिज्म जो मौसम के मॉडलों में बिना डेंस ग्रिड बाधा का उल्लंघन किए स्पार्स प्रोसेसिंग को सक्षम करता है, जो रेसिडुअल डेल्टा फॉर्मूलेशन का उपयोग करके अनसेलेक्टेड टोकन रिप्रेजेंटेशन को सुरक्षित रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): दो आर्किटेक्चर परिवारों (डिटरमिनिस्टिक Res-Slim-ViT और जेनरेटिव EDM) और तीन ERA5 रिज़ॉल्यूशन (0.25° के परिचालन मानक तक) में व्यापक मूल्यांकन।
प्रदर्शन लाभ: यह प्रदर्शन करना कि स्पार्स रूटिंग न केवल कम्प्यूटेशनल लागत को कम करती है बल्कि डेंस बेसलाइन की तुलना में पूर्वानुमान सटीकता में भी सुधार करती है।
ऑर्थोगोनैलिटी (Orthogonality): यह दिखाना कि यह विधि मिक्स-प्रिसिजन ट्रेनिंग और रिज़ॉल्यूशन डाउनसैंपलिंग के साथ संगत है।

प्रयोगात्मक परिणाम

लेखकों ने ERA5 पुनर्मूल्यांकन (reanalysis) डेटासेट का उपयोग करके एक डिटरमिनिस्टिक Res-Slim-ViT और एक डिफ्यूजन-आधारित जेनरेटिव मॉडल पर Sparse-Reslim का मूल्यांकन किया।

दक्षता

ट्रेनिंग स्पीड: Sparse-Reslim मुख्य सेटिंग्स में लगभग 2.5× तेज़ ट्रेनिंग प्राप्त करता है, और 0.25° रिज़ॉल्यूशन पर 3.18× की स्पीडअप तक पहुँचता है।
मेमोरी: सभी परीक्षण की गई सेटिंग्स में पीक VRAM उपयोग 2.2× से अधिक कम हो जाता है।
इन्फरेंस: इन्फरेंस समय लगभग 1.8× कम हो जाता है।

सटीकता

सटीकता के लिए स्पीड का त्याग करने वाली विशिष्ट विधियों के विपरीत, Sparse-Reslim ने सभी मूल्यांकित चरों (Z500, T850, T2m, U10) और रिज़ॉल्यूशन में पूर्वानुमान सटीकता में सुधार किया है।

1.0° रिज़ॉल्यूशन पर, Z500 RMSE 868.7 (डेंस) से घटकर 768.3 (Sparse-Reslim) हो गया, और ACC 0.551 से बढ़कर 0.651 हो गया।
T2m, U10 और T850 के लिए भी इसी तरह के सुधार देखे गए।
एब्लेशन स्टडीज (Ablation Studies): सटीकता में वृद्धि को कम रेडंडेंट कंप्यूटेशन और स्टोकेस्टिक रेगुलराइजेशन के संयोजन का परिणाम माना गया है। डिटरमिनिस्टिक स्पार्स रूटिंग अधिकांश लाभ कैप्चर करती है, जबकि रैंडम सिलेक्शन अतिरिक्त पैरामीटर्स के बिना एक निरंतर लाभ प्रदान करता है।
स्थिरता: मॉडल 10-दिवसीय ऑटोरिग्रेसिव रोलआउट के दौरान स्थिर रहता है, जिसमें कौशल (skill) त्रुटियों के संचय के बजाय सुचारू रूप से घटता है।

स्केलिंग

Sparse-Reslim के लाभ मॉडल के आकार के साथ बढ़ते हैं। बड़े मॉडल (जैसे 48.6M पैरामीटर्स) छोटे मॉडलों की तुलना में उच्च स्पीडअप (2.85×) और अधिक सटीकता सुधार (12.6% RMSE कमी) प्राप्त करते हैं, क्योंकि गहरे नेटवर्क में स्पार्स मिडिल ब्लॉक्स में कंप्यूट का एक बड़ा हिस्सा होता है।

महत्व और दावे

पेपर का दावा है कि Sparse-Reslim दोनों डिटरमिनिस्टिक और जेनरेटिव सेटिंग्स में ViT-आधारित मौसम मॉडलों की कुशल ट्रेनिंग के लिए पहला स्पार्स टोकन रूटिंग अनुप्रयोग है। इसका प्राथमिक महत्व टोकन दक्षता और मौसम पूर्वानुमान की डेंस प्रेडिक्शन आवश्यकताओं के बीच संघर्ष को हल करने में निहित है। रेसिडुअल डेल्टा फॉर्मूलेशन का उपयोग करके, यह अन्य विधियों (जैसे Sprint) में पाए जाने वाले सिंथेटिक प्लेसहोल्डर टोकन के "मिसमैच" से बचता है, जिससे मॉडल प्रत्येक ग्रिड पॉइंट पर भौतिक रूप से सार्थक प्रतिनिधित्व बनाए रखने में सक्षम होता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि यह विधि अत्यधिक प्रभावी है, भविष्य के कार्य में रैंडम सिलेक्शन के बजाय मौसम विज्ञान की दृष्टि से सक्रिय क्षेत्रों (जैसे तूफान के मोर्चे) में गणना को गतिशील रूप से आवंटित करने के लिए अनुकूली टोकन चयन (adaptive token selection) का पता लगाया जा सकता है। हालाँकि, वर्तमान कार्य यह स्थापित करता है कि रैंडम सिलेक्शन, रेसिडुअल रूटिंग आर्किटेक्चर के साथ मिलकर, महत्वपूर्ण स्पीडअप और सटीकता सुधार दोनों प्राप्त करने के लिए पर्याप्त है।