कल्पना कीजिए कि आप एक विशाल, बहु-आयामी पहेली को हल करने की कोशिश कर रहे हैं। विज्ञान और इंजीनियरिंग की दुनिया में, ये पहेलियाँ अक्सर "टेन्सर्स" (tensors) के रूप में आती हैं—इन्हें डेटा के हाइपर-क्यूब्स के रूप में समझें जो कई दिशाओं में एक साथ फैलते हैं, जो साधारण स्प्रेडशीट या डेटाबेस के सपाट पन्नों से कहीं अधिक विस्तृत होते हैं। ये टेन्सर्स क्वांटम कणों के नृत्य का अनुकरण करने से लेकर धुंधली मेडिकल छवियों को पुनर्गठित करने तक, हर चीज़ की गुप्त भाषा हैं। लेकिन यहाँ एक पेच है: जैसे-जैसे आप अपनी पहेली में अधिक आयाम (dimensions) जोड़ते हैं, टुकड़ों की संख्या विस्फोट की तरह बढ़ती है। एक 3D छवि प्रबंधनीय हो सकती है, लेकिन इसका 4D या 5D संस्करण इतना अधिक डेटा रख सकता है कि यह पृथ्वी के हर हार्ड ड्राइव को भर देगा। यह "डायमेंशनलिटी का अभिशाप" (curse of dimensionality) है।

इन दिग्गजों को वश में करने के लिए, वैज्ञानिक "लो-रैंक एप्रोक्सिमेशन" (low-rank approximation) नामक एक तरकीब का उपयोग करते हैं। कल्पना कीजिए कि आप एक जटिल पेंटिंग का वर्णन प्रत्येक पिक्सेल के रंग को सूचीबद्ध करके नहीं, बल्कि कुछ ब्रशस्ट्रोक और उनके संयोजन के माध्यम से कर रहे हैं। यह डेटा को संकुचित (compress) करता है, जिससे संख्याओं की गणना करना संभव हो जाता है। हालाँकि, जब आप GMRES नामक एक लोकप्रिय विधि का उपयोग करके इन पहेलियों को हल करने की कोशिश करते हैं (जो एक चरण-दर-चरण जासूस है जो सुरागों की एक सूची बनाता है), तो कुछ अजीब होता है। हर बार जब जासूस अपनी सूची में एक नया सुराग जोड़ता है, तो उस सुराग की "जटिलता" बढ़ जाती है। जासूस की नोटबुक में तेजी से जटिल विवरण भरने लगते हैं और अंततः, नोटबुक इतनी भारी हो जाती है कि उसे ले जाना असंभव हो जाता है, और कंप्यूटर की मेमोरी खत्म हो जाती है। जासूस फंस जाता है, वह केस सुलझाने में असमर्थ हो जाता है क्योंकि वह अपने ही नोट्स में डूब रहा होता है।

यह शोध पत्र इस जासूस की नोटबुक को हल्का और प्रबंधनीय रखने का एक चतुर नया तरीका पेश करता है। लेखक, जो यूके और यूएस के गणितज्ञों की एक टीम है, दो नए "स्केच्ड" (sketched) एल्गोरिदम का प्रस्ताव करते हैं। प्रत्येक सुराग का पूर्ण, भारी विवरण लिखने के बजाय, ये नई विधियाँ प्रत्येक सुराग का एक त्वरित, यादृच्छिक (randomized) "स्नैपशॉट" या "स्केच" लेती हैं। यह एक जटिल मूर्ति की हर वक्रता को मापने के बजाय, एक फोटो खींचने जैसा है। इन स्नैपशॉट्स का उपयोग करके, जासूस इस पहेली को बहुत तेज़ी से और बहुत कम मेमोरी के साथ हल कर सकता है। उन्होंने इन विधियों का परीक्षण तीन अलग-अलग प्रकार की समस्याओं पर किया: एक क्लासिक भौतिकी समीकरण (पॉइसन समीकरण), एक जटिल द्रव प्रवाह समस्या (कन्वेक्शन-डिफ्यूजन), और एक वास्तविक दुनिया का इमेज डीब्लरिंग कार्य। हर मामले में, उनके नए "स्नैपशॉट" जासूसों ने पुराने, भारी-भरकम तरीकों की तुलना में समस्याओं को अधिक कुशलता से हल किया, और इमेज डीब्लरिंग के मामले में, स्नैपशॉट लेने की प्रक्रिया ने स्वयं शोर (noise) को साफ करने में मदद की, जो एक बिल्ट-इन फिल्टर की तरह काम कर असली तस्वीर को प्रकट करता है।

समस्या: जासूस की ओवरलोडेड नोटबुक

कल्पना कीजिए कि आप एक "क्रायलोव सबस्पेस" (Krylov subspace) बनाने की कोशिश कर रहे हैं, जो एक रहस्य को सुलझाने का प्रयास कर रहा है। सरल शब्दों में, यह सुरागों की एक बढ़ती हुई सूची है। आप एक सुराग से शुरू करते हैं, फिर एक नियम (लीनियर ऑपरेटर) का उपयोग करके दूसरा सुराग उत्पन्न करते हैं, फिर तीसरा, और इसी तरह। समाधान खोजने के लिए, आपको यह सुनिश्चित करना होगा कि ये सभी सुराग एक-दूसरे से अलग हों—जिसे "ऑर्थोगोनलाइजेशन" (orthogonalization) कहा जाता है।

टेन्सर्स (बहु-आयामी डेटा) की दुनिया में, यह प्रक्रिया एक दीवार से टकरा जाती है। जैसे-जैसे आप अपनी सूची में अधिक सुराग जोड़ते हैं, प्रत्येक सुराग का गणितीय "रैंक" (उसकी जटिलता का एक माप) बढ़ता जाता है। यह ऐसा है जैसे आप एक सरल आकार का वर्णन करने की कोशिश कर रहे हों, लेकिन हर बार जब आप एक नया विवरण जोड़ते हैं, तो वह आकार अनंत परतों वाला एक फ्रैक्टल बन जाता है। जल्द ही, आपके कंप्यूटर की मेमोरी पूरी तरह से इन तेजी से जटिल होते विवरणों से भर जाती है, और प्रक्रिया रुक जाती है। यह वह मौलिक बाधा है जिसे यह शोध पत्र संबोधित करता है: मानक विधियाँ ले जाने के लिए बहुत भारी हो जाती हैं।

समाधान: मापन के बजाय स्नैपशॉट लेना

लेखक इसे हल करने के लिए दो नई रणनीतियाँ प्रस्तावित करते हैं, जो दोनों "स्केचिंग" (sketching) की अवधारणा पर आधारित हैं। प्रत्येक सुराग का पूर्ण, भारी विवरण रखने के बजाय, वे उसका एक संकुचित, यादृच्छिक "स्केच" लेते हैं। इसे ऐसे समझें: यदि आप दो विशाल पेंटिंग्स की तुलना करना चाहते हैं, तो आप प्रत्येक पिक्सेल को नहीं मापेंगे। इसके बजाय, आप प्रत्येक की एक त्वरित फोटो लेंगे जिसमें कैमरा थोड़ा धुंधला होगा और फिर उन फोटो की तुलना करेंगे। यदि फोटो पर्याप्त रूप से समान हैं, तो आप जानते हैं कि पेंटिंग्स भी समान हैं। यह बहुत अधिक समय और स्थान बचाता है।

शोध पत्र टेन्सर पहेलियों के लिए इसे करने के दो विशिष्ट तरीके पेश करता है:

1. "स्मार्ट एस्टिमेटर" (RHOSVD-Tucker sGMRES)
यह विधि "रैंडमाइज्ड हायर-ऑर्डर सिंगुलर वैल्यू डिकम्पोजिशन" (RHOSVD) नामक तकनीक का उपयोग करती है। कल्पना कीजिए कि आपके पास जटिल 3D ब्लॉक्स का एक ढेर है। हर एक ब्लॉक को गिनने के बजाय, आप ढेर को हिलाते हैं और देखते हैं कि प्रकाश उसके माध्यम से कैसे गुजरता है ताकि यह अनुमान लगाया जा सके कि वास्तव में कितने ब्लॉक्स हैं। यह विधि "अनुकूलनशील" (adaptive) है, जिसका अर्थ है कि यह खुद तय करती है कि उसे कितनी बारीकी बनाए रखनी है। यह मजबूत है और विभिन्न प्रकार की समस्याओं के लिए अच्छी तरह से काम करती है, लेकिन यह अभी भी सुरागों की एक पूर्ण सूची रखती है, बस उन्हें संकुचित करने का एक स्मार्ट तरीका अपनाती है।

2. "स्ट्रीमिंग स्ट्रीमर" (MLN-Tucker sGMRES)
यह अधिक क्रांतिकारी दृष्टिकोण है। यह "मल्टीलीनर निस्ट्रॉम" (Multilinear Nyström) सन्निकटन का उपयोग करता है। कल्पना कीजिए कि एक कन्वेयर बेल्ट एक-एक करके सुराग ला रही है। हर एक सुराग को एक बड़े गोदाम में रखने के बजाय, यह विधि सुराग का एक त्वरित स्नैपशॉट लेती है, उसकी गणितीय गणना करती है, और फिर भारी मूल वस्तु को फेंक देती है, केवल छोटे स्नैपशॉट को सुरक्षित रखती है। यह "स्ट्रीमेबल" (streamable) है, जिसका अर्थ है कि यह मेमोरी खत्म किए बिना डेटा के कभी न खत्म होने वाले प्रवाह को संभाल सकता है।

• जादुई ट्रिक: लेखकों ने पाया कि गणितीय समस्या को हल करने के लिए आवश्यक "स्नैपशॉट" वास्तव में संपीड़न प्रक्रिया के साथ मिलने वाला एक मुफ्त बोनस है। उन्हें दूसरा फोटो लेने की आवश्यकता नहीं है; पहला फोटो ही दो काम करता है।
• मेमोरी बचत: उन्होंने एक "मेमोरी-एफिशिएंट" मोड भी जोड़ा। यदि कंप्यूटर में जगह बहुत कम है, तो वे स्नैपशॉट के विवरणों में से और भी अधिक चीजों को हटा सकते हैं, केवल सबसे आवश्यक हिस्सों को रखकर, बिना अंतिम उत्तर को खराब किए।

परिणाम: तेज़, हल्का और स्वच्छ

टीम ने इन नए जासूसों का तीन अलग-अलग चुनौतियों पर परीक्षण किया:

• भौतिकी की पहेली (पॉइसन समीकरण): उन्होंने एक 3D हीट इक्वेशन को हल किया। नई विधियाँ पुरानी मानक विधियों की तुलना में तेज़ और अधिक मजबूत थीं, विशेष रूप से तब जब उन्हें बहुत उच्च सटीकता की आवश्यकता थी।
• द्रव की पहेली (कन्वेक्शन-डिफ्यूजन): यह एक अधिक कठिन, नॉन-सिमेट्रिक समस्या है जहाँ सुराग उतने अच्छे से व्यवहार नहीं करते। यहाँ, "स्ट्रीमिंग" विधि (MLN) सबसे बेहतर रही। इसने पुराने तरीकों की तुलना में लगभग आधे समय में, काफी कम मेमोरी का उपयोग करके समस्या को हल किया। यहाँ तक कि जब उन्होंने मेमोरी बचाने के लिए पुरानी विधियों को कम "सुरागों" का उपयोग करने के लिए मजबूर किया, तब भी नई विधियाँ बेहतर प्रदर्शन करती रहीं।
• इमेज डीब्लरिंग मिस्ट्री: यह सबसे रोमांचक परीक्षण था। उन्होंने एक धुंधली, शोर वाली 3D छवि (जैसे एक खोखले बार फैंटम का वीडियो) को स्पष्ट बनाने की कोशिश की।
  • आश्चर्य: धुंधली छवि को लो-रैंक फॉर्मेट में संकुचित करने (स्नैपशॉट लेने) की क्रिया ने वास्तव में एक "रेगुलराइज़र" (regularizer) के रूप में कार्य किया। सरल शब्दों में, संपीड़न स्वाभाविक रूप से हाई-फ्रीक्वेंसी शोर (दानेदार स्टैटिक) को हटा देता है जबकि महत्वपूर्ण विवरणों को बनाए रखता है। यह ऐसा था जैसे जासूस के कैमरे का लेंस स्वाभाविक रूप से कोहरे को छान रहा हो।
  • परिणाम: इस प्राकृतिक फ़िल्टरिंग को एक स्मार्ट गणितीय समायोजन (टिखोनोव रेगुलराइजेशन) के साथ जोड़कर, वे छवि को स्पष्ट रूप से पुनर्गठित कर सके, बिना यह जाने कि चित्र में शोर कितना था। नए तरीकों ने स्थिर, स्पष्ट छवियां बनाईं जहाँ पुराने तरीके विफल हो जाते या गलत परिणाम देते।

यह क्यों महत्वपूर्ण है

शोध पत्र दिखाता है कि किसी बड़ी समस्या को हल करने के लिए आपको अपने बैकपैक में पूरी दुनिया ले जाने की आवश्यकता नहीं है। यादृच्छिक "स्नैपशॉट्स" और स्मार्ट संपीड़न का उपयोग करके, आप उन विशाल, बहु-आयामी पहेलियों को हल कर सकते हैं जो मेमोरी सीमाओं के कारण पहले असंभव थीं। लेखकों ने प्रदर्शित किया कि ये विधियाँ केवल सैद्धांतिक नहीं हैं; वे वास्तविक सिमुलेशन में काम करती हैं, ऐसी समस्याओं को सेकंडों में हल करती हैं जिन्हें पुराने तरीकों के लिए मिनटों या घंटों की आवश्यकता होती है, और वे इसे बहुत कम कंप्यूटर मेमोरी का उपयोग करके करती हैं।

सबसे महत्वपूर्ण बात यह है कि इमेज डीब्लरिंग जैसी 'इनवर्स प्रॉब्लम्स' के लिए, उन्होंने दिखाया कि संपीड़न स्वयं डेटा को साफ करने के लिए एक शक्तिशाली उपकरण है। यह वास्तविक दुनिया के शोर वाले, अव्यवस्थित डेटा को संभालने का एक नया तरीका सुझाता है: सब कुछ पूरी तरह से मापने की कोशिश न करें; इसे स्मार्ट तरीके से संकुचित करें, और शोर अपने आप गायब हो सकता है।