On Universality of Non-Separable Approximate Message Passing Algorithms

डेटा विज्ञान की आधुनिक दुनिया में, कंप्यूटर लगातार सूचनाओं के विशाल महासागरों के भीतर छिपे हुए पैटर्न खोजने की कोशिश कर रहे हैं। चाहे वह एक धुंधली छवि को पुनर्गठित करना हो, एक वाक्य में अगले शब्द की भविष्यवाणी करना हो, या शोर भरे रेडियो प्रसारण में एक मंद संकेत की पहचान करना हो, ये कार्य अक्सर पुनरावृत्ति एल्गोरिदम (iterative algorithms) पर निर्भर करते हैं। ये चरण-दर-चरण प्रक्रियाएं हैं जो एक अनुमान से शुरू होती हैं, यह जांचती हैं कि वह अनुमान कितना गलत है, और फिर उसे परिष्कृत करती हैं, इस प्रक्रिया को तब तक दोहराती हैं जब तक कि उत्तर पर्याप्त रूप से सटीक न हो जाए। दशकों से, वैज्ञानिक इन एल्गोरिदम के व्यवहार की सटीक भविष्यवाणी करने के लिए एक शक्तिशाली गणितीय ढांचे पर भरोसा करते आए हैं जब डेटा यादृच्छिक (random) और उच्च-आयामी (high-dimensional) होता है। 'स्टेट इवोल्यूशन' (state evolution) के रूप में जाना जाने वाला यह ढांचा एल्गोरिदम की प्रगति के लिए एक मौसम पूर्वानुमान की तरह कार्य करता है, जो शोधकर्ताओं को बताता है कि प्रत्येक चरण के साथ त्रुटि कैसे कम होगी और समाधान कैसे सुधरेगा। हालांकि, यह पूर्वानुमान ऐतिहासिक रूप से केवल बहुत विशिष्ट स्थितियों में विश्वसनीय रहा है: जब डेटा पूरी तरह से यादृच्छिक हो और एल्गोरिदम सूचना के प्रत्येक हिस्से के साथ स्वतंत्र रूप से व्यवहार करता हो, जैसे कि अपने पड़ोसियों को देखे बिना एक समय में एक पिक्सेल की जांच करना।

वास्तविक दुनिया का डेटा शायद ही कभी इस व्यवस्थित, अलग-थलग चित्र में फिट बैठता है। छवियों में बनावट (textures) होती है जहाँ पास के पिक्सेल आपस में संबंधित होते हैं; संकेतों में अक्सर जटिल संरचनाएं होती हैं जहाँ एक हिस्सा दूसरे को प्रभावित करता है; और डेटा मैट्रिसेस, जिनका उपयोग इन संकेतों को कैप्चर करने के लिए किया जाता है, अक्सर उन भौतिक प्रक्रियाओं से आते हैं जो पूरी तरह से यादृच्छिक नहीं होते हैं। जब एल्गोरिदम को इन जटिल, परस्पर जुड़े संरचनाओं को संभालने के लिए डिज़ाइन किया जाता है, तो पुराने गणितीय पूर्वानुमान विफल हो जाते हैं। लंबे समय तक, यह स्पष्ट नहीं था कि क्या स्टेट इवोल्यूशन की सुंदर भविष्यवाणियां तब भी सत्य रहेंगी जब एल्गोरिदम केवल अलग-थलग हिस्सों के बजाय पूरी तस्वीर को एक साथ देखता है, और जब डेटा मानक बेल कर्व (bell curve) के बजाय अन्य वितरणों से आता है।

शोधकर्ताओं की एक टीम ने इस अनिश्चितता को सुलझाने की दिशा में एक महत्वपूर्ण कदम उठाया है। उन्होंने एक नया नियम विकसित किया है जिससे यह निर्धारित किया जा सके कि ये शक्तिशाली भविष्यवाणियां कब वैध रहती हैं, भले ही वे सबसे जटिल, परस्पर जुड़े एल्गोरिदम और गैर-मानक डेटा के लिए हों। उनका कार्य 'एप्रोक्सिमेट मैसेज पासिंग' (Approximate Message Passing) नामक एल्गोरिदम के एक विशिष्ट वर्ग पर केंद्रित है, जो सांख्यिकी और मशीन लर्निंग में व्यापक रूप से उपयोग किए जाते हैं। शोधकर्ताओं ने पाया कि इन भविष्यवाणियों को सार्वभौमिक (universal) बनाने की कुंजी उन गणितीय कार्यों की प्रकृति में निहित है जिनका उपयोग एल्गोरिदम डेटा को संसाधित करने के लिए करता है। उन्होंने पाया कि यदि ये कार्य एक विशिष्ट, संरचनात्मक अर्थ में "सुव्यवस्थित" (well-behaved) हैं—अर्थात, वे डेटा की छोटी, यादृच्छिक विसंगतियों को बड़े दोषों में नहीं बदलते हैं—तो एल्गोरिदम के व्यवहार की उच्च सटीकता के साथ भविष्यवाणी की जा सकती है, चाहे अंतर्निहित डेटा एक पूर्ण बेल कर्व का पालन करता हो या अधिक अनियमित वितरण का।

यह समझने के लिए कि शोधकर्ताओं ने वास्तव में क्या किया, कल्पना कीजिए कि एक एल्गोरिदम एक शोर वाली छवि को साफ करने की कोशिश कर रहा है। सबसे सरल परिदृश्य में, एल्गोरिदम प्रत्येक पिक्सेल को स्वतंत्र रूप से देख सकता है, यह तय कर सकता है कि वह बहुत चमकीला है या बहुत गहरा, केवल अपने स्वयं के मान के आधार पर। यह गणितीय रूप से अनुमान लगाने में आसान है। लेकिन एक अधिक उन्नत परिदृश्य में, एल्गोरिदम पिक्सेल के एक छोटे पड़ोस को देख सकता है, शोर को हटाने के लिए किनारों को तीक्ष्ण रखते हुए उन्हें एक साथ सुचारू (smooth) कर सकता है। यह एक "नॉन-सेपरेबल" (non-separable) ऑपरेशन है क्योंकि एक पिक्सेल का मान उसके पड़ोसियों पर निर्भर करता है। शोधकर्ताओं ने दिखाया कि इन पड़ोस-आधारित ऑपरेशनों के लिए, पुराने पूर्वानुमान विफल हो जाते हैं यदि एल्गोरिदम शोर की विशिष्ट सांख्यिकीय विसंगतियों के प्रति बहुत संवेदनशील है। हालांकि, उन्होंने एक सटीक स्थिति की पहचान की, जिसे वे 'बाउंडेड कंपोजिशन प्रॉपर्टी' (Bounded Composition Property) कहते हैं, जो एक सुरक्षा जांच के रूप में कार्य करती है। यदि एल्गोरिदम के स्मूथिंग नियम इस शर्त को पूरा करते हैं, तो पिक्सेल के बीच की जटिल अंतःक्रियाएं सिस्टम को अनियकंत्रित नहीं करती हैं, और मानक गणितीय पूर्वानुमान सटीक रहता है।

टीम ने पहले उन एल्गोरिदम का विश्लेषण करके इसे सिद्ध किया जो बहुपद कार्यों (polynomial functions) का उपयोग करते हैं—जो सरल जोड़ और गुणा से बने गणितीय नियम हैं। उन्होंने प्रदर्शित किया कि यदि इन बहुपदों के गुणांक (coefficients) उनके नए सुरक्षा मानदंड को पूरा करते हैं, तो एल्गोरिदम का प्रदर्शन सार्वभौमिक है। इसका अर्थ है कि एक डेटा पर चलने वाला एल्गोरिदम जिसमें पूर्णतः गॉसियन (बेल-आकार का) शोर वितरण है, वह पूरी तरह से अलग, गैर-गॉसियन वितरण वाले डेटा पर चलने वाले एल्गोरिदम के लगभग समान व्यवहार करेगा, जैसे कि डेटा जो पूरी तरह से सकारात्मक है या एक समान (uniform) पैटर्न का अनुसरण करता है। इसके बाद उन्होंने अपने निष्कर्ष को अधिक जटिल, वास्तविक दुनिया के एल्गोरिदम तक विस्तारित किया जो लिप्सचिट्ज (Lipschitz) कार्यों का उपयोग करते हैं, जो सुचारू रूप से बदलते हैं और जिनमें अचानक, अनंत उछाल नहीं होते हैं। उन्होंने दिखाया कि जब तक ये जटिल नियम उन सुव्यवस्थित बहुपद नियमों द्वारा निकटता से अनुमानित किए जा सकते हैं जिनका उन्होंने पहले ही विश्लेषण किया है, तब तक सार्वभौमिक भविष्यवाणी सत्य रहती है।

शोधकर्ताओं ने अपने सिद्धांत का परीक्षण ठोस उदाहरणों के साथ किया जो वास्तविक अनुप्रयोगों को दर्शाते हैं। एक मामले में, उन्होंने एक स्थानीय स्मूथिंग फ़िल्टर का उपयोग करके छवि को पुनर्गठित करने के लिए डिज़ाइन किए गए एल्गोरिदम का अनुकरण किया, जहाँ प्रत्येक पिक्सेल को उसके तत्काल पड़ोसियों के आधार पर समायोजित किया जाता है। उन्होंने इस एल्गोरिदम को दो अलग-अलग प्रकार के यादृच्छिक डेटा पर चलाया: एक मानक गॉसियन वितरण के साथ और दूसरा रेडमेकर (Rademacher) वितरण के साथ, जहाँ मान या तो सकारात्मक या नकारात्मक होते हैं। परिणामों ने दिखाया कि एल्गोरिदम की त्रुटि दर और पुनर्गठित छवियों की गुणवत्ता दोनों मामलों में लगभग समान थी, जो उनके सैद्धांतिक पूर्वानुमान से पूरी तरह मेल खाती थी। एक अन्य उदाहरण में, उन्होंने "मैट्रिक्स सेंसिंग" (matrix sensing) को देखा, जो लो-रैंक मैट्रिसेस को रिकवर करने की एक तकनीक है, जो अनुशंसा प्रणालियों (recommendation systems) और चिकित्सा इमेजिंग में आम है। यहाँ, एल्गोरिदम ने एक स्पेक्ट्रल डीनॉइज़र (spectral denoiser) का उपयोग किया, जो मैट्रिक्स को उसके समग्र ढांचे के आधार पर समायोजित करता है, न कि व्यक्तिगत प्रविष्टियों के आधार पर। फिर से, एल्गोरिदम विभिन्न डेटा वितरणों में सुसंगत रूप से कार्य कर रहा था, और सैद्धांतिक पूर्वानुमान ने पुनर्गठन के मीन-स्क्वेयर्ड एरर (mean-squared error) की सटीक भविष्यवाणी की।

महत्वपूर्ण रूप से, यह शोध पत्र यह भी स्पष्ट करता है कि सार्वभौमिकता कहाँ लागू नहीं होती है। शोधकर्ताओं ने एक प्रति-उदाहरण (counterexample) प्रदान किया जिससे पता चलता है कि यदि एल्गोरिदम के नियम डेटा के विशिष्ट मूल्यों के प्रति बहुत संवेदनशील हैं, तो भविष्यवाणियां विफल हो जाती हैं। उन्होंने एक ऐसी स्थिति का वर्णन किया जहाँ एक एल्गोरिदम, जब एक विशिष्ट प्रकार के गैर-गॉसियन डेटा पर लागू किया जाता है, तो परिणाम उस डेटा के वितरण की विशिष्टताओं पर अत्यधिक निर्भर होते हैं, जिससे मानक पूर्वानुमान बेकार हो जाता है। यह अंतर अत्यंत महत्वपूर्ण है क्योंकि यह इन शक्तिशाली उपकरणों के गलत अनुप्रयोग को रोकता है। यह कार्य यह दावा नहीं करता कि सभी जटिल एल्गोरिदम सार्वभौमिक हैं; बल्कि, यह निर्धारित करने के लिए एक स्पष्ट, परीक्षण योग्य मानदंड प्रदान करता है कि कौन से हैं।

ये निष्कर्ष भविष्य के सांख्यिकीय शिक्षण उपकरणों के डिजाइन के लिए एक मजबूत आधार प्रदान करते हैं। यह स्थापित करके कि इन परिष्कृत एल्गोरिदम का व्यवहार विशिष्ट शोर वितरण से स्वतंत्र होता है, शोधकर्ताओं ने वास्तविक दुनिया की समस्याओं की एक विस्तृत श्रृंखला के लिए सरल गणितीय मॉडलों के उपयोग को मान्य किया है। इसका अर्थ है कि इंजीनियर और वैज्ञानिक इन सैद्धांतिक भविष्यवाणियों पर भरोसा कर सकते हैं ताकि वे अपने एल्गोरिदम को ट्यून कर सकें और अपने प्रदर्शन का पूर्वानुमान लगा सकें, भले ही वे जिस डेटा पर काम कर रहे हों वह अव्यवस्थित, सह-संबंधित (correlated), या एक असामान्य सांख्यिकीय पैटर्न का पालन करता हो। यह कार्य गणितीय सिद्धांत की आदर्श दुनिया और आधुनिक डेटा की जटिल, परस्पर जुड़ी वास्तविकता के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि दुनिया को समझने के लिए हम जो उपकरण बनाते हैं वे उतने ही विश्वसनीय हों जितनी कि उन्हें आधार देने वाली गणित।