SIMANF: Sample Free Learning of Unnormalized Distributions via Simulated Annealing in Normalizing Flows

आधुनिक विज्ञान के विशाल परिदृश्य में, एक रासायनिक प्रतिक्रिया में परमाणुओं के व्यवहार से लेकर ब्रह्मांड के शुरुआती क्षणों के जटिल पैटर्न तक, शोधकर्ता अक्सर एक सामान्य बाधा का सामना करते हैं: वे जानते हैं कि एक प्रणाली को कौन से नियम नियंत्रित करते हैं, लेकिन वे पूरी तस्वीर को आसानी से देख नहीं पाते हैं। ये नियम अक्सर एक ऊर्जा मानचित्र (energy map) के रूप में लिखे जाते हैं, जो एक गणितीय परिदृश्य है जहाँ ऊँची चोटियाँ असंभावित अवस्थाओं का प्रतिनिधित्व करती हैं और गहरी घाटियाँ संभावित अवस्थाओं का। चुनौती यह है कि इस मानचित्र का कुल क्षेत्रफल—एक पूर्ण प्रायिकता में इन नियमों को बदलने के लिए आवश्यक नॉर्मलाइजेशन कांस्टेंट (normalization constant)—अक्सर सीधे तौर पर गणना करना असंभव होता है। इस प्रणाली को समझने के लिए, वैज्ञानिकों को प्रतिनिधि नमूने (representative samples) लेने की आवश्यकता होती है, जिसका अर्थ है इस मानचित्र के विभिन्न बिंदुओं पर जाकर देखना कि यह कैसा दिखता है। इसे करने के लिए पारंपरिक तरीके, जो रैंडम वॉक (random walks) पर निर्भर करते हैं, अक्सर एक ही घाटी में फंस जाते हैं या दूरस्थ चोटियों के बीच कूदने में इतना अधिक समय लेते हैं कि प्रक्रिया अव्यवहारिक हो जाती है, विशेष रूप से जब मानचित्र में कई अलग-अलग घाटियाँ और उच्च आयाम (dimensions) हों।

इसे हल करने के लिए, SIMANF नामक एक नया दृष्टिकोण विकसित किया गया है, जो इन जटिल परिदृश्यों को बिना पहले देखे सीखने का एक तरीका प्रदान करता है। पूरे परिदृश्य को एक साथ मैप करने के बजाय, यह विधि एक सरल, सुचारू शुरुआती बिंदु से एक जटिल लक्ष्य तक एक पुल बनाती है। यह 'सिमुलेटेड एनीलिंग' (simulated annealing) नामक तकनीक का उपयोग करता है, जो पिघली हुई सामग्री को धीरे-धीरे ठंडा करने जैसा है ताकि उसकी संरचना अपनी सबसे स्थिर अवस्था में व्यवस्थित हो सके। एक सरल, आसानी से समझ में आने वाले वितरण को कठिन, बहु-शिखर (multi-peaked) लक्ष्य वितरण में धीरे-धीरे बदलकर, यह विधि एक लचीले मॉडल को इस पथ का चरण-दर-चरण अनुसरण करने के लिए प्रशिक्षित करती है। यह विधि को पूरे परिदृश्य का पता लगाने, सभी अलग-अलग घाटियों को खोजने और केवल एक में फंसने के बजाय, और फिर लक्ष्य के साथ उच्च सटीकता से मेल बिठाने के लिए सक्षम बनाता है। इसका परिणाम एक ऐसी प्रणाली है जो केवल ऊर्जा नियमों का उपयोग करके अविश्वसनीय रूप से जटिल, उच्च-आयामी वितरणों से सटीक नमूने उत्पन्न कर सकती है, बिना स्वयं लक्ष्य से किसी पूर्व-मौजूदा डेटा की आवश्यकता के।

इस क्षेत्र की मुख्य कठिनाई यह है कि कई वैज्ञानिक समस्याओं में कई अलग-अलग मोड (modes), या शिखर (peaks) शामिल होते हैं, जो विशाल, खाली स्थानों द्वारा अलग किए जाते हैं। यदि कोई लर्निंग एल्गोरिदम सीधे ऐसे लक्ष्य को फिट करने की कोशिश करता है, तो वह अक्सर "मोड कोलैप्स" (mode collapse) का शिकार हो जाता है, जहाँ वह अधिकांश शिखरों को अनदेखा कर देता है और केवल सबसे आसान शिखर पर ध्यान केंद्रित करता है। ऐसा इसलिए होता है क्योंकि मॉडलों को प्रशिक्षित करने का मानक तरीका, जो मॉडल और लक्ष्य के बीच के अंतर को कम करता है, मॉडल को सबसे स्पष्ट विशेषताओं पर अपनी प्रायिकता द्रव्यमान (probability mass) केंद्रित करने के लिए प्रोत्साहित करता है जबकि बाकी हिस्सों की उपेक्षा करता है। जबकि अन्य विधियाँ मौजूद हैं जो लक्ष्य से नमूने लेकर इसे ठीक करने की कोशिश करती हैं, वे दृष्टिकोण अक्सर उसी कम्प्यूटेशनल बाधा को फिर से पेश कर देते हैं जिससे शोधकर्ता बचना चाह रहे हैं: उन प्रारंभिक नमूनों को उत्पन्न करने की उच्च लागत।

SIMANF के पीछे के शोधकर्ताओं, महिंद्रा यूनिवर्सिटी के विकास कनौजिया ने एक ऐसा समाधान प्रस्तावित किया है जो इस जाल से पूरी तरह बचता है। उनका ढांचा, जो 'सैंपल फ्री लर्निंग ऑफ अननॉर्मलाइज्ड डिस्ट्रीबशंस वाया सिम्युलेटेड एनीलिंग इन नॉर्मलाइजिंग फ्लोज़' (SIMANF) है, प्रशिक्षण चरण के दौरान लक्ष्य वितरण से किसी भी नमूने की आवश्यकता नहीं रखता है। इसके बजाय, यह पूरी तरह से अननॉर्मलाइज्ड एनर्जी फंक्शन (unnormalized energy function) पर निर्भर करता है, जो उस परिदृश्य को परिभाषित करने वाला गणितीय नियम है। प्रक्रिया शुरुआती वितरणों के एक अनुक्रम (sequence) बनाकर शुरू होती है जो मध्यवर्ती पड़ावों के रूप में कार्य करते हैं। इस अनुक्रम में पहला वितरण लक्ष्य का एक अत्यधिक स्मूथ किया गया संस्करण है, जहाँ शिखरों के बीच की ऊर्जा बाधाओं को सपाट कर दिया गया है, जिससे मॉडल के लिए पूरे स्थान का पता लगाना आसान हो जाता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, मॉडल को चरणों की एक श्रृंखला के माध्यम से धीरे-धीरे निर्देशित किया जाता है जहाँ परिदृश्य अधिक तीक्ष्ण और विस्तृत होता जाता है, और अंततः मूल, जटिल लक्ष्य वितरण तक पहुँचता है।

इस यात्रा के प्रत्येक चरण में, मॉडल पिछले चरण से सीखता है, और जो कुछ भी उसने खोजा है उसे आगे बढ़ाता है। ज्ञान का यह हस्तांतरण यह सुनिश्चित करता है कि मॉडल बारीक विवरणों पर ध्यान केंद्रित करते समय परिदृश्य की अपनी व्यापक समझ न खो दे। प्रशिक्षण उद्देश्य (training objective) को सभी अलग-अलग मोड को कवर करने की आवश्यकता और लक्ष्य के आकार को सटीक रूप से पकड़ने की आवश्यकता के बीच संतुलन बनाने के लिए सावधानीपूर्वक भारित किया गया है। एक बार जब मॉडल इस एनीलिंग पथ को पार कर लेता है, तो एक अंतिम परिशोधन (refinement) चरण लागू किया जाता है। यह चरण प्रारंभिक प्रशिक्षण दृष्टिकोण को एक ऐसी तकनीक के साथ जोड़ता है जो मॉडल द्वारा पहले से ही उत्पन्न किए गए नमूनों का उपयोग करके उसकी सटीकता में सुधार करती है। यह मॉडल को शेष पूर्वाग्रहों को ठीक करने और यह सुनिश्चित करने की अनुमति देता है कि प्रायिकता द्रव्यमान सभी शिखरों पर सही ढंग से वितरित हो, न कि केवल सबसे प्रमुख शिखरों पर।

इस विधि की प्रभावशीलता का परीक्षण दो चुनौतीपूर्ण प्रकार के वितरणों पर किया गया। पहला एक "मेनी-वेल" (Many-Well) वितरण था, जो एक कृत्रिम परिदृश्य है जिसे कई गहरी घाटियों वाला बनाया गया है। आठ आयामों के परीक्षण में, जिसने 16 अलग-अलग मोड बनाए, और सोलह आयामों में, जिसने 256 मोड बनाए, SIMANF ने लगातार अन्य अग्रणी विधियों को पछाड़ दिया। इसने लक्ष्य वितरण से मेल खाने में कम त्रुटि दर प्राप्त की और ऐसे नमूने उत्पन्न किए जो प्रतिस्पर्धी दृष्टिकोणों की तुलना में बहुत अधिक स्वतंत्र और प्रतिनिधि थे। उदाहरण के लिए, सोलह-आयामी परीक्षण में, SIMмF ने अन्य विधियों की तुलना में काफी उच्च प्रभावी आकार (effective size) के साथ नमूने उत्पन्न किए, जो यह दर्शाता है कि यह कुछ ही स्थानों पर फंसने के बजाय पूरे परिदृश्य का सफलतापूर्वक अन्वेषण कर रहा है।

दूसरे परीक्षण में स्केलर फील्ड थ्योरी (scalar field theory) से संबंधित एक वितरण शामिल था, जो भौतिकी में ग्रिड पर क्षेत्रों (fields) का वर्णन करने के लिए उपयोग किया जाने वाला एक सिद्धांत है। शोधकर्ताओं ने 8x8 और 10x10 के ग्रिड पर इस विधि का परीक्षण किया, जो क्रमशः 64 और 100 आयामों का प्रतिनिधित्व करते हैं। 8x8 ग्रिड पर, SIMANF ने फिर से सबसे कम त्रुटि और उच्चतम सैंपलिंग दक्षता हासिल की। 10x10 के अधिक कठिन ग्रिड पर, इसने अपनी बढ़त बनाए रखी, जो प्रत्यक्ष प्रशिक्षण या अन्य सैंपलिंग तकनीकों पर निर्भर विधियों की तुलना में वितरण की जटिल संरचना को कैप्चर करने की बहुत बेहतर क्षमता प्रदर्शित करता है। परिणामों ने दिखाया कि जबकि कुछ विधियाँ घनत्व (density) को अच्छी तरह से फिट कर सकती थीं, वे कुशल नमूने उत्पन्न करने में विफल रहीं, जबकि SIMANF दोनों कार्यों में उत्कृष्ट रहा।

सटीकता के अलावा, यह विधि कम्प्यूटेशनल रूप से भी कुशल साबित हुई। हालांकि एनीलिंग की प्रक्रिया के लिए मॉडल को कई चरणों के माध्यम से प्रशिक्षित करना आवश्यक है, लेकिन कुल समय प्रशिक्षण के दौरान जटिल, पुनरावृत्ति सैंपलिंग चरणों पर निर्भर कुछ प्रतिस्पर्धी विधियों से कम था। एक बार मॉडल प्रशिक्षित हो जाने के बाद, नए नमूने उत्पन्न करना अत्यंत तेज़ होता है, जिसमें नेटवर्क के माध्यम से केवल एक सिंगल फॉरवर्ड पास की आवश्यकता होती है। यह दृष्टिकोण उच्च-आयामी समस्याओं के लिए विशेष रूप से मूल्यवान बनाता है जहाँ गति और सटीकता दोनों महत्वपूर्ण हैं। अध्ययन बताता है कि यह एनीलिंग-आधारित रणनीति प्रशिक्षण की लागत और अंतिम नमूनों की गुणवत्ता के बीच एक आशाजनक संतुलन प्रदान करती है, जो उन वैज्ञानिकों के लिए एक मजबूत उपकरण है जिन्हें पूर्व-मौजूदा डेटा की विलासिता के बिना जटिल प्रणालियों को समझने की आवश्यकता है।

यह कार्य यह प्रदर्शित करता है कि सरलता से जटिलता की ओर एक मॉडल को धीरे-धीरे निर्देशित करके, पारंपरिक शिक्षण विधियों की सीमाओं को पार करना संभव है। मुख्य अंतर्दृष्टि यह है कि एक कठिन समस्या के प्रति सीधा दृष्टिकोण अक्सर विफलता की ओर ले जाता है, लेकिन एक क्रमिक, संरचित प्रगति मॉडल को एक पूर्ण और सटीक प्रतिनिधित्व बनाने की अनुमति देती है। यह खोज अणुओं के व्यवहार से लेकर ब्रह्मांड की संरचना तक, जटिल वैज्ञानिक परिदृश्यों के अधिक कुशल अन्वेषण के द्वार खोलती है, जो केवल उन मौलिक नियमों का उपयोग करती है जो उन्हें नियंत्रित करते हैं।