Random Projection Flows for Efficient Manifold Density Estimation

कल्पना कीजिए कि आप किसी जटिल, त्रि-आयामी (three-dimensional) वस्तु का वर्णन करने की कोशिश कर रहे हैं, जैसे कि एक मुड़ी हुई मूर्तिकला, जिसे किसी ऐसे व्यक्ति को समझाना है जो केवल दो आयामों (two dimensions) में देख सकता है। यदि आप उस मूर्तिकला को बस चपटा करके दबा देते हैं, तो आप उन घुमावों और मोड़ों को खो सकते हैं जो इसे अद्वितीय बनाते हैं। यह कंप्यूटर विज्ञान की दुनिया में "डेंसिटी एस्टीमेशन" (density estimation) की चुनौती है: जटिल, उच्च-आयामी डेटा (जैसे एक फोटो के हजारों पिक्सेल या एक मेडिकल स्कैन के हजारों माप) को उसके मूल आकार को खोए बिना समझने और पुन: बनाने की कोशिश करना।

इसे करने के लिए, वैज्ञानिक अक्सर एक "नॉर्मलाइजिंग फ्लो" (normalizing flow) नामक उपकरण का उपयोग करते हैं। इसे एक जादुई, उत्क्रमणीय (reversible) मशीन के रूप में सोचें जो एक साधारण, उबाऊ डेटा क्लाउड (जैसे एक मानक बेल कर्व) को खींचती है, मोड़ती है और मोड़ती है जब तक कि वह बिल्कुल उसी जटिल डेटा जैसा न दिखने लगे जिसका आप अध्ययन करना चाहते हैं। पेचीदा हिस्सा तब होता है जब डेटा केवल एक बिखरा हुआ क्लाउड नहीं होता, बल्कि वास्तव में एक छिपे हुए, निम्न-आयामी "मैनिफोल्ड" (manifold) पर स्थित होता—जो एक विशाल, खाली स्थान के भीतर एक विशिष्ट, घुमावदार सतह है। एक 100-आयामी कमरे के भीतर एक मुड़े हुए कागज के टुकड़े को मैप करना वैसा ही है जैसे कागज को बिना फटे समतल करने की कोशिश करना; यदि आप इसे गलत तरीके से करते हैं, तो आप गणित को विकृत कर देते हैं और डेटा की संभावना (probability) की सही गणना नहीं कर पाते हैं। यह शोध पत्र एक नए तरीके के बारे में बताता है जिससे आप हर बार एक आदर्श मोड़ सीखने के बजाय, एक यादृच्छिक (random), निष्पक्ष दृष्टिकोण का उपयोग करके उस कागज को समतल कर सकते हैं।

---

द रैंडम प्रोजेक्शन फ्लो: आकार खोजने के लिए सिक्का उछालना

रैंडम प्रोजेक्शन फ्लो (RPFs) से मिलिए, जो शोधकर्ताओं अहमद अयाज़ अमीन और बहा उद्दीन काज़ी द्वारा पेश किया गया एक नया तरीका है। उनका विचार आश्चर्यजनक रूप से सरल है: कंप्यूटर को उच्च-आयामी डेटा को छोटे आकार में सिकोड़ने का सबसे अच्छा तरीका खोजने के लिए घंटों सिखाने के बजाय (एक प्रक्रिया जिसे आमतौर पर "लर्निंग अ प्रोजेक्शन" कहा जाता है), क्यों न बस एक सिक्का उछालें और उसे करने का एक यादृच्छिक तरीका चुनें?

गणित की दुनिया में, रैंडम प्रोजेक्शन (Random Projection) नामक एक अवधारणा है। कल्पना कीजिए कि आपके पास ऊन का एक विशाल, बहु-रंगीन गोला है (आपका उच्च-आयामी डेटा)। आमतौर पर, इसे समझने के लिए, आप उस विशिष्ट दिशा को खोजने का प्रयास करेंगे जहाँ ऊन सबसे अधिक उलझा हुआ है (यह वही है जो PCA जैसे पुराने तरीके करते हैं)। लेकिन अमीन और काज़ी का सुझाव है कि यदि आप ऊन पर पूरी तरह से यादृच्छिक कोण से रोशनी डालते हैं, तो आपको अभी भी एक अच्छा सा साया (shadow) मिलेगा जो गांठों के बीच की दूरियों को सुरक्षित रखता है। यह एक प्रसिद्ध गणितीय विचार जॉनसन-लिंडेनस्ट्रास लेम्मा (Johnson-Lindenstrauss Lemma) पर आधारित है, जो मूल रूप से कहता है कि यदि आप एक यादृच्छिक मानचित्र का उपयोग करके डेटा को निम्न आयाम में प्रोजेक्ट करते हैं, तो बिंदुओं के बीच की दूरियाँ लगभग समान रहती हैं।

लेखकों ने एक प्रणाली बनाई है जहाँ वे डेटा को प्रोजेक्ट करने के लिए एक "सेमी-ऑर्थोगोनल मैट्रिक्स" (एक गॉसियन वितरण से उत्पन्न यादृच्छिक संख्याओं का एक फैंसी ग्रिड) का उपयोग करते हैं। इस मैट्रिक्स को यादृच्छिक दर्पणों का एक सेट मान लें। जब आप अपने डेटा को इन दर्पणों से टकराते हैं, तो यह एक छोटे, संभालने में आसान कमरे (लेटेंट स्पेस) में गिरता है। क्योंकि ये दर्पण यादृच्छिक हैं और विशिष्ट गणितीय नियमों (हाार-डिस्ट्रीब्यूटेड) का पालन करते हैं, इसलिए "सिकुड़ने" (squishing) के पीछे का गणित अविश्वसनीय रूप से आसान हो जाता है।

यहाँ जादू का खेल है: आमतौर पर, जब आप डेटा को सिकोड़ते हैं, तो आपको यह गणना करने के लिए एक विशाल, धीमी गणना करनी पड़ती है कि आयतन (volume) में कितना परिवर्तन हुआ (जिसे "रीमानियन वॉल्यूम करेक्शन" कहा जाता है)। यह ठीक वैसा ही है जैसे हर बार गुब्बारे को दबाने पर यह गणना करना कि वह कितना फैलता है। लेकिन RPFs के साथ, क्योंकि प्रोजेक्शन यादृच्छिक और स्थिर है, आयतन परिवर्तन केवल एक स्थिरांक संख्या (constant number) है। यह ऐसा है जैसे यह महसूस करना कि आप एक पूर्ण घन (cube) को चाहे किसी भी दिशा में घुमा लें, वह हमेशा समान स्थान घेरता है। इसका मतलब है कि कंप्यूटर को हर एक डेटा पॉइंट के लिए कठिन गणित करने की आवश्यकता नहीं है; यह बस समीकरण में एक सरल, पूर्व-गणना की गई संख्या जोड़ देता है।

उन्होंने क्या पाया: यादृच्छिकता सीखना से बेहतर हो सकती है

शोधकर्ताओं ने कई वास्तविक दुनिया के डेटासेट्स पर इस विचार का परीक्षण किया, जिसमें कुछ मानक बेंचमार्क शामिल हैं जिनका उपयोग यह परीक्षण करने के लिए किया जाता है कि कंप्यूटर डेटा के आकार का कितनी अच्छी तरह से अनुमान लगा सकते हैं (जैसे UCI डेटासेट्स: POWER, GAS, HEPMASS, और MINIBO年代):

उन्होंने अपने "रैंडम प्रोजेक्शन फ्लो" की तुलना पारंपरिक विधि से की, जो PCA (प्रिंसिपल कंपोनेंट एनालिसिस) का उपयोग करती है। PCA एक ऐसे छात्र की तरह है जो डेटा को देखने का सबसे अच्छा कोण खोजने के लिए कड़ी मेहनत करता है। RPF एक ऐसे छात्र की तरह है जो अपनी आँखें बंद करता है और एक यादृच्छिक दिशा में इशारा करता है।

परिणाम आश्चर्यजनक थे। लगभग हर परीक्षण में, यादृच्छिक विधि (RPF) ने सीखा हुआ विधि (PCA) से बेहतर प्रदर्शन किया।

• POWER डेटासेट पर, यादृच्छिक विधि का स्कोर -1.72 था, जबकि सीखा हुआ PCA विधि -2.51 था (याद रखें, इस खेल में, उच्च स्कोर बेहतर है, इसलिए -1.72 एक जीत है)।
• GAS डेटासेट पर, RPF का स्कोर -1.57 था जबकि PCA का -2.32 था।
• HEPMASS पर, RPF का स्कोर -19.97 बनाम PCA का -20.71 था।

लेखकों ने पाया कि यादृच्छिक प्रोजेक्शन का उपयोग करके, उन्होंने एक सामान्य जाल से बचने में सफलता प्राप्त की जिसे "मैनिफोल्ड ओवरफिटिंग" (manifold overfitting) कहा जाता है। यह तब होता है जब एक मॉडल प्रशिक्षण डेटा के विशिष्ट विवरणों के प्रति इतना जुनूनी हो जाता है कि वह सामान्य आकार को भूल जाता है। क्योंकि यादृच्छिक प्रोजेक्शन डेटा को "सीखने" की कोशिश नहीं करता है, इसलिए यह ईमानदार रहता है और ज्यामिति (geometry) को बेहतर ढंग से सुरक्षित रखता है। उन्होंने "स्विस रोल" (एक सर्पिल सीढ़ी) और "S-कर्व" जैसे 3D आकारों पर भी इसका परीक्षण किया। जब उन्होंने इन आकारों को 2D में सिकोड़ा, तो यादृच्छिक विधि ने सर्पिल और दोहरी परत वाली संरचना को PCA विधि की तुलना में बहुत अधिक सुरक्षित रखा, जिसने उन्हें केवल उबाऊ रेखाओं में बदल दिया था।

सीमाएँ: जब यादृच्छिकता पर्याप्त नहीं होती

हालाँकि, लेखक इस बारे में भी बहुत ईमानदार हैं कि यह विधि कहाँ रुक जाती है। उन्होंने MNIST (हाथ से लिखे अंक) और CIFAR-10 (बिल्लियों, कुत्तों, कारों आदि की रंगीन तस्वीरें) जैसे बहुत जटिल, उच्च-रिज़ॉल्यूशन वाली छवियों पर इसका परीक्षण किया।

सरल MNIST अंकों पर, यादृच्छिक विधि ने काफी अच्छा काम किया, अन्य मानक मॉडलों को पीछे छोड़ दिया। लेकिन जटिल CIFAR-10 छवियों पर, रैंडम प्रोजेक्शन फ्लो संघर्ष करता रहा। लेखक सुझाव देते हैं कि जबकि यादृच्छिक प्रोजेक्शन डेटा को एक छोटे स्थान में लाने में महान है, लेकिन जिस "मस्तिष्क" का उन्होंने उस स्थान को समझने के लिए उपयोग किया (एक गॉसियन रिस्ट्रिक्टेड बोल्ट्ज़मैन मशीन), वह प्राकृतिक छवियों के जटिल विवरणों को संभालने के लिए पर्याप्त स्मार्ट नहीं था। वे नोट करते हैं कि इन कठिन कार्यों के लिए, आपको लेटेंट स्पेस के भीतर बहुत अधिक शक्तिशाली मॉडल, या शायद एक गहरे आर्किटेक्चर की आवश्यकता हो सकती है।

निष्कर्ष

इस शोध पत्र का मुख्य निष्कर्ष यह है कि आपको हमेशा डेटा को संकुचित करने का सबसे अच्छा तरीका सीखने की आवश्यकता नहीं होती है; कभी-कभी, एक यादृच्छिक तरीका उतना ही अच्छा, या उससे भी बेहतर काम करता है।

एक स्थिर, यादृच्छिक प्रोजेक्शन का उपयोग करके, लेखकों ने एक ऐसी विधि बनाई है जो है:

1. तेज़ और सरल: इसे प्रत्येक डेटा पॉइंट के लिए जटिल गणित की गणना करने की आवश्यकता नहीं है।
2. प्लग-एंड-प्ले: आप इसे मौजूदा कंप्यूटर मॉडलों में आसानी से बदल सकते हैं।
3. आश्चर्यजनक रूप से प्रभावी: यह अक्सर उन विधियों को हरा देता है जो सर्वोत्तम प्रोजेक्शन सीखने की कोशिश करती हैं, विशेष रूप से संरचित डेटा पर।

यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण भविष्य के अनुसंधान के लिए एक मजबूत "बेसलाइन" (एक मानक जिसे मात दी जानी है) है। यह पुराने ज़माने के यादृच्छिक प्रोजेक्शन सिद्धांत और आधुनिक जनरेटिव AI के बीच के अंतर को पाटता है। हालाँकि यह अभी तक बिल्लियों की सटीक फोटो बनाने के लिए अंतिम उत्तर नहीं हो सकता है, लेकिन यह जटिल डेटा के आकार को समझने के लिए एक शक्तिशाली, कम लागत वाला उपकरण प्रदान करता है, जो यह सिद्ध करता है कि कभी-कभी, थोड़ी सी यादृच्छिकता ही बड़े चित्र को देखने के लिए आवश्यक होती है।