Information Spreading in Diffusion Models from Effective Field Theory
यह शोध पत्र यह प्रदर्शित करता है कि कॉन्वोल्यूशनल स्कोर-मैचिंग डिफ्यूजन मॉडल्स में लोकैलिटी (locality) का इंडक्टिव बायस उनके डिनोइजिंग डायनेमिक्स को प्रभावी रूप से इफेक्टिव फील्ड थ्योरी का उपयोग करके वर्णित करने की अनुमति देता है, जिसमें टॉय एग्जांपल्स और MNIST दोनों पर बिंदुओं के बीच म्यूचुअल इंफॉर्मेशन ग्रोथ, ब्राउनियन मोशन मॉडल के अनुमानों के अनुरूप है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक जटिल मशीन कैसे काम करती है, जैसे कि एक कार का इंजन। आमतौर पर, कार के चलने को समझने के लिए, आप धातु के हर परमाणु, प्लग की हर चिंगारी और ईंधन के हर अणु को ट्रैक करने की कोशिश कर सकते हैं। यह बहुत अधिक काम है, और अक्सर, आपको बड़े चित्र को समझने के लिए इतनी जानकारी की आवश्यकता नहीं होती है। भौतिक विज्ञान में, एक चतुर तकनीक है जिसे "इफेक्टिव फील्ड थ्योरी" (Effective Field Theory) कहा जाता है। यह कुछ ऐसा कहने जैसा है कि, "मुझे यह जानने की ज़रूरत नहीं है कि हर गियर का सटीक आकार क्या है ताकि मैं जान सकूँ कि कार कितनी तेज़ चलेगी; मुझे बस कुछ प्रमुख नियमों को जानने की आवश्यकता है कि दूरी से इंजन कैसे व्यवहार करता है।" यह विचार वैज्ञानिकों को सूक्ष्म, अव्यवस्थित विवरणों को अनदेखा करने और उन चिकने, बड़े पैटर्न पर ध्यान केंद्रित करने की अनुमति देता है जो उभरते हैं।
अब, एक अलग प्रकार की मशीन की कल्पना करें: एक कृत्रिम बुद्धिमत्ता (AI) जो कला बनाती है। ये "डिफ्यूजन मॉडल" (diffusion models) शुद्ध स्टैटिक शोर—जैसे पुराने टीवी स्क्रीन पर दिखने वाली धुंधली ग्रे फुर्ती—को बिल्लियों, परिदृश्यों या अंकों की सुंदर, स्पष्ट तस्वीरों में बदलने के लिए प्रसिद्ध हैं। वे यह सब एक छवि को धीरे-धीरे "डीनोइज़िंग" (denoising) करके करते हैं, यानी शोर को हटाकर, चरण दर चरण, अराजकता से संरचना को बाहर निकालते हैं। लेकिन AI को यह कैसे पता चलता है कि पिक्सेल को कैसे जोड़ा जाए? क्या वह उस हर तस्वीर को याद करता है जिस पर उसे प्रशिक्षित किया गया था, या वह एक तस्वीर बनाने के सामान्य नियम सीखता है? यह शोध पत्र एक बड़ा प्रश्न पूछता है: क्या हम उस "भौतिकी की ट्रिक" का उपयोग कर सकते हैं जिसमें सूक्ष्म विवरणों को अनदेखा किया जाता है ताकि यह समझा जा सके कि ये AI कला जनरेटर वास्तव में कैसे काम करते हैं? लेखक यह जानना चाहते हैं कि क्या एक AI छवि के माध्यम से सूचना का प्रसार सरल, अनुमानित नियमों का पालन करता है, ठीक वैसे ही जैसे धातु के पैन में गर्मी फैलती है या पानी में स्याही फैलती है।
इस शोध पत्र के लेखक, नवोनिल नेगी और नबिल इकबाल ने इस विचार का परीक्षण करने का निर्णय लिया कि वे एक विशिष्ट प्रकार के AI मॉडल का उपयोग करते हैं जो "कन्वोल्यूशनल" (convolutional) परतों का उपयोग करता है—एक ऐसा डिज़ाइन जो एक समय में छवि के छोटे पैच को देखता है, ठीक वैसे ही जैसे हमारी आँखें एक दृश्य को स्कैन करती हैं। उनका तर्क है कि क्योंकि ये मॉडल स्थानीय पड़ोस (local neighborhoods) पर ध्यान केंद्रित करते हैं, इसलिए वे "लोकैलिटी" (locality - जहाँ चीजें केवल अपने निकटतम पड़ोसियों को प्रभावित करती हैं) और "सिमेट्री" (symmetry - जहाँ नियम नहीं बदलते चाहे आप चित्र को बाईं या दाईं ओर ले जाएं) द्वारा शासित भौतिक प्रणालियों की तरह व्यवहार करते हैं। इन AI मॉडलों पर इफेक्टिव फील्ड थ्योरी के गणित को लागू करके, उन्होंने खोजा कि ये मॉडल छवियों को कैसे बनाते हैं, इसकी एक आश्चर्यजनक रूप से सरल कहानी है।
यहाँ उन्हें क्या मिला। जब AI शुद्ध शोर के साथ शुरू करता है, तो पिक्सेल स्वतंत्र होते हैं; एक बाएँ हाथ का पिक्सेल दूसरे दाएँ हाथ के पिक्सेल के बारे में कुछ नहीं जानता। जैसे ही AI शोर को हटाना शुरू करता है, सूचना फैलने लगती है। लेखक दिखाते हैं कि सूचना का यह प्रसार बिल्कुल वैसे ही व्यवहार करता है जैसे पानी में स्याही की एक बूंद फैलती है या किसी ठोस वस्तु में गर्मी चलती है। वे इसे "डिफ्यूसिव रिजीम" (diffusive regime) कहते हैं। इस प्रारंभिक चरण में, "म्युचुअल इंफॉर्मेशन" (mutual information)—एक फैंसी तरीका यह कहने का कि दो पिक्सेल एक-दूसरे से कितने जुड़े हुए हैं या संबंधित हैं—एक बहुत ही विशिष्ट, अनुमानित तरीके से बढ़ता है। यदि आप विभिन्न समय पर दो बिंदुओं के बीच के जुड़ाव को मापते हैं, तो पैटर्न एक पूर्ण बेल कर्व (Gaussian) जैसा दिखता है जो समय के साथ चौड़ा होता जाता है।
यह शोध पत्र दो अलग-अलग प्रयोगों के साथ इसे सिद्ध करता है। पहले, उन्होंने एक अत्यंत सरल "टॉय मॉडल" का उपयोग किया जिसमें केवल दो संभावित छवियां थीं: सभी 1s का एक ग्रिड और सभी -1s का एक ग्रिड। इस नियंत्रित सेटिंग में, वे सटीक गणित लिख सके और देखा कि सूचना का प्रसार ठीक वैसा ही हुआ जैसा उनकी "डिफ्यूजन" थ्योरी ने भविष्यवाणी की थी। फिर, उन्होंने MNIST नामक एक वास्तविक दुनिया के डेटासेट पर इसका परीक्षण किया, जिसमें हस्तलिखित संख्याएं शामिल हैं। भले ही वास्तविक संख्याएं साधारण ग्रिड की तुलना में बहुत अधिक जटिल हैं, फिर भी AI ने छवि निर्माण के शुरुआती चरणों में उन्हीं नियमों का पालन किया। पिक्सेल के बीच का संबंध उनके सरल "हीट इक्वेशन" मॉडल के साथ पूरी तरह से मेल खाता था।
हालाँकि, शोध पत्र यह भी बताता है कि यह सरल डिफ्यूजन कहानी हमेशा के लिए नहीं चलती। जैसे-जैसे AI छवि को पूरा करने के करीब पहुँचता है, व्यवहार बदल जाता है। लेखक एक दूसरा चरण बताते हैं जिसे वे "स्नैपिंग" (snapping) रिजीम कहते हैं। इस अंतिम चरण में, AI सूचना को सुचारू रूप से फैलाना बंद कर देता है और इसके बजाय तीक्ष्ण, निर्णायक विकल्प बनाता है। छवि का छोटा सा हिस्सा अचानक प्रशिक्षण डेटा के निकटतम उदाहरण जैसा दिखने के लिए "स्नैप" हो जाता है। यह ऐसा है जैसे AI रंगों को मिलाने के बजाय अचानक निर्णय लेता है, "यह पैच निश्चित रूप से एक '3' है, '2' नहीं।" शोध पत्र सुझाव देता है कि सरल डिफिफ़्यूज़न नियम केवल प्रक्रिया के शुरुआती, अव्यवस्थित हिस्से पर लागू होते हैं, जबकि अंतिम, तीक्ष्ण विवरण इस "स्नैपिंग" व्यवहार द्वारा शासित होते हैं।
सबसे दिलचस्प निष्कर्षों में से एक यह है कि शुरुआती चरणों में सूचना के प्रसार की गति पूरी तरह से AI की वास्तुकला (architecture) पर निर्भर करती है—विशेष रूप से, "कर्नेल" (kernel) या उस विंडो के आकार पर जिसका उपयोग AI छवि को देखने के लिए करता है। इससे कोई फर्क नहीं पड़ता कि AI को कैसे प्रशिक्षित किया गया था या शोर हटाने का विशिष्ट शेड्यूल क्या था; AI की "आँख" का आकार ही यह निर्धारित करता है कि तस्वीर कितनी तेजी से उभरती है। लेखकों ने यह भी गणना की कि यदि आप इस विंडो के आकार को बदलते हैं, तो वह दूरी जिस पर पिक्सेल एक-दूसरे को प्रभावित करते हैं, विंडो के आकार के साथ रैखिक रूप से (linearly) बदलती है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि हम AI छवि निर्माण की जटिल, रचनात्मक प्रक्रिया को एक सरल भौतिक समस्या की तरह मानकर समझ सकते हैं। प्रक्रिया के पहले भाग के लिए, AI केवल एक डिफ्यूज़र है, जो गर्मी की तरह पिक्सेल के बीच संबंधों को फैला रहा है। केवल बाद में ही यह विवरणों को अंतिम रूप देने के लिए एक अलग मोड में बदलता है। इसका मतलब यह नहीं है कि AI "हल" हो गया है या हम उसके हर न्यूरॉन को समझते हैं, लेकिन यह हमें इन प्रणालियों में सूचना के प्रवाह के लिए एक शक्तिशाली, सरल मानचित्र प्रदान करता है। लेखक दिखाते हैं कि डीप लर्निंग की अराजक दुनिया में भी, सरल और सार्वभौमिक नियम मौजूद हैं, बशर्ते हम उन्हें खोजने की सही जगह जानते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।