A Hyperfinite Framework for Score-Based Generative Modeling

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप एक कंप्यूटर को लाखों उदाहरण दिखाकर नहीं, बल्कि उसे "अराजकता को भूलने" (un-learn chaos) का तरीका सिखाकर पेंटिंग करना, संगीत रचना या नए अणु डिजाइन करना सिखा सकते हैं। यह जेनरेटिव मॉडलिंग (generative modeling) का जादू है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो शून्य से नया डेटा बनाती है। इसे समझने के लिए, एक ठंडे कमरे में धीरे-धीरे ठंडी होती गर्म कॉफी के कप के बारे में सोचें। भाप ऊपर उठती है, गर्मी निकल जाती है, और कॉफी अंततः अपने आस-पास की ठंडी हवा के समान ही बन जाती है। AI की दुनिया में, इसे डिफ्यूजन प्रोसेस (diffusion process) कहा जाता है: एक स्पष्ट छवि लेना और उसमें धीरे-धीरे "शोर" (जैसे पुराने टीवी पर दिखने वाला स्टैटिक/झिलमिलाहट) जोड़ना जब तक कि वह यादृच्छिक, अर्थहीन धुंध जैसा न दिखने लगे।

आधुनिक AI द्वारा उपयोग की जाने वाली चतुर तकनीक इस फिल्म को उल्टा चलाने की है। यदि आप यह पता लगा सकते हैं कि उस यादृच्छिक धुंध को कैसे लिया जाए और परत दर परत शोर को हटाया जाए, तो आप उस स्टैटिक को वापस बिल्ली, सूर्यास्त या चेहरे की तस्वीर में बदल सकते हैं। ऐसा करने के लिए, AI को एक "स्कोर" (score) की आवश्यकता होती है, जो एक दिशा-सूचक यंत्र (compass) की तरह है जो शोर से बाहर निकलने का रास्ता दिखाता है। यह कंप्यूटर को बताता है, "यदि आप इस अस्त-व्यस्त स्थान पर हैं, तो वास्तविक छवि के करीब पहुँचने के लिए थोड़ा इस दिशा में बढ़ें।" दशकों से, गणितज्ञों ने इस यात्रा का वर्णन करने के लिए जटिल, निरंतर समीकरणों का उपयोग किया है, जिसमें समय को एक सुचारू, अटूट नदी के रूप में माना गया है। लेकिन क्या होगा अगर समय सुचारू नहीं है? क्या होगा अगर यह वास्तव में एक मूवी रील के व्यक्तिगत फ्रेम की तरह छोटे, अदृश्य कदमों से बना है?

यहीं सुंदर राम कृष्णन का एक नया शोध पत्र (paper) काम आता है। AI की यात्रा को एक सुचारू नदी के रूप में देखने के बजाय, लेखक नॉनस्टैंडर्ड एनालिसिस (Nonstandard Analysis) नामक एक गणितीय उपकरण का उपयोग करते हैं ताकि इतना ज़ूम किया जा सके कि समय और स्थान सूक्ष्म बिंदुओं के एक विशाल, अनंत ग्रिड की तरह दिखाई दें। इस "हाइपरफाइनाइट" (hyperfinite) दुनिया में, पुराने गणित की सुचारू वक्रता (curves) सटीक, चरण-दर-चरण बीजगणित (algebra) बन जाती है। यह शोध पत्र सिद्ध करता है कि आप इन शक्तिशाली इमेज-जेनरेटिंग AI मॉडलों को सीधे इस सूक्ष्म कदमों के ग्रिड पर बना सकते हैं, जिसके लिए पारंपरिक कैलकुलस के भारी, जटिल तंत्र की आवश्यकता नहीं है। यह दिखाता है कि AI जो "स्कोर" सीखता है, वह बिल्कुल वही दिशा-सूचक है जिसकी आवश्यकता प्रक्रिया को उलटने के लिए होती है, और यह एक छिपा हुआ रहस्य भी प्रकट करता है: AI की सटीकता उस शोर पर निर्भर करती है जिसका वह उपयोग करता है, विशेष रूप से कि उसका शोर वितरण कितना "नुकीला" (spiky) या "सपाट" (flat) है। इस ग्रिड-आधारित दृष्टिकोण का उपयोग करके, लेखक एक स्पष्ट, अधिक पारदर्शी "व्हाइट-बॉक्स" दृश्य प्रदान करते हैं कि ये जेनरेटिव मॉडल वास्तव में कैसे काम करते हैं, जो कंप्यूटर द्वारा लिए गए असतत (discrete) कदमों और उन सुचारू सिद्धांतों के बीच के अंतर को पाटता है जिनका गणितज्ञों ने वर्षों से उपयोग किया है।

सूक्ष्म कदमों का ग्रिड

इस शोध पत्र को समझने के लिए, कल्पना करें कि आप एक कमरे में चलने की कोशिश कर रहे हैं। सोचने का पुराना तरीका कहता है कि आप दरवाजे से खिड़की तक सुचारू रूप से फिसलते (glide) हुए जाते हैं। लेकिन कृष्णन सुझाव देते हैं कि इसे अलग तरह से देखें: कल्पना करें कि फर्श सूक्ष्म टाइल्स के ग्रिड से ढका हुआ है। आप फिसलते नहीं हैं; आप एक टाइल से दूसरी टाइल पर कूदते हैं। इस शोध पत्र में, लेखक एक गणितीय ढांचा बनाते हैं जहाँ डेटा में जोड़ा गया "शोर" और उसे हटाने की "विपरीत" प्रक्रिया इस सूक्ष्म कदमों के अनंत ग्रिड पर होती है।

शोध पत्र एक हाइपरफाइनाइट ग्रिड (hyperfinite grid) को परिभाषित करके शुरू होता है। इसे एक शतरंज के बोर्ड की तरह समझें, लेकिन 64 खानों के बजाय, इसमें इतने अधिक खाने हैं कि यह लगभग अनंत है, फिर भी गणनीय (countable) है। आपके कूदने के बीच का समय भी अविश्वसनीय रूप से छोटा है, लगभग शून्य, लेकिन पूरी तरह से शून्य नहीं। इस ग्रिड पर, लेखक एक "फॉरवर्ड वॉक" (forward walk) को परिभाषित करते हैं, जो डेटा में शोर जोड़ने की प्रक्रिया है। वे दिखाते हैं कि यदि आप इन सूक्ष्म उछालों के गणित को देखते हैं, तो आप एक नियम (जिसे जेनरेटर कहा जाता है) प्राप्त कर सकते हैं जो यह बताता है कि डेटा कैसे बदलता है। जब आप ज़ूम आउट करते हैं और "मानक" दृश्य (सुचारू नदी वाला दृश्य) देखते हैं, तो यह नियम प्रसिद्ध फॉकर-प्लांक समीकरण (Fokker-Planck equation) बन जाता है, जिसका उपयोग गणितज्ञों ने कणों के प्रसार का वर्णन करने के लिए लंबे समय से किया है। शोध पत्र सिद्ध करता है कि सुचारू समीकरण कोई अलग चीज़ नहीं है; यह केवल सूक्ष्म, असतत उछालों की छाया है।

समय को उलटने का जादू

असली जादू तब होता है जब लेखक पूछते हैं: "क्या होगा यदि हम पीछे की ओर चलें?" वास्तविक दुनिया में, यदि आप एक गिलास गिराते हैं और वह टूट जाता है, तो आप उसे दोबारा नहीं जोड़ सकते। लेकिन AI की दुनिया में, यदि आप जानते हैं कि गिलास ठीक कैसे टूटा था, तो आप सैद्धांतिक रूप से उसे वापस जोड़ सकते हैं। शोध पत्र इस रिवर्स-टाइम ड्रिफ्ट (reverse-time drift) के लिए एक सूत्र निकालता है।

यहाँ आश्चर्यजनक बात है: पीछे की ओर चलने के लिए, आपको एक "स्कोर" की आवश्यकता होती है। शोध पत्र की भाषा में, यह स्कोर एक वेक्टर (एक तीर) है जो उच्च संभाव्यता की दिशा में संकेत करता है। लेखक दिखाते हैं कि उनके सूक्ष्म ग्रिड पर, यह स्कोर गणित से स्वाभाविक रूप से एक सुधार शब्द (correction term) के रूप में उभरता है। यह ऐसा है जैसे आप भीड़ में पीछे की ओर चल रहे हों; लोगों से टकराने से बचने के लिए, आपको यह जानने की आवश्यकता है कि भीड़ कहाँ सबसे घनी है और उससे दूर कदम रखना है। शोध पत्र सिद्ध करता है कि AI जो स्कोर सीखने के लिए प्रशिक्षित होता है, वह बिल्कुल वही तीर है जो प्रक्रिया को उलटने के लिए आवश्यक है। यह AI के प्रशिक्षण (स्कोर सीखना) को सीधे नए डेटा उत्पन्न करने के कार्य (पीछे की ओर चलना) से गणितीय रूप से सटीक तरीके से जोड़ता है।

सीखना और संभावना (Likelihood)

इसके बाद शोध पत्र इस प्रश्न पर विचार करता है कि AI कैसे सीखता है। आमतौर पर, हम इन मॉडलों को एक त्रुटि को कम करके प्रशिक्षित करते हैं जिसे स्कोर मैचिंग (score matching) कहा जाता है। लेखक दिखाते हैं कि उनके हाइपरफाइनाइट ग्रिड पर, इस त्रुटि को कम करना बिल्कुल संभावना (likelihood) (वह संभावना कि मॉडल ने सही डेटा उत्पन्न किया है) को अधिकतम करने के समान है।

वे इसके लिए गिरासनोव प्रमेय (Girsanov theorem) नामक एक उपकरण का उपयोग करते हैं (जो संभाव्यता के नियमों को बदलने का एक शानदार तरीका है)। कल्पना करें कि आप घुड़दौड़ पर दांव लगा रहे हैं। शोध पत्र दिखाता है कि यदि आप AI द्वारा सीखे गए "स्कोर" के आधार पर अपने दांवों को समायोजित करते हैं, तो आप परिणाम की सटीक भविष्यवाणी कर सकते हैं। इसका अर्थ है कि "स्कोर मैचिंग" का उद्देश्य केवल एक चतुर चाल नहीं है; यह वास्तविक डेटा बनाने की संभावना को अधिकतम करने का एक कठोर, गणितीय तरीका है। शोध पत्र पुष्टि करता है कि यदि AI स्कोर को पर्याप्त रूप से अच्छी तरह से सीख लेता है (अर्थात त्रुटि बहुत कम है), तो उत्पन्न छवियां वास्तविक डेटा वितरण से लगभग पूरी तरह मेल खाएंगी।

चौथे क्षण (Fourth Moment) का रहस्य

इस शोध पत्र के सबसे दिलचस्प और विशिष्ट निष्कर्षों में से एक "शोर" के बारे में है। जब AI शोर जोड़ता है, तो वह आमतौर पर गौसियन वितरण (Gaussian distribution) (क्लासिक बेल कर्व) का उपयोग करता है। शोध पत्र जांच करता है कि यदि आप एक अलग प्रकार के शोर का उपयोग करते हैं तो क्या होता है। वे शोर के चौथे क्षण (fourth moment) को देखते हैं, जो वितरण के कितना "नुकीला" या "सपाट" होने का एक सांख्यिकीय माप है।

लेखक पाते हैं कि AI के सटीक होने के लिए (अर्थात त्रुटियाँ बहुत कम हों), शोर का इस चौथे क्षण के लिए एक विशिष्ट मान होना चाहिए। यदि शोर गौसियन है, तो यह मान 3 है। शोध पत्र सिद्ध करता है कि यदि शोर का मान 3 है, तो अग्रणी त्रुटि शब्द (leading error term) लुप्त हो जाता है। यदि मान कुछ और है, तो एक विशिष्ट त्रुटि शब्द दिखाई देता है जो घनत्व के चौथे व्युत्पन्न (fourth derivative) पर निर्भर करता है (कि संभाव्यता परिदृश्य कितना घुमावदार है)।

यह एक महत्वपूर्ण अंतर्दृष्टि है: यह सुझाव देता है कि केवल गौसियन शोर का उपयोग करना केवल एक आदत नहीं है; यह उच्च-परिशुद्धता द्वितीय-क्रम सटीकता (second-order accuracy) के लिए एक गणितीय आवश्यकता है। यदि आप एक बेहतर सैंपलर बनाना चाहते हैं, तो आपको ऐसा शोर डिजाइन करने की आवश्यकता हो सकती है जो इस विशिष्ट "कर्टोसिस" (कर्टोसिस/नुकीलापन) 3 से मेल खाता हो। शोध पत्र केवल यह सुझाव नहीं देता है; यह ग्रिड समीकरणों से गणितीय रूप से इसे व्युत्पत करता है, यह दिखाते हुए कि त्रुटि $(\kappa - 3)$ के समानुपाती है, जहाँ $\kappa$ चौथा क्षण है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र केवल गणना करने का नया तरीका नहीं देता; यह उन्हें देखने का एक नया तरीका भी देता है। AI की निरंतर दुनिया को सूक्ष्म, हाइपरफाइनाइट कदमों के संग्रह के रूप में मानकर, लेखक जटिल कैलकुलस के "कोहरे" को हटा देते हैं। शोध पत्र तर्क देता है कि हमारे द्वारा उपयोग किए जाने वाले सुचारू, निरंतर सिद्धांत इन अंतर्निहित ग्रिड गतिकी के केवल "मानक भाग" (standard parts) हैं।

इस ढांचे के भीतर निष्कर्ष कठोर और सिद्ध हैं। शोध पत्र स्थापित करता है कि:

1. फॉकर-प्लांक समीकरण ग्रिड गतिकी का स्वाभाविक परिणाम है।
2. रिवर्स-टाइम ड्रिफ्ट पूरी तरह से स्कोर फंक्शन द्वारा निर्धारित होता है।
3. स्कोर मैचिंग इस सेटिंग में संभावना अधिकतमकरण (likelihood maximization) के गणितीय रूप से समकक्ष है।
4. शोर का चौथा क्षण (विशेष रूप से $\kappa=3$) द्वितीय-क्रम की त्रुटियों को समाप्त करने के लिए महत्वपूर्ण है।

लेखक सुझाव देते हैं कि यह ढांचा नए प्रकार के जेनरेटिव मॉडल की ओर ले जा सकता है, शायद "हैवी-टेल्ड" शोर (जैसे लेवी फ्लाइट्स) का उपयोग करके या बेहतर सैंपलिंग एल्गोरिदम डिजाइन करके जो स्पष्ट रूप से इन उच्च-क्रम की त्रुटियों को कम करते हैं। यह जेनरेटिव AI को निरंतर समीकरणों के ब्लैक बॉक्स के रूप में नहीं, बल्कि एक अनंत ग्रिड पर पारदर्शी, चरण-दर-चरण नृत्य के रूप में समझने का द्वार खोलता है।