Analog Diffusion Models
यह शोध पत्र एनालॉग डिफ्यूजन मॉडल्स (ADMs) को प्रस्तुत करता है, जो एनालॉग हार्डवेयर डायनेमिक्स और इम्प्लिसिट डिफ्यूजन इन्फरेंस के बीच एक फिक्स्ड-पॉइंट पत्राचार का लाभ उठाते हैं ताकि मॉडल पुनर्रचना की आवश्यकता के बिना या मानक प्रशिक्षण पारिस्थितिक तंत्रों के साथ अनुकूलता से समझौता किए बिना पूर्णतः एनालॉग, उच्च-दक्षता वाले जनरेटिव एआई को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हाई-स्पीड ट्रेन स्टेशन के रूप में करें। वर्षों से, ट्रेनें (हमारे AI मॉडल) तेज़ और अधिक शक्तिशाली होती जा रही हैं, लेकिन वे अविश्वसनीय रूप से भारी और ऊर्जा-खपत करने वाली भी होती जा रही हैं। इस समय सबसे लोकप्रिय प्रकार की ट्रेन को "डिफ्यूजन मॉडल" (diffusion model) कहा जाता है। इसे एक मूर्तिकार की तरह समझें जो अराजक, शोर-शराबे वाले संगमरमर के ब्लॉक से शुरुआत करता है और धीरे-धीरे शोर को हटाता जाता है, कदम-दर-कदम, जब तक कि एक सुंदर मूर्ति उभर कर सामने नहीं आ जाती। उस उत्तम मूर्ति को पाने के लिए, मूर्तिकार को हजारों सूक्ष्म, सावधानीपूर्ण छेनी चलाने वाले आंदोलनों को करना पड़ता है। प्रत्येक गति में समय और ऊर्जा लगती है, और जैसे-जैसे मूर्तियाँ बड़ी होती जाती हैं, यह प्रक्रिया हमारे वर्तमान कंप्यूटर चिप्स के लिए थका देने वाली हो जाती है, जो डिजिटल कैलकुलेटर की तरह हैं जो एक समय में एक ही काम बहुत तेज़ी से कर सकते हैं।
यहाँ "एनालॉग कंप्यूटिंग" (analog computing) का विचार आता है। यदि डिजिटल कंप्यूटर एक डिजिटल घड़ी की तरह हैं जो सटीक, अलग-अलग सेकंड में टिक-टिक करती है, तो एनालॉग कंप्यूटर एक बहती हुई नदी या झूलते हुए पेंडुलम की तरह हैं। वे कदमों को नहीं गिनते; वे भौतिकी (physics) को काम करने देते हैं। एक संख्या की गणना करने के बजाय, वे एक सिग्नल को सर्किट के माध्यम से तब तक बहने देते हैं जब तक कि वह स्वाभाविक रूप से एक स्थिर अवस्था में न बस जाए, ठीक वैसे ही जैसे एक पेंडुलम अंततः अपने झूले के निचले हिस्से में आकर स्थिर हो जाता है। वैज्ञानिकों ने लंबे समय से आशा की है कि इन "बहने वाले" मशीनों का उपयोग करके AI को अविश्वसनीय रूप से तेज़ और ऊर्जा-कुशल बनाया जा सकता है। हालाँकि, एक जिद्दी समस्या थी: AI एल्गोरिदम को "डिजिटल घड़ी" शैली की सोच के लिए डिज़ाइन किया गया था। उन्हें "बहती नदी" वाले हार्डवेयर पर चलाने की कोशिश करने का मतलब या तो AI के मस्तिष्क को तोड़ना था या केवल काम के एक छोटे से हिस्से के लिए हार्डवेयर का उपयोग करना था, जिससे भारी काम पुराने, ऊर्जा-खपत करने वाले डिजिटल कंप्यूटरों को सौंप दिया जाता था।
यह शोध पत्र इस अंतर को पाटने का एक चतुर तरीका पेश करता है, जिसे एनालॉग डिफ्यूजन मॉडल्स (ADMs) कहा जाता है। माइक्रोसॉफ्ट रिसर्च के शोधकर्ताओं ने पाया कि जिस तरह से एक डिफ्यूजन मॉडल शोर को "छीलकर हटाता" है, वह संदिग्ध रूप से इस तरह के समान है जैसे एक भौतिक एनालॉग सिस्टम स्वाभाविक रूप से एक स्थिर अवस्था में "सेटل" (settle) होता है। हार्डवेयर के अनुकूल होने के लिए AI के व्यक्तित्व को बदलने के बजाय, उन्होंने AI के चरणों की पुनर्कल्पना की ताकि हार्डवेयर स्वाभाविक रूप से काम कर सके। उन्होंने इसका परीक्षण एक विशेष ऑप्टिकल कंप्यूटर पर किया जो गणना करने के लिए प्रकाश और बिजली का उपयोग करता है। अपने प्रयोगों में, सिस्टम ने पूरी तरह से इस एनालॉग हार्डवेयर पर चित्र और डेटा पैटर्न सफलतापूर्वक उत्पन्न किए, जिसमें प्रत्येक चरण की प्रक्रिया में केवल 10-15 माइक्रोसेकंड लगे।
टीम यहीं नहीं रुकी। उन्होंने एक "डिजिटल ट्विन" (digital twin)—उनके हार्डवेयर का एक सुपर-सटीक कंप्यूटर सिमुलेशन—का उपयोग किया ताकि यह परीक्षण किया जा सके कि यह विचार बहुत बड़े, वास्तविक दुनिया के AI मॉडल, जिनमें अरबों पैरामीटर शामिल हैं, पर कैसे काम करेगा। ये सिमुलेशन सुझाव देते हैं कि यह दृष्टिकोण एक गेम-चेंजर हो सकता है। इस "सेटलिंग" (settling) पद्धति का उपयोग करके, AI को एक उच्च-गुणवत्ता वाली छवि बनाने के लिए मानक तरीकों की तुलना में 16 गुना कम चरणों की आवश्यकता हो सकती है। भले ही इन नए चरणों में से प्रत्येक के लिए कुछ आंतरिक "सेटलिंग" लूप की आवश्यकता होती है, कुल काम काफी कम हो जाता है। शोधकर्ता सुझाव देते हैं कि यदि इस तकनीक को भविष्य के लघु रूपित (miniaturized) हार्डवेयर तक बढ़ाया जाता है, तो यह भारी ऊर्जा बचत प्रदान कर सकता है, जिससे अगली पीढ़ी का AI बहुत अधिक टिकाऊ बन सकता है, बिना उन एल्गोरिदम को फिर से बनाए जो हमें पहले से ही पसंद हैं।
मुख्य विचार: भौतिकी को छीलने का काम करने देना
यह समझने के लिए कि यह क्यों बड़ी बात है, आइए देखें कि "नक्काशी" आमतौर पर कैसे काम करती है। एक मानक डिजिटल AI में, कंप्यूटर एक चरण की गणना करता है, रुकता है, परिणाम को सहेजता है, अगले चरण की गणना करता है, और इसी तरह। यह एक रोबोट की तरह है जिसे संगमरमर के हर एक टुकड़े को हटाने के लिए रुकना, सोचना और फिर अपना हाथ हिलाना पड़ता है। यह धीमा है और बहुत अधिक बिजली का उपयोग करता है।
शोधकर्ताओं ने महसूस किया कि कुछ उन्नत AI मॉडल में उपयोग की जाने वाली "इम्प्लिसिट" (implicit) गणित वास्तव में एक "फिक्स्ड-पॉइंट" (fixed-point) समस्या है। सरल शब्दों में, इसका अर्थ है एक ऐसी जगह खोजना जहाँ यदि आप एक नियम लागू करते हैं, तो आप बिल्कुल उसी स्थान पर पहुँच जाते हैं। यह एक पहाड़ी से नीचे लुढ़कती गेंद की तरह है; यह तब तक चलती रहती है जब तक कि यह नीचे न पहुँच जाए और रुक न जाए। एक बार जब यह नीचे पहुँच जाती है, तो "नीचे लुढ़कना" नियम लागू करने से कुछ भी नहीं बदलता क्योंकि यह पहले से ही वहीं है।
इस शोध पत्र का जादू यह है कि एनालॉग हार्डवेयर स्वाभाविक रूप से यही करता है। जब आप प्रकाश और इलेक्ट्रॉनिक्स के एक लूप के माध्यम से एक सिग्नल भेजते हैं, तो यह चरणों को नहीं गिनता। यह बस तब तक बहता है जब तक कि यह स्थिर न हो जाए। लेखकों ने महसूस किया कि यदि वे अपने AI मॉडल को सही ढंग से सेट करते हैं, तो प्रकाश और बिजली का "सेटल होना" (settling down) ही AI द्वारा एक कदम लेना है। हार्डवेयर को एक गणना के बाद रुकने के लिए बताने की आवश्यकता नहीं है; यह साम्यावस्था (equilibrium) तक पहुँचकर स्वाभाविक रूप से उत्तर खोज लेता है।
प्रयोग: प्रकाश, दर्पण और माइक्रो-एलईडी (Micro-LEDs)
यह साबित करने के लिए कि यह काम करता है, टीम ने एनालॉग ऑप्टिकल कंप्यूटर (AOC) नामक एक भौतिक मशीन बनाई। एक उच्च-तकनीकी भूलभुलैया की कल्पना करें जो प्रकाश से बनी है।
- प्रकाश स्रोत: उन्होंने डेटा का प्रतिनिधित्व करने के लिए सूक्ष्म-एलईडी (micro-LEDs) के एरे का उपयोग किया।
- वेट्स (Weights): उन्होंने स्पेशल लाइट मॉड्यूलेटर्स (SLMs) नामक विशेष दर्पणों का उपयोग किया जो यह बदल सकते हैं कि वे कितना प्रकाश परावर्तित करते हैं। ये दर्पण AI के "मस्तिष्क" के रूप में कार्य करते हैं, जो मॉडल के वेट्स (ज्ञान) को धारण करते हैं।
- लूप: प्रकाश एलईडी से यात्रा करता है, दर्पणों से टकराता है, सेंसरों द्वारा एकत्रित किया जाता है, और फिर परिणाम को सिस्टम में वापस फीड किया जाता है।
यह एक फीडबैक लूप बनाता है। सिस्टम खुद को तब तक एडजस्ट करता रहता है जब तक कि प्रकाश का पैटर्न स्थिर न हो जाए। यह स्थिरीकरण पलक झपकते ही होता है—विशेष रूप से, प्रति चरण 10 से 15 माइक्रोसेकंड में।
उन्होंने इसे विभिन्न कार्यों पर परखा:
- 2D आकार: उन्होंने मशीन को दिल, सितारे और अक्षरों जैसे सरल 2D पैटर्न उत्पन्न करने के लिए कहा। हार्डवेयर ने इसे सफलतापूर्वक किया, जिससे ऐसे आकार बने जो उनके डिजिटल सिमुलेशन से लगभग पूरी तरह मेल खाते थे।
- लेटेंट स्पेस जनरेशन: उन्होंने "लेटेंट डिफ्यूजन" (जिससे आधुनिक इमेज जनरेटर जैसे DALL-E या Stable Diffusion काम करते हैं) नामक तकनीक का उपयोग किया। उन्होंने पूरा इटरेटिव प्रोसेस एनालॉग हार्डवेयर पर चलाया और केवल अंतिम चरण के लिए डिजिटल कंप्यूटर का उपयोग किया ताकि परिणाम को चित्र में बदला जा सके। उन्होंने हस्तलिखित अंकों (MNIST), फैशन आइटम (FashionMNIST) और अक्षरों (EMNIST) के चित्र सफलतापूर्वक उत्पन्न किए।
बड़ी तस्वीर: सिमुलेशन और स्केलिंग
उनकी बनाई गई भौतिक मशीन छोटी है, जिसमें 2,304 प्रोग्रामेबल वेट्स हैं। यह आधुनिक AI मॉडल की तुलना में बहुत कम है, जिनमें अरबों वेट्स हो सकते हैं। तो, हमें कैसे पता कि यह बड़े मॉडल के लिए काम करेगा?
शोधकर्ताओं ने एक "डिजिटल ट्विन" (DT) बनाया। यह एक कंप्यूटर सिमुलेशन है जो उनके भौतिक हार्डवेयर के सटीक व्यवहार, शोर और विशिष्टताओं की नकल करता है। उन्होंने मानक AI मॉडल को नियमित डिजिटल कंप्यूटरों पर प्रशिक्षित किया लेकिन उन्हें एनालॉग मशीन के "शोर" और व्यवहार की अपेक्षा करने के लिए कहा। फिर, उन्होंने इन मॉडलों को डिजिटल ट्विन के माध्यम से चलाया यह देखने के लिए कि यदि वे वास्तव में प्रकाश-आधारित हार्डवेयर पर चल रहे होते तो वे कैसा प्रदर्शन करते।
उन्होंने इनका परीक्षण किया:
- कन्वोल्यूशनल न्यूरल नेटवर्क (U-Nets)
- डिफ्यूजन ट्रांसफॉर्मर (DiT)
- अरबों पैरामीटर वाले विशाल मॉडल (जैसे FLUX.1 मॉडल)।
परिणाम उत्साहजनक थे। इन सिमुलेशन में, "एनालॉग डिफ्यूजन मॉडल्स" (ADMs) मानक डिजिटल तरीकों की तुलना में 16 गुना तक कम डिफ्यूजन स्टेप्स के साथ समान उच्च-गुणवत्ता वाले इमेज परिणाम प्राप्त कर सकते थे।
उदाहरण के लिए, तितली की छवियों के एक डेटासेट पर, मानक विधि को एक अच्छी तस्वीर पाने के लिए 128 चरणों की आवश्यकता थी। एनालॉग विधि को समान गुणवत्ता प्राप्त करने के लिए केवल 8 चरणों की आवश्यकता थी। भले ही उन 8 चरणों में से प्रत्येक के लिए कुछ आंतरिक "सेटलिंग" लूप की आवश्यकता थी, फिर भी कुल काम बहुत कम था।
यह क्यों महत्वपूर्ण है (और यह क्या नहीं है)
यह शोध पत्र एक नया रास्ता सुझाता है। AI एल्गोरिदम को नए हार्डवेयर की सीमाओं में फिट होने के लिए मजबूर करने के बजाय (जो अक्सर AI को तोड़ देता है), उन्होंने हार्डवेयर की प्राकृतिक भौतिकी को एल्गोरिदम की जरूरतों के साथ संरेखित किया।
यह शोध पत्र क्या दावा नहीं करता है:
- यह नहीं कहता कि यह आज खरीदने के लिए उपलब्ध एक तैयार उत्पाद है। हार्डवेयर अभी भी एक प्रोटोटाइप है।
- यह दावा नहीं करता है कि इसने अभी तक AI की ऊर्जा समस्या को पूरी तरह हल कर दिया है। ऊर्जा बचत "अनुमानित" है जो सिमुलेशन और ऑप्टिकल कंप्यूटिंग की ज्ञात दक्षता पर आधारित है।
- यह नहीं कहता कि हर AI मॉडल इस तरह बेहतर काम करेगा। कुछ विशिष्ट परीक्षणों में (जैसे AFHQ डेटासेट के साथ DiT मॉडल), बुनियादी विधि संघर्ष करती है, लेकिन "इम्प्लिसिट-सीएन" (Crank-Nicolson) नामक एक उन्नत संस्करण ने इस समस्या को ठीक कर दिया।
विश्वास का स्तर:
लेखक अपनी भाषा में बहुत सावधान हैं। उन्होंने छोटे हार्डवेयर पर अवधारणा का प्रदर्शन किया। उन्होंने दिखाया कि 2D और लेटेंट-स्पेस के परिणाम डिजिटल ट्विन से मेल खाते हैं। उन्होंने सुझाव दिया है कि बड़े पैमाने पर स्केलिंग के परिणाम (अरबों-पैरामीटर वाले मॉडल के लिए) अत्यधिक संभावित हैं क्योंकि गणित सही बैठता है, लेकिन वे विशिष्ट बड़े-पैमाने के परिणाम वर्तमान में सिमुलेशन हैं, भौतिक प्रयोग नहीं।
भविष्य का रोडमैप
शोध पत्र भविष्य के लिए एक रोडमैप की रूपरेखा प्रस्तुत करता है। वर्तमान हार्डवेयर एक छोटे चिप के आकार का है। लेखकों का प्रस्ताव है कि इन ऑप्टिकल सिस्टम को तीन आयामों (3D) में स्टैक करके (प्रकाश को केवल एक सपाट सतह के पार रूट करने के बजाय तीसरे आयाम का उपयोग करके), वे एक सेंटीमीटर के आयतन के भीतर 10 करोड़ (100 मिलियन) वेट्स तक स्केल कर सकते हैं।
यदि यह स्केलिंग होती है, और यदि हार्डवेयर को गीगाहर्ट्ज़ (GHz) की गति पर संचालित किया जा सकता है (जो वर्तमान मेगाहर्ट्ज़ (MHz) की तुलना में बहुत तेज़ है), तो वास्तविक गणना वाले हिस्से के लिए ऊर्जा दक्षता वर्तमान डिजिटल चिप्स की तुलना में 100 गुना बेहतर हो सकती है। यहाँ तक कि जब आप परिणाम को चित्र में बदलने के लिए अंतिम डिजिटल चरण की लागत जोड़ते हैं, तो पूरा सिस्टम भी वर्तमान तरीकों की तुलना में 26 गुना अधिक कुशल हो सकता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि प्रकाश और बिजली की भौतिकी को सुनकर, और AI को स्वाभाविक रूप से "सेटल" होने देकर, न कि उसे गिनने के लिए मजबूर करके, हम अंततः उस विशाल ऊर्जा बचत को अनलॉक कर सकते जिसका वादा एनालॉग कंप्यूटिंग ने दशकों से किया है। यह "एल्गोरिदम को मशीन के अनुकूल बनाने" से बदलकर "मशीन को वह करने देने का कि वह इसमें सबसे अच्छा है" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।