Paris: A Decentralized Trained Open-Weight Diffusion Model

कल्पना कीजिए एक ऐसी दुनिया की जहाँ कला का निर्माण केवल एक स्टूडियो में बैठे किसी एक प्रतिभाशाली व्यक्ति के बारे में नहीं है, बल्कि कलाकारों की एक विशाल, वैश्विक टीम के बारे में है जो बिना एक-दूसरे से बात किए मिलकर काम करती है। यह "डिफ्यूजन मॉडलिंग" (diffusion modeling) नामक एक क्षेत्र का मूल है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो शोर के एक अराजक बादल से शुरू करके धीरे-धीरे, चरण-दर-चरण, उसे एक स्पष्ट चित्र में बदलने से सीखता है, ठीक वैसे ही जैसे एक मूर्तिकार मूर्ति प्रकट करने के लिए पत्थर को तराशता है। वर्षों से, इस क्षेत्र में सबसे बड़ी बाधा एक "केंद्रीय कमांड सेंटर" की आवश्यकता रही है। इन शक्तिशाली AI कलाकारों को प्रशिक्षित करने के लिए, शोधकर्ताओं को आमतौर पर हजारों सुपर-फास्ट कंप्यूटरों को एक स्थान पर इकट्ठा करना पड़ता था, जो महंगे, हाई-स्पीड केबलों द्वारा जुड़े होते थे, और सभी एक साथ तालमेल में काम करते थे। यदि एक कंप्यूटर धीमा हो जाता, तो पूरी टीम को इंतजार करना पड़ता था। इसका मतलब था कि केवल सबसे अमीर, सबसे अच्छी तरह से वित्त पोषित संस्थान ही बेहतरीन इमेज जनरेटर बना सकते थे, जिससे बाकी सब इस खेल से बाहर हो गए थे।

यहाँ "पेरिस" (Paris) आता है, जो बैगल लैब्स (Bagel Labs) का एक नया प्रोजेक्ट है जो एक साहसी सवाल पूछता है: क्या होगा अगर हमें उस केंद्रीय कमांड सेंटर की आवश्यकता ही न हो? क्या होगा अगर हम एक विश्व स्तरीय AI कलाकार को कई छोटी टीमों को पूरी तरह से अलग-थलग, अपने स्वयं के कंप्यूटरों पर, विभिन्न देशों में काम करने देकर और अंत में ही उनके काम को एक साथ लाकर प्रशिक्षित कर सकें? यह शोध पत्र पेरिस को इस तरह से प्रशिक्षित किया गया पहला सार्वजनिक रूप से जारी किया गया इमेज जनरेटर बताता है, जो यह सिद्ध करता है कि सुंदर चित्र बनाने के लिए आपको सुपरकंप्यूटर क्लस्टर की आवश्यकता नहीं है। इसके बजाय, यह एक चतुर तकनीक का उपयोग करता है जहाँ AI को विशेषज्ञों की एक टीम में विभाजित किया जाता है, जिनमें से प्रत्येक एक अलग शैली सीखता है, और एक स्मार्ट "ट्रैफिक कंट्रोलर" जो यह तय करता है कि जब आप एक चित्र मांगते हैं तो किस विशेषज्ञ की बात सुननी है।

बड़ा विचार: एकाकी दिग्गजों की एक टीम

आमतौर पर, एक विशाल AI को प्रशिक्षित करना 1,000 गायकों के एक समूह को पूरी तरह से सामंजस्य बिठाने के लिए मनाने जैसा है। उन सभी को एक ही कमरे में खड़ा होना चाहिए, एक कंडक्टर को सुनना चाहिए, और यदि कोई गलत सुर लगाता है तो तुरंत अपनी आवाज़ को समायोजित करना चाहिए। यदि कमरा बहुत बड़ा है या माइक्रोफ़ोन धीमे हैं, तो पूरा गाना बिगड़ जाता है। पारंपरिक AI प्रशिक्षण में यही होता है: हजारों ग्राफिक्स कार्ड (GPUs) लगातार अपनी प्रगति चिल्लाकर एक-दूसरे को बताते हैं, और अगले कदम पर बढ़ने से पहले सभी के पीछे आने का इंतजार करते हैं। यह महंगा है, इसके लिए विशेष हाई-स्पीड इंटरनेट की आवश्यकता होती है, और पुराने और नए कंप्यूटरों के मिश्रण के साथ करना असंभव है।

पेरिस इस पटकथा को बदल देता है। एक विशाल गायक मंडली के बजाय, आठ एकल गायकों की कल्पना करें, जिनमें से प्रत्येक अपने साउंडप्रूफ कमरे में बंद है। वे कभी एक-दूसरे से बात नहीं करते, कभी भी अपना संगीत साझा नहीं करते, और कभी भी दूसरों के समाप्त होने का इंतजार नहीं करते।

• एकल गायक (विशेषज्ञ): पेरिस मॉडल आठ छोटे AI "विशेषज्ञों" से बना है। प्रत्येक को इंटरनेट की इमेज लाइब्रेरी के एक अलग हिस्से पर प्रशिक्षित किया गया है। एक केवल सूर्यास्त के बारे में सीख सकता है, दूसरा कुत्तों के बारे में, और तीसरा वास्तुकला के बारे में। वे पूर्ण अलगाव में, उपलब्ध हार्डवेयर पर, अपने स्वयं के समय पर प्रशिक्षित होते हैं, भले ही एक अमेरिका में एक तेज़ सर्वर पर हो और दूसरा यूरोप में एक धीमी मशीन पर हो।
• ट्रैफिक कंट्रोलर (राउटर): चूंकि ये विशेषज्ञ प्रशिक्षण के दौरान कभी बात नहीं करते, तो हमें कैसे पता चलेगा कि "घास के मैदान में दौड़ते हुए गोल्डन रिट्रीवर" के लिए किसका उपयोग करना है? यहीं पर "राउटर" आता है। यह एक छोटा, हल्का AI है जो एक स्मार्ट ट्रैफिक पुलिस की तरह काम करता है। जब आप इसे एक प्रॉम्प्ट देते हैं, तो यह छवि के शोर भरे शुरुआती बिंदु को देखता है और जल्दी से निर्णय लेता है, "हे, एक्सपर्ट 3 कुत्तों के लिए सबसे अच्छा है, चलो उनका उपयोग करते हैं!" या शायद, "वास्तव में, इस दृश्य के लिए एक्सपर्ट 3 और एक्सपर्ट 5 के मिश्रण की आवश्यकता है।"

यह कैसे काम करता है: "बिना बात किए" का जादू

पेरिस की प्रतिभा इस बात में निहित है कि यह प्रशिक्षण डेटा को कैसे संभालता है। शोधकर्ताओं ने 11 मिलियन छवियों के एक विशाल डेटासेट को लिया और उन्हें देखने के आधार पर आठ विशिष्ट समूहों में विभाजित करने के लिए एक स्मार्ट टूल (जिसे DINOv2 कहा जाता है) का उपयोग किया। फिर, उन्होंने प्रत्येक समूह को एक अलग विशेषज्ञ को भेज दिया।

• कोई सिंक्रोनाइज़ेशन नहीं: सामान्य AI प्रशिक्षण में, कंप्यूटरों को लगातार अपने "ग्रेडिएंट्स" (जो सुधार के निर्देश की तरह होते हैं) को सिंक करने के लिए रुकना पड़ता है। पेरिस के विशेषज्ञ ऐसा नहीं करते हैं। वे बस अपने समय पर, अपनी गति से, प्रशिक्षित होते रहते हैं। एक 100,000 स्टेप्स पूरे कर सकता है जबकि दूसरा अभी 90,000 पर ही है। इससे कोई फर्क नहीं पड़ता।
• राउटर का काम: राउटर को अलग से प्रशिक्षित किया जाता है। यह एक शोर भरी, धुंधली छवि को देखने और यह अनुमान लगाने के लिए प्रशिक्षित होता है कि उस विशिष्ट शोर पैटर्न के लिए कौन सा विशेषज्ञ सबसे उपयुक्त है। यह एक लाइब्रेरियन की तरह है जो जानता है कि आपके हाथ में मौजूद किताब की हल्की गंध के आधार पर किस बुकशेल्फ़ से किताब निकालनी है।

उन्होंने क्या पाया: कम डेटा, कम शक्ति, वही गुणवत्ता

टीम ने पेरिस का परीक्षण पुराने तरीके और एक पिछले विकेंद्रीकृत प्रयास के विरुद्ध किया। परिणाम आश्चर्यजनक रूप से कुशल थे:

• संसाधन बचत: पेरिस ने एक उच्च-गुणवत्ता वाला मॉडल प्रशिक्षित करने के लिए 14 गुना कम प्रशिक्षण डेटा (154 मिलियन के बजाय 11 मिलियन छवियां) और पिछले सर्वश्रेष्ठ विकेंद्रीकृत पद्धति की तुलना में 16 गुना कम GPU-दिन (आवश्यक कंप्यूटर समय) का उपयोग किया।
• "टॉप-2" का आश्चर्य: जब उन्होंने विशेषज्ञों को संयोजित करने के तरीके का परीक्षण किया, तो उन्होंने कुछ दिलचस्प पाया। केवल एक "सर्वश्रेष्ठ" विशेषज्ञ (Top-1) का उपयोग करना अच्छा था, लेकिन शीर्ष दो विशेषज्ञों (Top-2) का उपयोग करने और उनके परिणामों को मिलाने से वास्तव में बेहतर चित्र बने।
• "पूरी टीम" की गलती: दिलचस्प रूप से, एक साथ आठों विशेषज्ञों का उपयोग करने का प्रयास करने से (Full Ensemble) चित्र और भी खराब हो गए। यह पता चलता है कि एक साथ गाने की कोशिश करने वाले बहुत सारे स्वर शोर पैदा करते हैं। शोध पत्र सुझाव देता है कि चयनात्मक होना महत्वपूर्ण है; आपको पूरा गायक मंडल नहीं चाहिए, आपको बस सही एकल गायक चाहिए।

यह क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि विश्व स्तरीय इमेज जनरेटर बनाने के लिए आपको अरबों डॉलर के डेटा सेंटर की आवश्यकता नहीं है। कंप्यूटरों को स्वतंत्र रूप से काम करने देने और केवल अंत में ही उन्हें समन्वय करने की अनुमति देकर, पेरिस साबित करता है कि उच्च-गुणवत्ता वाले AI को "विषम हार्डवेयर" (heterogeneous hardware) पर बनाया जा सकता है—जिसका अर्थ है विभिन्न, सस्ते और भौगोलिक रूप से बिखरे हुए कंप्यूटरों का मिश्रण। यह उन शोधकर्ताओं और छोटी कंपनियों के लिए द्वार खोलता है जो उस विशाल, सिंक्रोनाइज़्ड इंफ्रास्ट्रक्चर की आवश्यकता के बिना शक्तिशाली मॉडल प्रशिक्षित कर सकते हैं जो अब तक इस क्षेत्र का गेटकीपर रहा है।

संक्षेप में, पेरिस दिखाता है कि आप एक उत्कृष्ट कृति बनाने के लिए सभी को एक ही ताल में चलने के लिए मजबूर करके नहीं, बल्कि सभी को अपनी खुद की लय खोजने देकर और फिर एक स्मार्ट कंडक्टर को अंतिम प्रदर्शन के लिए ठीक समय पर उन्हें एक साथ लाने देकर भी बना सकते हैं।