Abra: Scaling Diffusion Image Training
यह शोधपत्र Abra को प्रस्तुत करता है, जो फ्लो-मैचिंग ट्रांसफॉर्मर का एक नियंत्रित परिवार है जिसका उपयोग टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल के लिए कंप्यूट-ऑप्टिमल स्केलिंग लॉ (scaling laws) स्थापित करने के लिए किया गया है, जो यह प्रकट करता है कि वे भाषा मॉडल की तरह अनुमानित रूप से स्केल करते हैं लेकिन उन्हें प्रति पैरामीटर काफी अधिक डेटा की आवश्यकता होती है और वे ओवरट्रेनिंग के प्रति सुदृढ़ होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के युग में, वैज्ञानिक सबसे शक्तिशाली कंप्यूटर प्रोग्राम कैसे बनाते हैं, इस प्रक्रिया में एक शांत क्रांति चल रही है। वर्षों से, शोधकर्ता अपनी कंप्यूटिंग शक्ति का उपयोग कैसे किया जाए, यह तय करने के लिए 'स्केलिंग लॉज़' (scaling laws) नामक नियमों के एक सेट पर निर्भर रहे हैं। ये नियम एक बजट गाइड की तरह काम करते हैं, जो इंजीनियरों को बताते हैं कि उन्हें अपने सॉफ़्टवेयर के लिए थोड़ा बड़ा मस्तिष्क बनाना चाहिए या उसे सूचना का एक बहुत बड़ा पुस्तकालय खिलाना चाहिए। टेक्स्ट-आधारित एआई की दुनिया में, ये नियम उल्लेखनीय रूप से स्पष्ट रहे हैं: सर्वोत्तम परिणाम प्राप्त करने के लिए, आपको अपने कंप्यूटिंग बजट को मॉडल के आकार और उस डेटा के बीच लगभग समान रूप से विभाजित करना चाहिए जिसे वह पढ़ता है। इस संतुलन ने मशीनों को भाषा सीखने में आश्चर्यजनक दक्षता दी है, जिससे आज के परिष्कृत उपकरण सामने आए हैं। हालाँकि, जब कंप्यूटर को चित्र बनाने के लिए सिखाने की बात आती है, तो ये नियम एक रहस्य बने रहे हैं। विजुअल डेटा टेक्स्ट की तुलना में बहुत अधिक जटिल और शोर वाला होता है, और इमेज जनरेटर के लिए इन नियमों को मैप करने के पिछले प्रयास बड़े पैमाने के प्रयोगों की कमी के कारण सीमित रहे हैं। एक स्पष्ट मार्गदर्शक के बिना, डेवलपर्स मॉडल के आकार और डेटा की मात्रा के बीच संतुलन बनाने के लिए अनुमान लगा रहे थे, जिससे अक्सर ऊर्जा और समय की भारी बर्बादी हो रही थी।
लुमा एआई (Luma AI) के शोधकर्ताओं की एक टीम ने अब एक विशाल, व्यवस्थित प्रयोग के साथ इस पहेली को सुलझाने का बीड़ा उठाया है। उन्होंने इमेज-जनरेटिंग मॉडल्स का एक नियंत्रित परिवार बनाया, जो बहुत छोटे से लेकर काफी बड़े तक विस्तृत था, और उन्हें कंप्यूटिंग शक्ति की एक आश्चर्यजनक मात्रा का उपयोग करके प्रशिक्षित किया—जो इस विषय पर किसी भी पिछले अध्ययन की तुलना में बहुत अधिक है। इन मॉडल्स को कंप्यूटिंग लागत के तीन अलग-अलग ऑर्डर्स ऑफ मैग्नीट्यूड (orders of magnitude) के माध्यम से परखकर, वे सटीक रूप से देख पाए कि जैसे-जैसे मॉडल बढ़ते हैं, प्रदर्शन कैसे बदलता है। उनका कार्य प्रकट करता है कि चित्र बनाने के नियम भाषा को प्रोसेस करने के नियमों से मौलिक रूप से भिन्न हैं। जहाँ टेक्स्ट मॉडल अपने आकार की प्रति इकाई लगभग बीस शब्दों को पढ़ने के बाद अपनी चरम दक्षता तक पहुँच जाते हैं, वहीं इमेज मॉडल्स को बहुत अधिक आहार की आवश्यकता होती है। शोधकर्ताओं ने पाया कि इष्टतम दक्षता के बिंदु तक पहुँचने के लिए, एक टेक्स्ट-टू-इमेज मॉडल को अपने स्ट्रक्चर के प्रत्येक सिंगल पैरामीटर के लिए लगभग दो सौ इमेज टोकन देखने की आवश्यकता होती है। इसका अर्थ है कि इमेज जनरेशन के लिए, डेटा भाषा मॉडल्स की तुलना में दस गुना अधिक महत्वपूर्ण है। पुराना परामर्श कि मॉडल के आकार और डेटा को समान रूप से संतुलित किया जाए, यहाँ लागू नहीं होता है; इसके बजाय, सबसे प्रभावी रणनीति मॉडल को अधिक चित्र खिलाने को प्राथमिकता देना है, भले ही इसका अर्थ एक छोटा मस्तिष्क उपयोग करना हो।
अध्ययन ने डेवलपर्स के लिए एक आश्चर्यजनक सुरक्षा तंत्र (safety net) का भी खुलासा किया। भाषा मॉडल्स की दुनिया में, यदि आप किसी सिस्टम को बहुत अधिक डेटा पर बहुत लंबे समय तक प्रशिक्षित करते हैं, तो इसके प्रदर्शन में गिरावट आ सकती है और अतिरिक्त प्रयास व्यर्थ जा सकता है। लेकिन इमेज जनरेटर्स के लिए, शोधकर्ताओं ने पाया कि मॉडल्स अविश्वसनीय रूप से सहिष्णु (forgiving) होते हैं। यदि कोई अभ्यासकर्ता मॉडल को आवश्यक सीमा से अधिक समय तक प्रशिक्षित करने का निर्णय लेता है, तो छवियों की गुणवत्ता में महत्वपूर्ण गिरावट नहीं आती है। वास्तव में, प्रदर्शन में होने वाली हानि इतनी कम है कि वह लगभग नगण्य है। यह निष्कर्ष उद्योग के लिए एक व्यावहारिक नियम प्रदान करता है: बहुत कम डेटा पर एक विशाल मॉडल को प्रशिक्षित करने का जोखिम उठाने के बजाय, एक विशाल मात्रा में डेटा पर एक छोटा मॉडल प्रशिक्षित करना कहीं अधिक सुरक्षित है। अतिरिक्त प्रशिक्षण समय एक बफर के रूपas कार्य करता है, जो अन्य प्रकार के एआई में होने वाली संसाधनों की बर्बादी की पेनल्टी के बिना उच्च-गुणवत्ता वाले परिणाम सुनिश्चित करता है।
केवल अंतिम छवि की गुणवत्ता के अलावा, टीम ने यह भी देखा कि उनके डिजिटल मस्तिष्क के भीतर मॉडल दुनिया को समझने के लिए कैसे सीखते हैं। उन्होंने परीक्षण किया कि क्या मॉडल वस्तुओं और पैटर्न को पहचानने में कुशल हैं, जिसे 'रिप्रेजेंटेशन लर्निंग' (representation learning) कहा जाता है। उन्होंने पाया कि छवियों को समझने के लिए इष्टतम दक्षता का बिंदु, उन्हें उत्पन्न करने के बिंदु की तुलना में बहुत कम डेटा वॉल्यूम पर होता है। एक मॉडल बिल्ली या परिदृश्य को पहचानने में बहुत कुशल हो सकता है, इससे बहुत पहले कि वह उसे पेंट करने में पूर्ण हो जाए। यह सुझाव देता है कि मॉडल का आंतरिक ज्ञान और कला बनाने की उसकी क्षमता अलग-अलग दरों पर विकसित होते हैं। इसके अलावा, शोधकर्ताओं ने देखा कि जैसे-जैसे छवियों का रेजोल्यूशन बढ़ता है, डेटा की आवश्यकता और भी अधिक बढ़ जाती है। हाई-डेफिनिशन चित्र बनाने के लिए मॉडल को प्रशिक्षित करने के लिए, लो-रेजोल्यूशन स्केच बनाने की तुलना में मॉडल के आकार के प्रति इकाई काफी अधिक विजुअल जानकारी की आवश्यकता होती है।
शायद सबसे गहरा निष्कर्ष यह था कि ये इमेज-जनरेटिंग मॉडल्स उनके लर्निंग कर्व्स में एक सार्वभौमिक पैटर्न का पालन करते हैं। जब शोधकर्ताओं ने मॉडल के आकार और उपयोग की गई कंप्यूटिंग के आधार पर डेटा को समायोजित किया, तो प्रत्येक मॉडल का प्रशिक्षण प्रगति—सबसे छोटे से लेकर सबसे बड़े तक—एक ही सुचारू रेखा (single, smooth line) पर सिमट गई। 'स्केलिंग कोलैप्स' (scaling collapse) नामक यह घटना बताती है कि एक छोटे मॉडल का व्यवहार एक विशाल मॉडल के व्यवहार की सटीक भविष्यवाणी कर सकता है। यह सुझाव देता है कि सीखने के अंतर्निहित तंत्र सभी आकारों में सुसंगत हैं, जो इंजीनियरों को यह अनुमान लगाने के लिए एक शक्तिशाली उपकरण प्रदान करता है कि भविष्य का एक विशाल मॉडल कैसा प्रदर्शन करेगा, बिना उसे पहले से बनाए और प्रशिक्षित किए।
शोधकर्ताओं ने सफलता के विभिन्न मापों की भी जांच की, जैसे कि एक छवि टेक्स्ट विवरण से कितनी अच्छी तरह मेल खाती है या वह कितनी यथार्थवादी दिखती है, और वे कंप्यूटिंग शक्ति के साथ कैसे स्केल करते हैं। उन्होंने पाया कि ये विभिन्न लक्ष्य सभी एक ही समय पर शिखर (peak) पर नहीं पहुँचते हैं। कुछ मेट्रिक्स, जैसे कि एक छवि प्रॉम्प्ट का कितनी अच्छी तरह पालन करती है, दूसरों की तुलना में—जैसे कि छवि वास्तविक दुनिया की तस्वीरों के वितरण से कितनी करीब है—डेटा और आकार का एक अलग संतुलन पसंद करते हैं। यह इंगित करता है कि इमेज जनरेटर के लिए कोई एक "परफेक्ट" सेटिंग नहीं है; सबसे अच्छा कॉन्फ़िगरेशन पूरी तरह से इस बात पर निर्भर करता है कि उपयोगकर्ता मॉडल से क्या करवाना चाहता है। इसके अतिरिक्त, उन्होंने पाया कि जनरेशन प्रक्रिया को निर्देशित करने वाले सेटिंग्स, जो निर्देशों का पालन करने की कठोरता को नियंत्रित करते हैं, मॉडल के बड़े होने के साथ समायोजित करने की आवश्यकता होती है। मजबूत जेनेरेटिव क्षमता वास्तव में अच्छे परिणाम देने के लिए कम मार्गदर्शन की मांग करती है।
अंत में, यह कार्य इमेज जनरेशन के भविष्य के लिए एक स्पष्ट, डेटा-संचालित मानचित्र प्रदान करता है। यह क्षेत्र को अनुमान लगाने से दूर ले जाकर संसाधनों के सटीक आवंटन की ओर ले जाता है। मुख्य निष्कर्ष यह है कि इमेज क्रिएशन के लिए, डेटा ही सर्वोपरि (king) है। सबसे प्रभावी मार्ग सबसे बड़ा संभव मॉडल बनाना नहीं है, बल्कि यह सुनिश्चित करना है कि जो भी मॉडल बनाया जाए, उसे विजुअल जानकारी की विशाल मात्रा खिलाई जाए। इन नए नियमों का पालन करके, डेवलपर्स बेहतर, अधिक कुशल सिस्टम बना सकते हैं जो प्रशिक्षण के लिए आवश्यक अपार ऊर्जा को बर्बाद किए बिना शानदार चित्र बना सकते हैं। अध्ययन पुष्टि करता है कि हालांकि पूर्ण इमेज जनरेशन का मार्ग, पूर्ण भाषा के मार्ग से भिन्न है, लेकिन यह उतना ही अनुमानित और खोज के लिए उतना ही खुला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।