On-Policy Self-Distillation in Diffusion Models
यह शोध पत्र DiffusionOPSD को प्रस्तुत करता है, जो एक ऑन-पॉलिसी सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो इमेज-लेवल रिवार्ड्स को डिफ्यूजन मॉडल्स के लिए स्पष्ट इंटरमीडिएट सुपरविजन टारगेट्स में परिवर्तित करता है, जिससे मौजूदा तरीकों की तुलना में बेहतर एलाइनमेंट परफॉरमेंस और महत्वपूर्ण ट्रेनिंग एफिशिएंसी लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, ऐसी प्रणालियों का एक बढ़ता हुआ वर्ग है जो शून्य से चित्र बनाने में सक्षम है, जो "एक टोपी पहने हुए बिल्ली" जैसे एक साधारण वाक्य को एक जीवंत छवि में बदल देती है। डिफ्यूजन मॉडल के रूप में जानी जाने वाली ये प्रणालियाँ, शोर (static noise) के एक अराजक बादल से शुरुआत करके और धीरे-धीरे इसे चरण-दर-चरण साफ करके काम करती हैं, जब तक कि एक स्पष्ट चित्र उभर न आए। वर्षों तक, शोधकर्ताओं ने इन छवियों को अधिक तीक्ष्ण या यथार्थवादी बनाने पर ध्यान केंद्रित किया है। हाल ही में, लक्ष्य उन्हें मानवीय प्राथमिकताओं के अनुरूप बनाना हो गया है, यह सुनिश्चित करना कि एआई न केवल यह समझे कि कोई वस्तु कैसी दिखती है, बल्कि यह भी कि मनुष्य उसे कितना सुंदर या उपयोगी पाते हैं। इन प्राथमिकताओं को सिखाने के लिए, वैज्ञानिक अक्सर 'रीइन्फोर्समेंट लर्निंग' नामक विधि का उपयोग करते हैं। इस सेटअप में, एआई एक छवि बनाता है, एक कंप्यूटर प्रोग्राम वांछित परिणाम के साथ उसके मिलान के आधार पर उसे स्कोर देता है, और एआई उस स्कोर के आधार पर अपने अगले प्रयास को सुधारने की कोशिश करता है। हालाँकि, इस प्रक्रिया में एक मौलिक समस्या मौजूद है: स्कोर केवल अंत में दिया जाता है, चित्र पूरा होने के बाद। एआई को यह अनुमान लगाने के लिए छोड़ दिया जाता है कि उसे अंतिम अच्छा स्कोर प्राप्त करने के लिए अपने मध्यवर्ती चरणों—निर्माण के अव्यवस्थित, धुंधले चरणों—को कैसे समायोजित करना है। यह एक जटिल कौशल को सीखने जैसा है जहाँ आपको मैच के दौरान आपकी विशिष्ट चालों पर कोई फीडबैक दिए बिना, केवल अंत में यह बताया जाता है कि आप जीते या हारे।
शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए 'डिफ्यूजनओपीएसडी' (DiffusionOPSD) नामक एक नई विधि पेश की है। प्रक्रिया को प्रबंधनीय क्षणों में तोड़कर, यह उनके दृष्टिकोण के रूप में, अंतिम छवि के पूरा होने तक फीडबैक का इंतजार करने के बजाय काम करता है। वे एआई की निर्माण प्रक्रिया को स्नैपशॉट की एक श्रृंखला के रूप में देखते हैं। छवि बनाने के एक विशिष्ट, शुरुआती चरण पर, वे रुकते हैं और कंप्यूटर प्रोग्राम से पूछते हैं कि यदि प्रक्रिया वहीं रुक जाए तो छवि कैसी दिखेगी। इस मूल्यांकन का उपयोग करके, वे सुधार के लिए एक सटीक दिशा की गणना करते हैं, जिससे एआई के लिए एक स्पष्ट लक्ष्य बन जाता है। यह लक्ष्य केवल एक अस्पष्ट सुझाव नहीं है; यह एक ठोस, सीमित निर्देश है जो एआई को बताता है कि अंतिम परिणाम को बेहतर बनाने के लिए वर्तमान भविष्यवाणी को ठीक से कैसे बदला जाए। शोधकर्ता फिर एआई को इस लक्ष्य की ओर बढ़ने के लिए प्रशिक्षित करते हैं। महत्वपूर्ण रूप से, वे इसे एक लूप में करते हैं: एआई एक कदम उठाता है, सिस्टम एआई के अपने वर्तमान व्यवहार के आधार पर एक नया लक्ष्य गणना करता है, और एआई अगले दौर के लिए सिस्टम की अपनी समझ को अपडेट करने से पहले उस विशिष्ट निर्देश से सीखता है। यह चक्र एआई को दूर के, अंतिम परिणामों के बजाय तत्काल, कार्रवाई योग्य फीडबैक से सीखने की अनुमति देता है।
शोधकर्ताओं ने इस पद्धति का परीक्षण दो अलग-अलग शक्तिशाली छवि-निर्माण प्रणालियों पर किया। लगभग हर परिदृश्य में जिसे उन्होंने आजमाया, जिसमें छवि गुणवत्ता को आंकने के दस अलग-अलग तरीके शामिल थे, उनकी नई विधि ने मौजूदा सबसे मजबूत तकनीकों की तुलना में बेहतर परिणाम दिए। बीस में से उन्नीस तुलनाओं में, इस नए दृष्टिकोण के साथ प्रशिक्षित एआई ने ऐसी छवियां बनाईं जिन्हें स्वचालित स्कोरिंग सिस्टम और मानव मूल्यांकनकर्ताओं, दोनों द्वारा उच्च रेटिंग दी गई। सुधार महत्वपूर्ण था; कुछ मामलों में, छवियों की गुणवत्ता पिछले सर्वश्रेष्ठ तरीके की तुलना में लगभग चौंतालीस प्रतिशत बढ़ गई। केवल बेहतर चित्र बनाने के अलावा, यह नया दृष्टिकोण बहुत अधिक कुशल भी है। इन परिणामों को प्राप्त करने के लिए इसे एक प्रणाली पर चालीस प्रतिशत कम और दूसरी पर तिरसठ प्रतिशत कम कंप्यूटिंग समय की आवश्यकता थी। यह दक्षता महत्वपूर्ण है क्योंकि इन मॉडलों को प्रशिक्षित करने के लिए भारी मात्रा में ऊर्जा और महंगे हार्डवेयर की आवश्यकता होती है। समय को कम करके, यह विधि इन उपकरणों को विशिष्ट कार्यों के लिए परिष्कृत करना अधिक व्यवहार्य बनाती है।
इस कार्य में एक प्रमुख खोज यह थी कि केवल सुधार के बारे में बेहतर विचार होना यह गारंटी नहीं देता कि एआई वास्तव में तुरंत बेहतर हो जाएगा। शोधकर्ताओं ने पाया कि वे दो अलग-अलग चीजों को माप सकते थे: एआई को दिए गए निर्देश की गुणवत्ता, और एआई ने वास्तव में एक एकल प्रशिक्षण चरण में उस निर्देश का कितनी अच्छी तरह पालन किया। कभी-कभी, एक बहुत ही मजबूत निर्देश से केवल मामूली सुधार हुआ, जबकि एक कमजोर निर्देश से बड़ा सुधार हुआ। इस अलगाव ने उन्हें यह देखने की अनुमति दी कि उनकी विधि की सफलता दोनों से आई: स्पष्ट निर्देश बनाना और यह सुनिश्चित करना कि एआई एक बार में प्रभावी ढंग से उनसे सीख सके। उन्होंने यह भी परीक्षण किया कि क्या एआई को उसी अव्यवस्थित छवि को देखने की आवश्यकता है जो उसने पहले उत्पन्न की थी, या क्या वह उस छवि के थोड़े अलग संस्करण से सीख सकता है। उन्होंने पाया कि छवि का स्रोत बहुत कम मायने रखता था; जो वास्तव में सुधार को प्रेरित कर रहा था, वह फीडबैक की दिशा थी। यह सुझाव देता है कि विधि मजबूत है और यह विश्लेषण की जा रही छवि के विशिष्ट विवरणों के बजाय मार्गदर्शन की गुणवत्ता पर निर्भर करती है।
जब शोधकर्ताओं ने वास्तविक छवियों को देखा, तो अंतर स्पष्ट थे। इस नई विधि के साथ प्रशिक्षित एआई जटिल निर्देशों का पालन करने में बेहतर था, जैसे कि विशिष्ट टेक्स्ट को शामिल करना, वस्तुओं की पहचान बनाए रखना, या गति और प्रकाश प्रभावों को पकड़ना। आमने-सामने की तुलना में, मानव निर्णायक अधिकांश मामलों में पिछले सर्वश्रेष्ठ तकनीकों की तुलना में इस नए तरीके की छवियों को पसंद करते थे। छवियां प्रॉम्प्ट के साथ अधिक सुसंगत थीं, उन विवरणों को संरक्षित करती थीं जिन्हें अन्य विधियां अक्सर खो देती हैं या विकृत कर देती हैं। शोधकर्ताओं ने यह भी प्रदर्शित किया कि यह विधि एक साथ कई लक्ष्यों को संभाल सकती है। उन्होंने एक ही एआई को तीन अलग-अलग मानदंडों को एक साथ संतुष्ट करने के लिए प्रशिक्षित किया, और वह किसी भी एक में प्रदर्शन से समझौता किए बिना तीनों में सुधार करने में सफल रहा। यह दिखाता है कि यह दृष्टिकोण जटिल, वास्तविक दुनिया की आवश्यकताओं को संभालने के लिए पर्याप्त लचीला है जहाँ एक छवि को कई तरीकों से अच्छा होना आवश्यक है।
यह कार्य इन शक्तिशाली प्रणालियों को सिखाने के तरीके में एक बदलाव का प्रतिनिधित्व करता है। एक अंतिम स्कोर को एक स्पष्ट, मध्यवर्ती निर्देश में बदलकर, शोधकर्ताओं ने एआई की सोच प्रक्रिया को चरण-दर-चरण निर्देशित करने का एक तरीका प्रदान किया है। यह दृष्टिकोण पारंपरिक तरीकों के अनुमान से बचता है और बेहतर परिणामों के लिए अधिक प्रत्यक्ष और कुशल मार्ग की अनुमति देता है। निष्कर्ष बताते हैं कि इन मॉडलों को प्रशिक्षित करने का भविष्य जटिल लक्ष्यों को छोटे, स्पष्ट चरणों में तोड़ने में निहित हो सकता है जिन्हें एआई तुरंत समझ सके और उन पर कार्य कर सके। यह विधि किसी जादू या जटिल युक्तियों पर निर्भर नहीं है; यह एक लक्ष्य निर्धारित करने, उससे दूरी मापने और एक कदम उठाने की एक स्पष्ट, दोहराने योग्य प्रक्रिया पर निर्भर करती है। परिणाम एक ऐसी प्रणाली है जो तेजी से सीखती है, कम ऊर्जा का उपयोग करती है, और मानव इरादे के प्रति अधिक निष्ठावान चित्र बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।