कल्पना कीजिए कि आप एक रोबोट कलाकार को पेंटिंग करना सिखा रहे हैं। आप नहीं चाहते कि वह केवल एक फोटो की हूबहू नकल करे; आप चाहते हैं कि वह किसी विशिष्ट विवरण के अनुरूप कुछ सुंदर बनाए, जैसे कि "एक टोपी पहने हुए एक खुश कुत्ता।" यह डिफ्यूजन मॉडल्स (Diffusion Models) की दुनिया है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो टीवी के शोर (static) जैसे अराजक ढेर से शुरू करके, धीरे-धीरे कदम-दर-कदम सफाई करके एक स्पष्ट चित्र उभरने तक एक तस्वीर बनाता है।

इन रोबोटों को आपकी विशिष्ट इच्छाओं का पालन करने के लिए बनाने हेतु, वैज्ञानिक रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग करते हैं। इसे एक खेल के रूप में सोचें जहाँ रोबोट को एक "पुरस्कार" (जैसे कि गोल्ड स्टार) तभी मिलता है जब वह पूरी पेंटिंग पूरी कर लेता है और परिणाम अच्छा दिखता है। समस्या यह है कि रोबंड को गोल्ड स्टार केवल अंत में मिलता है। उसे यह नहीं पता होता कि उसके बीच के ब्रशस्ट्रोक अच्छे थे या बुरे। इसलिए, रोबोट यह अनुमान लगाने की कोशिश करता है कि किन चालों ने उसे स्टार दिलाया और वह उस "अच्छा काम किया" वाले संकेत को पेंटिंग की हर प्रक्रिया के हर चरण पर लागू करता है, पहले बिखरे हुए खरोंच से लेकर अंतिम विवरण तक।

लेकिन यहाँ एक पेंच है: पेंटिंग हर क्षण एक जैसी नहीं होती। शुरुआत शुद्ध अराजकता है, बीच में आकार बनता है, और अंत केवल सूक्ष्म विवरण जोड़ना है। इन मॉडल्स को प्रशिक्षित करने के लिए एक ही तरीका अपनाने से रोबोट भ्रमित हो जाता है। वह शॉर्टकट लेने लगता है, अजीब पैटर्न बनाता है जो स्कोरिंग सिस्टम को तो धोखा दे देते हैं लेकिन इंसानों को बहुत खराब लगते हैं। यह एक ऐसे छात्र की तरह है जो गणित सीखने के बजाय उत्तर कुंजी (answer key) रट लेता है।

यह शोध पत्र, जिसका शीर्षक "एक्सप्लोर और कन्वर्ज? स्टेज-गाइडेड पर-स्टेप ऑप्टिमाइजेशन फॉर डिफ्यूजन मॉडल्स" (Explore or Converge? Stage-Guided Per-Step Optimization for Diffusion Models) है, पेकिंग यूनिवर्सिटी, नानजिंग यूनिवर्सिटी और स्टैनफोर्ड के शोधकर्ताओं द्वारा लिखा गया है, एक स्मार्ट तरीका प्रस्तावित करता है। पूरे सफर के लिए एक ही इनाम का संकेत देने के बजाय, वे सुझाव देते हैं कि पेंटिंग के किस "चरण" (stage) में रोबोट है, इसके आधार पर नियम बदल दिए जाने चाहिए।

समस्या: एक ही आकार सबके लिए सही नहीं होता

लेखकों का तर्क है कि इन मॉडल्स को प्रशिक्षित करने का पुराना तरीका एक बच्चे को साइकिल चलाना सिखाने जैसा है, जहाँ आप बच्चे को तब भी उतनी ही तेज़ आवाज़ में "पैडल ज़ोर से मारो!" चिल्लाकर कहते हैं जब वह ट्रेनिंग व्हील्स के साथ डगमगा रहा हो, या जब वह ढलान से नीचे उतर रहा हो, या जब वह एक पैर पर संतुलन बनाने की कोशिश कर रहा हो।

डिफ्यूजन के शुरुआती दिनों में, छवि केवल शोर (noise) होती है। रोबмोट मूल रूप से अंधेरे में अनुमान लगा रहा होता है। यदि आप उसे अंतिम छवि के आधार पर बताते हैं कि "आप बहुत अच्छा कर रहे हैं!", तो वह भ्रमित हो जाता है क्योंकि वर्तमान बिखरे हुए पिक्सल का अंतिम परिणाम से लगभग कोई संबंध नहीं होता। इससे रिवॉर्ड हैकिंग (reward hacking) होती है, जहाँ रोबोट सिस्टम को धोखा देना सीख जाता है। वह सुरक्षित, उबाऊ पैटर्न दोहरा सकता है या केवल उच्च स्कोर पाने के लिए सूक्ष्म विवरणों को बढ़ा सकता है, भले ही चित्र अजीब या टूटा हुआ दिखे।

समाधान: एक तीन-अंकों वाला नाटक (A Three-Act Play)

शोधकर्ताओं ने महसूस किया कि निर्माण की प्रक्रिया स्वाभाविक रूप से तीन अलग-अलग अंकों में विभाजित है, और प्रत्येक अंक को एक अलग शिक्षक की आवश्यकता है। वे अपने नए तरीके को SGPO (स्टेज-गाइडेड पर-स्टेप ऑप्टिमाइजेशन) कहते हैं।

अंक 1: अराजक चरण (शोर से बाहर निकलें)
शुरुआत में, छवि केवल स्टैटिक (static) होती है। रोबोट एक "अराजक अवस्था" में होता है। लेखकों ने पाया कि यहाँ अंतिम लक्ष्य के लिए अनुकूलन (optimize) करने की कोशिश करना बेकार है क्योंकि वर्तमान बिखराव और अंतिम चित्र के बीच संबंध बहुत कमजोर है।

• SGPO रणनीति: अंतिम पुरस्कार की चिंता करने के बजाय, रोबोट को बस "शोर से बाहर निकलने" के लिए कहा जाता है। लक्ष्य प्रारंभिक स्टैटिक से जितनी जल्दी हो सके दूर जाना है। यह एक ऐसे तैराक की तरह है जिसे तूफानी समुद्र में केवल हाथ-पैर चलाने के बजाय, तैरने की शैली की चिंता करने से पहले ठोस जमीन खोजने के लिए कहा गया हो।

अंक 2: स्थिर अन्वेषण चरण (आकार खोजें और नई चीजें आजमाएं)
एक बार जब शोर साफ हो जाता है, तो छवि के मुख्य आकार और संरचनाएं दिखने लगती हैं। यह "स्वीट स्पॉट" है। रोबोट अब देख सकता है कि वह क्या बना रहा है, और अंतिम पुरस्कार वास्तव में समझ में आता है।

• SGPO रणनीति: यहाँ, रोबोट को अंतिम पुरस्कार का पीछा करने (चित्र को अच्छा बनाने) के लिए प्रोत्साहित किया जाता है, लेकिन उसे एक्सप्लोर (अन्वेषण) करने के लिए भी कहा जाता है। लेखक एक विशेष नियम जोड़ते हैं जो रोबोट को छवि के विभिन्न रूपों को आज़माने के लिए प्रोत्साहित करता है। यह रोबोट को एक ही बोरिंग पैटर्न को बार-बार कॉपी करने या एक ही ढर्रे में फंसने से रोकता है। यह एक ऐसे शेफ की तरह है जिसके पास मुख्य सामग्रियां तैयार हैं और अब उसे व्यंजन को अद्वितीय बनाने के लिए मसालों के साथ प्रयोग करने के लिए प्रोत्साहित किया जा रहा है, न कि केवल एक सुरक्षित रेसिपी पर टिके रहने के लिए।

अंक 3: अभिसरण चरण (पॉलिश करें और रुकें)
अंतिम क्षणों में, छवि लगभग पूरी हो चुकी होती है। बड़े आकार तय हो चुके हैं, और केवल सूक्ष्म विवरण बदल रहे हैं। यदि रोबोट यहाँ "अनुकूलन" करने की कोशिश करता रहता है, तो वह अत्यधिक सोच सकता है, पिक्सल को तब तक बदल सकता है जब तक कि छवि अजीब न दिखने लगे या अपना प्राकृतिक अहसास खो न दे। यहीं पर ओवरफिटिंग (overfitting) होती है।

• SGPO रणनीति: रोबोट को कन्वर्ज (अभिसरण) करने के लिए कहा जाता है। उसे अन्वेषण बंद कर देना चाहिए और बस स्थिर हो जाना चाहिए, यह सुनिश्चित करना चाहिए कि अंतिम विवरण स्थिर और मूल योजना के अनुरूप हों। यह एक ऐसे मूर्तिकार की तरह है जिसने मूर्ति पूरी कर ली है और अब वह केवल सतह को चिकना कर रहा है, नाक के आकार को बदलने की कोशिश नहीं कर रहा है।

उन्होंने कैसे जाना कि यह काम करता है

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक प्रणाली बनाई है जो वास्तविक समय में रोबोट पर नज़र रखती है। वे दो चीजें मापते हैं: कितना "शोर" बचा है (सिग्नल-टू-नॉइज़ रेशियो) और छवि का अर्थ कितना बदल रहा है (सेमेंटिक चेंज)। जब ये संख्याएँ विशिष्ट बिंदुओं पर पहुँचती हैं, तो सिस्टम स्वचालित रूप से रोबोट के प्रशिक्षण नियमों को "शोर से बाहर निकलने" से "अन्वेषण" और फिर "अभिसरण" में बदल देता है।

यह परीक्षण करने के लिए कि क्या यह वास्तव में मदद करता है, उन्होंने 16 तुलनात्मक प्रयोग चलाए। उन्होंने अपने तरीके की तुलना DDPO और DPOK जैसे अन्य लोकप्रिय प्रशिक्षण तरीकों से की।

परिणाम काफी प्रभावशाली थे। SGPO पद्धति ने न केवल बेहतर चित्र बनाए; इसने उन्हें तेज़ भी बनाया। लेखक रिपोर्ट करते हैं कि उनके तरीके ने जेनरेटिव क्वालिटी (उत्पादक गुणवत्ता) में औसतन 26.7% की वृद्धि हासिल की और एक अच्छे परिणाम तक पहुँचने में 36.7% तेज़ था।

उन्होंने "रिवॉर्ड हैकिंग" के लिए भी परीक्षण किया। कई अन्य तरीकों में, जब AI "सौंदर्यशास्त्र" के स्कोर को अधिकतम करने की कोशिश करता है, तो अक्सर यह दोहराते हुए पैटर्न के ग्लिच वाले ढेर जैसा दिखने लगता है। लेखकों ने दिखाया कि SGPO के साथ, AI सुंदरता के लिए उच्च स्कोर बनाए रखते हुए भी छवियों की विविधता और स्वाभाविकता को बनाए रखता है। वास्तव में, उन्होंने 4ity.93% बेहतर डिटेल फिडेलिटी (विवरण सटीकता) मापी, जिसका अर्थ है कि सूक्ष्म बनावट और किनारे बहुत अधिक यथार्थवादी और कम "हैक किए हुए" दिखे।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि AI को कला बनाने के लिए सिखाने का रहस्य केवल उसे एक बेहतर लक्ष्य देना नहीं है, बल्कि उस यात्रा को समझना है जो वह वहां तक पहुँचने के लिए करता है। यह पहचानकर कि छवि निर्माण के आरंभ, मध्य और अंत मौलिक रूप से भिन्न हैं, और इन चरणों के अनुरूप प्रशिक्षण के नियमों को बदलकर, रोबोट बेहतर, अधिक विविध और अधिक विश्वसनीय चित्र बनाना सीखता है। यह एक याद दिलाता है कि कभी-कभी, सबसे अच्छा परिणाम प्राप्त करने के लिए, आपको प्रक्रिया के हर चरण को एक समान मानने के बजाय उसे अलग तरह से समझना होता है।