DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models
यह शोध पत्र DreOPD का प्रस्ताव करता है, जो फ्लो-मैचिंग मॉडल्स के लिए एक नवीन ऑन-पॉलिसी डिस्टिलेशन विधि है, जो इम्पलिसिट रिवॉर्ड एक्सट्रपलेशन को क्लोज्ड-फॉर्म वेलोसिटी रिग्रेशन में परिवर्तित करती है और स्थिर, उच्च-प्रदर्शन वाले पोस्ट-ट्रेनिंग को प्राप्त करने के लिए एक डिग्रेडेड रेफरेंस का लाभ उठाती है जो मानक ऑन-पॉलिसी डिस्टिलेशन और मल्टी-टास्क रीइन्फोर्समेंट लर्निंग बेसलाइन्स दोनों से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर पेंट करना, लिखना और सपने देखना सीख रहे हैं। लंबे समय से, वैज्ञानिक इन मशीनों को "फ्लो-मैचिंग" (Flow-Matching) नामक एक विधि का उपयोग करके सिखा रहे हैं। इसे इस तरह समझें जैसे एक मूर्तिकार शोर-शराबे और धुंधलेपन से भरे संगमरमर के एक ब्लॉक से शुरुआत करता है और धीरे-धीरे उस अराजकता को तराश कर हटा देता है जब तक कि एक आदर्श मूर्ति उभर न आए। कंप्यूटर यह सीखता है कि एक टेक्स्ट विवरण से एक सुंदर छवि बनाने के लिए हर एक चरण में शोर (noise) को ठीक से कैसे हटाया जाए। लेकिन यहाँ एक पेंच है: जबकि ये डिजिटल मूर्तिकार कुछ न कुछ बनाने में माहिर हैं, वे हमेशा वह नहीं बना पाते जो आप वास्तव में चाहते हैं। वे जटिल निर्देशों का पालन करने, चित्र के भीतर सही शब्द लिखने, या दृश्य को सौंदर्यपूर्ण बनाने में संघर्ष कर सकते हैं।
इसे ठीक करने के लिए, शोधकर्ता आमतौर पर दो मुख्य तरकीबों का उपयोग करते हैं। पहली है "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning), जो एक सख्त कला समीक्षक को काम पर रखने जैसा है जो हर प्रयास के बाद कंप्यूटर को एक स्कोर देता है। कंप्यूटर बार-बार प्रयास करता है, इस उम्मीद में कि उसे उच्च स्कोर मिलेगा। समस्या क्या है? यह एक अराजक प्रक्रिया है। कंप्यूटर फीडबैक से भ्रमित हो सकता है, या यदि आप उसे एक साथ तीन अलग-अलग कौशल सिखाने के लिए कहते हैं (जैसे टेक्स्ट लिखना, जानवरों को चित्रित करना और सुंदर दिखना), तो निर्देश आपस में टकरा सकते हैं, और कंप्यूटर अटक सकता है। दूसरी तरकीब है "डिस्टिलेशन" (Distillation), जो एक मास्टर पेंटर (शिक्षक) के पास एक छात्र के खड़े होने और यह कहने जैसा है, "ठीक वैसा ही करो जैसा मैं करता हूँ।" यह स्थिर और सुरक्षित है, लेकिन छात्र कभी शिक्षक से बेहतर नहीं हो सकता; वह केवल उसकी एक प्रति (copy) बन जाता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं: क्या हम एक छात्र को केवल एक मास्टर की नकल करने के बजाय, उन्हें पीछे छोड़ने के लिए सिखा सकते हैं, खासकर जब हमारे पास अलग-अलग विशेषज्ञताओं वाले कई मास्टर हों?
यह शोध पत्र एक चतुर नई विधि पेश करता है जिसे DreOPD (Degraded-reference Extrapolative On-policy Distillation) कहा जाता है, जो इस पहेली को सुलझाती है। शोधकर्ताओं ने शिक्षक की नकल करने की स्थिरता और उन्हें मात देने की महत्वाकांक्षा को मिलाने का एक तरीका खोजा है। केवल शिक्षक के ब्रशस्ट्रोक की नकल करने के बजाय, DreOPD छात्र को तुलना करने के लिए एक थोड़ा "अपूर्ण" या "विकृत" (degraded) संस्करण देता है। कल्पना कीजिए कि एक छात्र एक मास्टर पेंटर के काम को देख रहा है, लेकिन साथ ही उसी पेंटिंग की एक थोड़ी धुंधली, कम गुणवत्ता वाली फोटोकॉपी भी देख रहा है। धुंधली प्रति और स्पष्ट मूल के बीच के अंतर को मापकर, छात्र यह पता लगा सकता है कि अपनी पेंटिंग को मूल से भी बेहतर बनाने के लिए उसे किस दिशा में आगे बढ़ाना है।
शोध पत्र सुझाव देता है कि इस "विकृत संदर्भ" (degraded reference) का उपयोग करके, कंप्यूटर शिक्षक की क्षमताओं से आगे बढ़ने के लिए एक सटीक गणितीय पथ की गणना कर सकता है। यह एक GPS की तरह है जो न केवल आपको यह बताता है कि शिक्षक कहाँ है, बल्कि यह भी बताता है कि शिक्षक के एक खराब संस्करण से दूर जाने की दिशा में कैसे बढ़ना है, जिससे छात्र को सीधे एक नए, बेहतर गंतव्य की ओर निर्देशित किया जा सके। शोधकर्ताओं ने एक शक्तिशाली इमेज जनरेटर (SD3.5-M) पर इसका परीक्षण किया और पाया कि उनकी विधि ने छात्र मॉडल को विशेषज्ञ शिक्षकों के अधिकांश क्षेत्रों में बेहतर प्रदर्शन करने की अनुमति दी। उदाहरण के लिए, वस्तुओं की सही गिनती करने (GenEval) या चित्र के भीतर टेक्स्ट लिखने (OCR) जैसे कार्यों में, उनके DreOPD छात्र ने विशेषज्ञों से अधिक स्कोर किया।
यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि केवल एक शिक्षक की नकल करना सर्वोत्तम परिणाम प्राप्त करने के लिए पर्याप्त है, और यह यह भी तर्क देता है कि मानक रीइन्फोर्समेंट लर्निंग अक्सर एक साथ कई कौशल सीखने के दौरान बहुत अस्थिर और त्रुटियों के प्रति संवेदनशील होती है। इसके बजाय, लेखक सुझाव देते हैं कि उनका "एक्सट्रैपोलेशन" (extrapolation) दृष्टिकोण—एक अच्छे शिक्षक और थोड़े खराब संदर्भ के बीच के अंतर का उपयोग करना—ही कुंजी है। उन्होंने इसे विशिष्ट स्कोर के साथ मापा: उदाहरण के लिए, एक टेक्स्ट-रेंडरिंग टेस्ट पर, उनके तरीके ने स्कोर को 0.9239 से सुधार कर 0.9364 कर दिया, जो शिक्षक से बेहतर था। उन्होंने यह भी दिखाया कि यदि "विकृत संदर्भ" बहुत कमजोर है, तो छात्र को पर्याप्त धक्का नहीं मिलता, लेकिन यदि यह बहुत अस्त-व्यस्त है, तो छात्र भ्रमित हो जाता है। उन्होंने पाया कि "स्वीट स्पॉट" (सही संतुलन) एक हल्का क्षरण (degradation) था, जैसे कि शिक्षक के आउटपुट का 8-बिट क्वांटाइजेशन, जिसने छात्र को नई ऊंचाइयों तक ले जाने के लिए बिल्कुल सही कंट्रास्ट प्रदान किया।
संक्षेप में, DreOPD AI कलाकारों को प्रशिक्षित करने का एक नया तरीका है जो "नकल करने" की अवधारणा को "आगे निकलने" में बदल देता है। शिक्षक के थोड़े दोषपूर्ण संस्करण को एक सीढ़ी के रूप में उपयोग करके, छात्र शिक्षक से कहीं आगे छलांग लगाना सीखता है, जिससे ऐसी छवियां बनती हैं जो न केवल अच्छी हैं, बल्कि अपने हिस्सों के योग से भी बेहतर हैं। लेखक सुझाव देते हैं कि यह AI को अधिक विश्वसनीय, निर्देशों का बेहतर पालन करने वाला और अधिक सुंदर कला बनाने के लिए गेम-चेंजर हो सकता है, और यह पारंपरिक प्रशिक्षण विधियों की अराजक अस्थिरता के बिना संभव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।