Optimal Self-Distillation for Rectified Flow via Linear Probing
यह शोध पत्र एक क्लोज्ड-फॉर्म मिक्सिंग कोएफिशिएंट (closed-form mixing coefficient) व्युत्पन्न करके रेक्टिफाइड फ्लो मॉडल्स (rectified flow models) में इष्टतम सेल्फ-डिस्टिलेशन (optimal self-distillation) के लिए एक सैद्धांतिक ढांचा स्थापित करता है, जो अंडर- या ओवर-रेगुलराइज्ड टीचर्स (under- or over-regularized teachers) को सुधारने वाले एक साइन रूल (sign rule) के माध्यम से वेलोसिटी एस्टीमेशन (velocity estimation) और जनरेशन परफॉरमेंस को प्रमाणित रूप से बेहतर बनाता है, जबकि साथ ही गाऊसीअन (Gaussian) और इमेज डेटासेट्स पर मान्य कुशल ट्यूनिंग प्रक्रियाएं भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखा रहे हैं। आमतौर पर, आप उसे दस लाख असली तस्वीरें दिखाते हैं और कहते हैं, "इसे बनाओ।" लेकिन क्या होगा अगर आप रोबोट को अपने खुद के चित्र बनाने दें, और फिर उन चित्रों का उपयोग उसे फिर से सिखाने के लिए करें? यह आधुनिक एआई में एक लोकप्रिय चाल है जिसे "सेल्फ-डिस्टिलेशन" (self-distillation) कहा जाता है। यह एक छात्र की तरह है जो और स्मार्ट बनने के लिए अपने ही होमवर्क का अध्ययन करता है। हालाँकि, इसमें एक पेंच है: यदि रोबोट गलतियाँ करना शुरू कर देता है, और आप उसे उन्हीं गलतियों के साथ सिखाते रहते हैं, तो यह एक आपदा में बदल सकता है जिसे "मॉडल कोलैप्स" (model collapse) कहते हैं, जहाँ चित्र धुंधले, अजीब और अंततः स्टैटिक शोर (static noise) में बदल जाते हैं। यह एक फोटोकॉपी मशीन की तरह है जो एक कॉपी की कॉपी और फिर एक और कॉपी बनाती है; अंततः छवि गायब हो जाती है।
यह शोध पत्र एक विशेष प्रकार के रोबट आर्टिस्ट पर काम करता है जिसे "रेक्टिफाइड फ्लो" (Rectified Flow) कहा जाता है। रेक्टिफाइड फ्लो को इस तरह समझें कि यह एक ऐसा रोबोट है जो एक खाली कैनवास (रैंडम नॉइज़) से एक तैयार चित्र तक का सबसे तेज़, सीधा रास्ता खोजकर चित्र बनाना सीखता है। यह एक "वेलोसिटी फील्ड" (velocity field) सीखता है, जो मूल रूप से तीरों का एक नक्शा है जो रोबोट को बताता है कि सही चित्र पाने के लिए हर क्षण पिक्सेल को किस दिशा में धकेलना है। बड़ा सवाल जो लेखकों ने पूछा है वह यह है: क्या हम सुरक्षित रूप से रोबोट के अपने अपूर्ण चित्रों का उपयोग उसे बेहतर करने के लिए सिखाने में कर सकते हैं, बिना कोलैप्स के जाल में गिरे? वे एक ऐसी स्थिति पर ध्यान केंद्रित करते हैं जहाँ रोबोट का शिक्षक थोड़ा "ओवर-रेगुलराइज्ड" (over-regularized) है, जिसका अर्थ है कि उसे बहुत सरल या बहुत सतर्क होने के लिए मजबूर किया गया है, जिससे उसके चित्र सिकुड़ जाते हैं और विवरण छूट जाते हैं।
टेक्सस विश्वविद्यालय के सप्तरषि रॉय, देबप्सिता मुखर्जी और प्रतीक पाटिल ने इसे ठीक करने के लिए एक चतुर गणितीय तरकीब खोजी है। उन्होंने पाया कि यदि आप रोबोट के मूल "सत्य" निर्देशों को उसके अपने "शिक्षक" निर्देशों के साथ सही तरीके से मिलाते हैं, तो आप वास्तव में रोबोट को उसके शिक्षक से भी बेहतर बना सकते हैं। लेकिन यहाँ एक मोड़ है: कभी-कभी, एक बहुत अधिक सतर्क शिक्षक को ठीक करने के लिए, आपको उसके सलाह के "नेगेटिव" (ऋणात्मक) मात्राओं को मिलाना पड़ता है।
कल्पना कीजिए कि आप एक दुकान तक जाने की कोशिश कर रहे हैं, लेकिन आपका जीपीएस (शिक्षक) खराब है और आपको ट्रैफ़िक के डर से बहुत धीमी, घुमावदार राह लेने के लिए कहता रहता है। यदि आप केवल जीपीएस का पालन करते हैं, तो आप देर से पहुँचेंगे। यदि आप इसे पूरी तरह अनदेखा कर देते हैं, तो आप रास्ता भटक सकते हैं। शोध पत्र दिखाता है कि सबसे अच्छा कदम यह है कि कुछ मामलों में जीपीएस के विपरीत कार्य किया जाए। यदि जीपीएस कहता है "धीरे चलो," तो आपको सुधार करने के लिए "तेज़ चलना" (एक नेगेटिव मिक्स) पड़ सकता है। उन्होंने गणितीय रूप से सिद्ध किया कि कुछ प्रकार के रोबोटों के लिए, एक आदर्श "मिक्सिंग कोएफिशिएंट" (मिश्रण गुणांक) होता है जो आपको ठीक-ठीक बताता है कि आपको शिक्षक पर कितना भरोसा करना है और उसके खिलाफ कितना विद्रोह करना है।
वे इसे "ऑप्टिमल सेल्फ-डिस्टिलेशन" (Optimal Self-Distillation) कहते हैं। उन्होंने दिखाया कि यदि शिक्षक का प्रदर्शन पूर्ण नहीं है (जो कि शायद ही कभी होता है), तो वास्तविक डेटा और शिक्षक के अनुमानों को मिलाने का हमेशा एक बेहतर तरीका होता है। अपने प्रयोगों में, उन्होंने एक ऐसा शिक्षक लिया जिसे जानबूझकर खराब किया गया था (एक मिसकैलिब्रेटेड रोबोट का अनुकरण करने के लिए इसके आउटपुट को सिकोड़ दिया गया था) और उनके तरीके का उपयोग करके इसे ठीक किया। हस्तलिखित अंकों (handwritten digits) के एक डेटासेट पर, उन्होंने त्रुटि जोखिम को 1.237 से घटाकर 0.415 कर दिया। फैशन-MNIST (कपड़ों की छवियां) पर, उन्होंने जोखिम को 0.828 से घटाकर 0.210 कर दिया। उन्होंने CIFAR-10 छवियों को बनाने वाले एक न्यूरल नेटवर्क पर भी परीक्षण किया, जहाँ उनका "FID" स्कोर (एक माप कि छवियां कितनी वास्तविक दिखती हैं) 284.26 से सुधरकर 30.08 हो गया।
मुख्य निष्कर्ष यह है कि आपको शिक्षक को फेंकने या शून्य से शुरुआत करने की आवश्यकता नहीं है। आपको बस सही संतुलन खोजने की आवश्यकता है। यदि शिक्षक बहुत कमजोर है, तो आपको उसे सही दिशा में धकेलने के लिए उसकी सलाह की एक नेगेटिव मात्रा मिलाने की आवश्यकता हो सकती है। लेखकों ने सिद्ध किया कि यह रैखिक मॉडलों (linear models) के लिए काम करता है और सिमुलेशन के माध्यम से दिखाया कि यह जटिल, वास्तविक दुनिया के इमेज जनरेशन के लिए भी लागू होता है। उन्होंने इस सटीक मिश्रण संख्या को खोजने के लिए एक तेज़, "वन-शॉट" विधि भी बनाई ताकि हजारों बार अनुमान और परीक्षण न करना पड़े। इसलिए, अगली बार जब आपका एआई कलाकार धुंधले धब्बे बनाने लगे, तो उसे सिर्फ डिलीट न करें; शायद उसे स्पष्टता की ओर वापस लौटने के लिए थोड़े से नेगेटिव फीडबैक की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।