Learning from the Self-future: On-policy Self-distillation for dLLMs
यह शोध पत्र d-OPSD प्रस्तुत करता है, जो डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) के लिए विशेष रूप से तैयार किया गया पहला ऑन-पॉलिसी सेल्फ-डिस्टिलेशन फ्रेमवर्क है, जो मौजूदा बेसलाइन्स की तुलना में बेहतर प्रदर्शन और सैंपल दक्षता प्राप्त करने के लिए स्व-जनित सफिक्स कंडीशनिंग और स्टेप-लेवल सुपरविजन का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: एक रोबोट को पीछे की ओर सोचना सिखाना
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है (डिफ्यूजन लार्ज लैंग्वेज मॉडल, या dLLM) जो गणित की समस्याओं या सुडोकू जैसे जटिल पहेलियों को हल करना सीख रहा है।
आमतौर पर, रोबोट सवाल पढ़कर और फिर एक-एक करके बाएं से दाएं शब्द का अनुमान लगाकर सीखते हैं। लेकिन यह विशिष्ट रोबोट अलग है। यह एक मूर्तिकार की तरह काम करता है जो संगमरमर के एक ब्लॉक से शुरुआत करता है। यह एक खाली कैनवास (मास्क के अनुक्रमों का एक सेट) देखता है और धीरे-धीरे शोर (noise) को हटाता है, जिससे उत्तर एक साथ, या बड़े टुकड़ों में प्रकट होता है, न कि शब्द-दर-शब्द।
समस्या क्या है? यह रोबट अभी सीख रहा है। शोधकर्ताओं ने इसे बिना किसी मानव शिक्षक या किसी सुपर-स्मार्ट "मेंटर" रोबोट के और भी बेहतर बनाने का तरीका खोजा। उन्होंने एक नई विधि बनाई जिसे d-OPSD कहा जाता है।
पुराने तरीकों के साथ समस्या
अतीत में, यदि आप एक रोबोट को "सेल्फ-डिस्टिलेशन" (स्वयं को सिखाना) का उपयोग करके सिखाना चाहते थे, तो आपको उस विधि का उपयोग करना पड़ता था जो शब्द-दर-शब्द काम करने वाले रोबोटों के लिए बनाई गई थी।
- पुराना तरीका: आप रोबोट को एक सवाल देते, फिर उसे सही उत्तर का शुरुआत दिखाते (जैसे वाक्य की शुरुआत में एक संकेत देना) और कहते, "ठीक है, अब बाकी हिस्सा पूरा करो।"
- यह यहाँ क्यों विफल हुआ: हमारा "मूर्तिकार" रोबटा बाएं-से-दाएं काम नहीं करता है। वह उत्तर के अंत को देख सकता है और शुरुआत का पता लगा सकता है। पुराना तरीका ऐसा था जैसे किसी को केवल तस्वीर के ऊपरी-बाएँ कोने को दिखाकर पेंटिंग करना सिखाना; यह रोबोट के पूरी तस्वीर को एक साथ देखने के अनूठे तरीके में फिट नहीं बैठता था।
समाधान: "स्वयं के भविष्य से सीखना" (Learning from Self-Future)
शोधकर्ताओं ने रोबोट को सिखाने का एक नया तरीका आविष्कार किया, जिसे वे d-OPSD कहते हैं। यह इस प्रकार काम करता है, एक समय-यात्रा (time-travel) सादृश्य का उपयोग करते हुए:
1. समय-यात्रा करने वाला शिक्षक
कल्पना कीजिए कि रोबोट एक परीक्षा दे रहा छात्र है।
- छात्र: रोबोट शून्य से समस्या को हल करने की कोशिश करता है। वह एक पूर्ण उत्तर बनाता है, लेकिन शायद वह कुछ गलतियाँ करता है।
- "भविष्य" का शिक्षक: उत्तर की शुरुआत देखने के बजाय, शोधकर्ता रोबोट के अपने ही अंतिम उत्तर को लेते हैं (भले ही वह त्रुटिपूर्ण हो) और उसे भविष्य से एक "संकेत" के रूप में रोबोट को दिखाते हैं।
- जादू: वे रोबोट से कहते हैं: "कल्पना करो कि तुम पहले से ही उत्तर जानते हो। अब, इस उत्तर को देखो जो तुमने अभी लिखा है, और पता लगाओ कि तुम वहां तक कैसे पहुंचे।"
इसे "Learning from Self-Future" कहा जाता है। यह एक इंसान के दिवास्वप्न देखने जैसा है: "यदि मुझे पता होता कि आगे क्या होने वाला है, तो मैं इस बातचीत की शुरुआत कैसे करता?" अपने "भविष्य" (पूर्ण उत्तर) को देखकर "अतीत" (जेनरेशन प्रक्रिया) को निर्देशित करने से, रोबोट अपने स्वयं के सोचने के पैटर्न को बहुत तेज़ी से सीखता है।
2. चरण-दर-चरण कोच
पुराने शिक्षण तरीके रोबोट के काम को शब्द-दर-शब्द चेक करते थे (जैसे एक शिक्षक द्वारा एक वाक्य को एक समय में एक अक्षर करके सुधारना)।
- नया तरीका: चूंकि रोबोट "चरणों" (शोर को हटाते हुए) में काम करता है, इसलिए नया तरीका एक ऐसे कोच की तरह काम करता है जो मूर्तिकला की प्रक्रिया के हर एक चरण में रोबोट की प्रगति की जांच करता है।
- यह कहने के बजाय कि, "वह शब्द गलत है," कोच कहता है, "इस प्रक्रिया के इस विशिष्ट क्षण में, अगले हिस्से को प्रकट करने की आपकी योजना 'भविष्य' वाले संस्करण की तुलना में थोड़ी अलग थी।"
यह एक बड़ी बात क्यों है
शोधकर्ताओं ने चार कठिन तर्क कार्यों (गणित, सुडोकू, आदि) पर इसका परीक्षण किया और दो अद्भुत चीजें पाईं:
यह बहुत तेज़ है (सैंपल एफिशिएंसी):
एक कुत्ते को प्रशिक्षित करने की कल्पना करें। पुराना तरीका (RLVR) एक बार में 1,000 बार गेंद फेंकने जैसा है और उम्मीद करना है कि कुत्ता उसे पकड़ ले। नया तरीका (d-OPSD) गेंद के पथ को दिखाने और उसे केवल 100 थ्रो में ट्रिक सीखने देने जैसा है। पेपर का दावा है कि उनके तरीके को समान स्तर की बुद्धिमत्ता तक पहुँचने के लिए अन्य तरीकों की तुलना में केवल लगभग 10% प्रशिक्षण चरणों की आवश्यकता होती है।यह अधिक स्मार्ट है:
चूंकि रोबोट अपने स्वयं के "भविकर" उत्तरों से सीख रहा है, इसलिए वह सोचने के नए तरीके खोजता है जो उसे केवल अनुमान लगाकर नहीं मिलते। यह केवल रटना नहीं है; यह समाधान के पैटर्न को समझना है।
एक चेतावनी
पेपर में एक छोटी सी चेतावनी भी दी गई है। किसी भी गहन प्रशिक्षण की तरह, यदि आप रोबोट को बहुत अधिक समय तक बहुत ज़ोर से धकेलते हैं, तो यह कभी-कभी भ्रमित हो सकता है और "कोलैप्स" (गलत उत्तर देने लगना) हो सकता है। यह इस प्रकार के सीखने के साथ एक ज्ञात समस्या है, लेकिन यह तरीका पिछले तरीकों की तुलना में एक बड़ा सुधार है।
सारांश
यह पेपर d-OPSD पेश करता है, जो "मूर्तिकार-शैली" वाले AI मॉडलों को प्रशिक्षित करने का एक नया तरीका है। उन्हें शब्द-दर-शब्द अतीत से सिखाने के बजाय, यह उन्हें समस्याओं को हल करना सीखने के लिए अपने स्वयं के पूर्ण उत्तरों से "भविष्य" से देखने की अनुमति देता है। यह मॉडल को अपने काम की समीक्षा करने के लिए एक टाइम मशीन देने जैसा है, जिससे यह पहले की तुलना में तेज़ी से सीखने और गहराई से सोचने में सक्षम होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।