Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation
यह शोध पत्र OPDLM प्रस्तुत करता है, जो एक डेटा-कुशल ढांचा है जो ऑन-पॉलिसी डिस्टिलेशन के माध्यम से ऑटोरेग्रेसिव लैंग्वेज मॉडल्स को डिफ्यूजन लैंग्वेज मॉडल्स में परिवर्तित करता है, जो प्रभावी रूप से ट्रेन-इन्फरेंस मिसमैच को समाप्त करता है और पूर्व ज्ञान को संरक्षित करते हुए प्रशिक्षण टोकन आवश्यकताओं को 7,000 गुना तक कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ है (ऑटोरेग्रेसिव मॉडल, या ARLM) जिसने वर्षों तक एक समय में एक व्यंजन बनाकर, कदम-दर-कदम, अपनी कला को निखारने में बिताया है—हमेशा यह देखते हुए कि उसने अभी-अभी बर्तन में क्या डाला है ताकि वह अगले घटक (ingredient) का निर्णय ले सके। यह शेफ अविश्वसनीय रूप से तेज़ है और बहुत कुछ जानता है, लेकिन वह केवल एक सीधी रेखा में खाना बनाना जानता है।
अब, कल्पना कीजिए कि आप इस शेफ को खाना पकाने की एक नई, क्रांतिकारी शैली सिखाना चाहते हैं जिसे डिफ्यूजन (डिफ्यूजन लैंग्वेज मॉडल, या DLM) कहा जाता है। इस नई शैली में, कदम-दर-कदम खाना पकाने के बजाय, शेफ यादृच्छिक (random), अपरिचित सामग्रियों (एक "मास्क्ड" अनुक्रम) के एक कटोरे से शुरुआत करता है और धीरे-धीरे उन्हें एक ही बार में एक संपूर्ण भोजन में बदल देता है। यह नई शैली बेहतरीन है क्योंकि यह एक ही समय में कई सामग्रियों का अनुमान लगा सकती है, जिससे खाना बनाना संभावित रूप से तेज़ हो सकता है।
समस्या: "अनुवाद" का अंतर (The "Translation" Gap)
पेपर बताता है कि स्टेप-बाय-स्टेप शेफ को "एक साथ" खाना बनाने वाले शेफ में बदलने के पिछले प्रयासों में दो बड़ी समस्याएँ थीं:
- स्मृति लोप (The Memory Loss): जब आप शेफ को कदम-दर-कदम खाना बनाना बंद करने और एक साथ पूरा व्यंजन अनुमान लगाने के लिए मजबूर करते हैं, तो वे उन हजारों व्यंजनों को भूलने लगते हैं जिन्हें उन्होंने प्रशिक्षण के वर्षों के दौरान सीखा था। यह वैसा ही है जैसे किसी उस्ताद पियानो वादक को अचानक आँखें बंद करके और एक अलग सुर (key) में बजाने के लिए कहना; वे अपनी पकड़ खो सकते हैं।
- अभ्यास बनाम प्रदर्शन का बेमेल होना (The Practice vs. Performance Mismatch): पुराने तरीके में, शेफ ने यादृच्छिक रूप से कटोरे में सामग्रियां फेंककर और उन्हें ठीक करने की कोशिश करके अभ्यास किया था (रैंडम मास्किंग)। लेकिन वास्तविक दुनिया (इन्फरेंस) में, शेफ वास्तव में अपने अनुमानों के प्रति कितने आश्वस्त हैं, इसके आधार पर व्यंजन को परिष्कृत करता है। अभ्यास, प्रदर्शन से मेल नहीं खाता था, इसलिए जब वास्तव में ज़रूरत होती थी, तो शेफ थोड़ा अनाड़ी रहता था।
समाधान: OPDLM (एक "ऑन-पॉलिसी" मेंटर)
लेखक एक नया तरीका पेश करते हैं जिसे OPDLM (ऑन-पॉलिसी डिफ्यूजन लैंग्वेज मॉडल) कहा जाता है। इसे एक स्मार्ट ट्रेनिंग कैंप के रूप में समझें जो ऑन-पॉलिसी डिस्टिलेशन नामक तकनीक का उपयोग करके इन दोनों समस्याओं को हल करता है।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
- छात्र और शिक्षक: "छात्र" नया डिफ्यूजन शेफ है। "शिक्षक" मूल, स्थिर स्टेप-बाय-स्टेप शेफ है (जिसे बिना किसी बदलाव के एक कांच के केस में रखा गया है)।
- "ऑन-पॉलिसी" ट्विस्ट: यादृच्छिक, बिखरी हुई सामग्रियों के कटोरे (पुराने तरीके) पर अभ्यास करने के बजाय, छात्र शेफ को अपनी नई, "एक साथ" वाली शैली का उपयोग करके एक पूर्ण भोजन पकाने की अनुमति दी जाती है। वे एक अस्त-व्य経過 कटोरे से एक तैयार व्यंजन तक अपना स्वयं का मार्ग बनाते हैं।
- डिस्टिलेशन (Distillation): एक बार जब छात्र एक भोजन तैयार कर लेता है, तो स्थिर शिक्षक शेफ उसी सटीक भोजन को देखता है और कहता है, "यदि मैंने यह विशिष्ट व्यंजन पकाया होता, तो हर गायब सामग्री के लिए मैं बिल्कुल यही कहता।"
- सीखना: छात्र अपने अनुमान की तुलना शिक्षक के उत्तर से करता है और उससे सीखता है।
यह क्यों एक गेम-चेंजर है
क्योंकि छात्र उन भोजन पर अभ्यास करता है जो वे वास्तव में उत्पन्न करते हैं (वास्तविक प्रदर्शन से मेल खाता है) और उन्हें मूल विशेषज्ञ द्वारा सुधारा जाता है, वे अपने पुराने ज्ञान को नहीं भूलते हैं, और वे बहुत तेज़ी से सीखते हैं।
पेपर का दावा है कि यह तरीका अविश्वसनीय रूप से कुशल है:
- डेटा की बचत: इसे पिछले तरीकों की तुलना में 15 से 7,000 गुना कम प्रशिक्षण उदाहरणों की आवश्यकता होती है। यदि अन्य तरीकों को सीखने के लिए अरबों किताबों के पुस्तकालय को पढ़ने की आवश्यकता थी, तो इस तरीके को केवल कुछ दर्जन की आवश्यकता हो सकती है।
- कोई "प्री-ट्रेनिंग" लागत नहीं: आपको शून्य से एक नया डिफ्यूजन शेफ प्रशिक्षित करने की आवश्यकता नहीं है (जो महंगा और धीमा है)। आप बस एक मौजूदा विशेषज्ञ को लेते हैं, उन्हें यह विशिष्ट प्रशिक्षण देते हैं, और वे बदल जाते हैं।
- जादू को बनाए रखना: नया मॉडल मूल शेफ के "सोचने" और "बहुभाषी" कौशल को बनाए रखता है, भले ही उन्हें इस परिवर्तन के दौरान स्पष्ट रूप से नहीं सिखाया गया हो। यह ऐसा है जैसे शेफ स्वाभाविक रूप से फ्रेंच बोलना या जटिल पहेलियाँ सुलझाना याद रखता है क्योंकि प्रशिक्षण ने उनके मूल मस्तिष्क को सुरक्षित रखा है।
परिणाम
पेपर दिखाता है कि इस नए "OPDLM" शेफ का गणित, कोडिंग और सामान्य ज्ञान के कार्यों में मौजूदा सर्वश्रेष्ठ शेफ के समान प्रदर्शन करता है, लेकिन वे बहुत कम प्रयास और डेटा के साथ वहां पहुंचे हैं। यह मॉडल के "मस्तिष्क" को बदलने की कठिन प्रक्रिया को एक सरल, कुशल पोस्ट-ट्रेनिंग अपग्रेड में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।