🤖 machine learning

Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment

यह शोध पत्र REPR-ALIGN को प्रस्तुत करता है, जो एक ऐसी विधि है जो डिफ्यूजन लैंग्वेज मॉडल्स के प्रशिक्षण को उनके हिडन स्टेट्स (hidden states) को एक फ्रोजन ऑटोरेग्रेसिव मॉडल के हिडन स्टेट्स के साथ संरेखित करके त्वरित करती है, जिससे सीखे गए सिमेंटिक रिप्रेजेंटेशन्स (semantic representations) को संरक्षित किया जा सके और बिना किसी आर्किटेक्चरल बदलाव या अतिरिक्त पैरामीटर्स के कुशल अनुकूलन को सक्षम बनाया जा सके।

मूल लेखक: Fred Zhangzhi Peng, Alexis Fox, Anru R. Zhang, Alexander Tong

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fred Zhangzhi Peng, Alexis Fox, Anru R. Zhang, Alexander Tong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Don't Retrain—Align" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: नया घर न बनाएँ; पुराने को ही नया रूप दें (Remodel)

कल्पना कीजिए कि आपके पास एक मास्टर आर्किटेक्ट (Autoregressive Model) है, जिसने वर्षों तक ईंट-दर-ईंट, नींव से लेकर छत तक घर बनाना सीखा है। यह आर्किटेक्ट अविश्वसनीय रूप से बुद्धिमान है और जानता है कि ईंट कहाँ रखनी है, खिड़की कहाँ लगानी है, और छत को कैसे टिकाना है। वर्तमान के अधिकांश AI भाषा मॉडल इसी तरह काम करते हैं: वे बाएं से दाएं, एक-एक करके वाक्य में अगला शब्द अनुमानित (predict) करते हैं।

अब, कल्पना कीजिए कि आप एक पूरी तरह से अलग तरीके से घर बनाना चाहते हैं: Diffusion। ईंट-दर-ईंट बनाने के बजाय, आप कचरे के ढेर (शोर/noise) से शुरुआत करते हैं और धीरे-धीरे उस गंदगी को साफ करते हुए, उसे एक बेहतरीन घर में बदल देते हैं। आप नींव से पहले छत ठीक कर सकते हैं, या दीवार के बीच में खिड़की जोड़ सकते हैं। यह कुछ कार्यों के लिए तेज़ और अधिक लचीला है, लेकिन एक नए AI को यह सब शुरू से सिखाना बहुत महंगा होता है।

समस्या:
आमतौर पर, "ईंट-दर-ईंट" बनाने वाले आर्किटेक्ट को "कचरा साफ करने वाले" आर्किटेक्ट में बदलने के लिए, शोधकर्ता पुराने ब्लूप्रिंट्स को ले जाते हैं, सीखी गई अधिकांश जानकारी को हटा देते हैं, और AI को शून्य से कचरा साफ करना सिखाने की कोशिश करते हैं। यह मास्टर आर्किटेक्ट को नौकरी से निकालने और एक नई टीम को शून्य से घर बनाना सिखाने जैसा है। इसमें बहुत समय, पैसा और डेटा लगता है।

समाधान (REPR-ALIGN):
इस शोध पत्र के लेखकों ने एक सरल प्रश्न पूछा: हम आर्किटेक्ट के ज्ञान को क्यों फेंक दें?

उन्होंने महसूस किया कि घर बनाने का "ज्ञान" (भाषा की संरचना, व्याकरण और अर्थ) वही रहता है, चाहे आप इसे बाएं-से-दाएं बनाएँ या कचरे को साफ करके। केवल निर्माण की विधि बदलती है।

इसलिए, AI को फिर से प्रशिक्षित (retrain) करने के बजाय, उन्होंने यह किया:

मास्टर आर्किटेक्ट को स्थिर (Frozen) रखें: उन्होंने मूल, अत्यधिक प्रशिक्षित "ईंट-दर-ईंट" मॉडल को लिया और उसे 'फ्रीज' कर दिया। वह कुछ भी नया नहीं सीख सकता; वह बस एक आदर्श संदर्भ (reference) के रूप में वहीं बैठा रहता है।
एक जुड़वां (Twin) बनाएँ: उन्होंने बिल्कुल उसी मस्तिष्क संरचना वाला एक जुड़वां मॉडल बनाया, लेकिन यह जुड़वां मॉडल "कचरा साफ करने" (diffusion) के काम के लिए तैयार किया गया है।
एलाइनमेंट (Alignment) की तकनीक: जैसे ही जुड़वां मॉडल कचरा साफ करना सीखता है, शोधकर्ता लगातार उसके कान में फुसफुसाते हैं: "हे, देखो कि मास्टर आर्किटेक्ट अभी क्या सोच रहा है। सुनिश्चित करो कि तुम्हारे विचार उसके विचारों से मेल खाते हों।"

वे गणितीय "कोसाइन सिमिलरिटी" (यह मापने का एक तरीका कि दो दिशाएँ कितनी करीब हैं) का उपयोग करते हैं ताकि जुड़वां मॉडल के आंतरिक विचारों को हर स्तर पर फ्रीज किए गए मास्टर के विचारों के साथ संरेखित (align) किया जा सके।

परिणाम: तेज़, सस्ता और स्मार्ट

"रिट्रेनिंग" के बजाय इस "एलाइनमेंट" को करने से, इस शोध पत्र ने कुछ अद्भुत परिणाम पाए:

गति: नए मॉडल ने नया निर्माण तरीका शुरू से सीखने की तुलना में 4 गुना तेज़ी से सीखा।
कम डेटा की आवश्यकता: आमतौर पर, डिफ्यूजन मॉडल को सिखाने के लिए भारी मात्रा में डेटा की आवश्यकता होती है। लेकिन क्योंकि यह मॉडल स्मार्ट मास्टर आर्किटेक्ट से "जुड़ा" हुआ है, यह बहुत कम डेटा के साथ भी प्रभावी ढंग से सीख सकता है (जैसे कि एक ऐसे को-पायलट के साथ ड्राइविंग सीखना जो रास्ता पूरी तरह जानता हो)।
बेहतर प्रदर्शन: परिणामी मॉडल (oDLM) ने कोडिंग कार्यों में उन अन्य बड़े मॉडलों से बेहतर प्रदर्शन किया जो शून्य से प्रशिक्षित किए गए थे या अन्य तरीकों से बनाए गए थे, भले ही इसमें कम कंप्यूटर संसाधनों का उपयोग किया गया था।

"फ्रीजिंग" का बोनस

शोध पत्र में यह भी पता चला कि चूंकि "ज्ञान" पहले से ही फ्रीज किए गए मास्टर में सुरक्षित है, इसलिए आपको नए जुड़वां के मस्तिष्क के हर हिस्से को अपडेट करने की आवश्यकता नहीं है। आप भारी हिस्सों (जैसे शब्दावली और तर्क केंद्रों) को फ्रीज कर सकते हैं और केवल "अटेंशन" (attention) वाले हिस्सों को सीखने दे सकते हैं। यह गुणवत्ता खोए बिना प्रशिक्षण प्रक्रिया को दोगुना तेज़ बना देता है।

सारांश

इसे इस तरह समझें:

पुराना तरीका: विशेषज्ञ को निकाल दें, एक नौसिखिया रखें, और उन्हें सब कुछ शून्य से सिखाने में वर्षों बिताएं।
नया तरीका (यह शोध पत्र): विशेषज्ञ को फोन पर रखें। नौसिखिए को नया काम करने दें, लेकिन उसे वास्तविक समय में विशेषज्ञ की विचार प्रक्रिया की नकल करने के लिए मजबूर करें।

यह शोध पत्र सिद्ध करता है कि आपको यह फिर से सीखने की आवश्यकता नहीं है कि भाषा क्या है; आपको बस इसे एक अलग क्रम में कैसे उत्पन्न किया जाए, यह सीखना है। नए मॉडल को पुराने मॉडल के साथ संरेखित करके, आप दोनों का सर्वश्रेष्ठ प्राप्त करते हैं: पुराने मॉडल का गहरा ज्ञान और नए तरीके का लचीलापन, वह भी बहुत कम लागत पर।

तकनीकी सारांश: पुनः प्रशिक्षण न दें—संरेखित करें: डिफ्यूजन LM को रिप्रेजेंटेशन अलाइनमेंट के माध्यम से ऑटोरेग्रेसिव LM के अनुकूल बनाना

समस्या विवरण

डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) मानक ऑटोरेग्रेसिव (AR) मॉडल्स की तुलना में विशिष्ट लाभ प्रदान करते हैं, विशेष रूप से गैर-अनुक्रमिक पीढ़ी (non-sequential generation), द्विदिश संपादन (bidirectional editing), और पुनरावृत्त परिशोधन (iterative refinement) में। हालाँकि, DLMs को स्केल करना गणनात्मक रूप से महंगा है। सैद्धांतिक रूप से, AR मॉडल्स के एकल बाएं-से-दाएं पथ की तुलना में DLMs को $L!$ जनरेशन पाथ्स सीखने की आवश्यकता होती है, जिसके लिए अक्सर काफी अधिक कंप्यूट की आवश्यकता होती है।

हाल के दृष्टिकोण पूर्व-प्रशिक्षित (pretrained) AR चेकपॉइंट्स को DLMs में परिवर्तित करने के लिए लागत को कम करने का प्रयास करते हैं। जबकि ये विधियाँ AR वेट्स से DLMs को सफलतापूर्वक इनिशियलाइज़ करती हैं, वे मुख्य रूप से ऑब्जेक्टिव्स, अटेंशन पैटर्न, या सैंपलिंग कन्वेंशन में संशोधनों के साथ निरंतर डिनोइजिंग ट्रेनिंग (denoising training) पर निर्भर करती हैं। महत्वपूर्ण रूप से, मौजूदा रेसिपी यह स्पष्ट रूप से बाध्य नहीं करती हैं कि परिवर्तित DLM को मूल AR प्रीट्रेनिंग के दौरान सीखे गए आंतरिक प्रतिनिधित्व ज्यामिति (internal representation geometry) को संरक्षित करना चाहिए। यह एक केंद्रीय प्रश्न खड़ा करता है: क्या यह आवश्यक है कि AR और DLM को अलग-अलग प्रतिमानों (paradigms) के रूप में माना जाए जिन्हें भाषा प्रतिनिधित्व को फिर से सीखने की आवश्यकता है, या क्या AR प्रीट्रेनिंग द्वारा सीखे गए सिमेंटिक स्ट्रक्चर को रूपांतरण के दौरान स्पष्ट रूप से संरक्षित किया जा सकता है?

कार्यप्रणाली: REPR-ALIGN

लेखक REPR-ALIGN प्रस्तावित करते हैं, जो एक न्यूनतम अनुकूलन विधि है जो DLM ट्रेनिंग को प्रतिनिधित्व सीखने (representation learning) के बजाय एक अलाइनमेंट समस्या के रूपas मानती है। मूल परिकल्पना यह है कि भाषा निर्माण का "कठिन हिस्सा" सिमेंटिक और सिंटैक्टिक संरचनाओं (प्रतिनिधित्व) को सीखना है, जिसे AR प्रीट्रेनिंग पहले ही मास्टर कर चुकी है। शेष कार्य केवल इन फीचर्स को एक पुनरावृत्त, किसी भी क्रम (any-order) के डिकोडिंग तंत्र के अनुकूल बनाना है।

इस विधि में समान आर्किटेक्चर वाले दो मॉडल शामिल हैं:

टीचर (Teacher): एक फ्रोजन, प्री-ट्रेंड ऑटोरेग्रेसिव (AR) ट्रांसफार्मर जिसमें कॉज़ल अटेंशन (causal attention) है।
स्टूडेंट (Student): एक मास्कड डिफ्यूजन लैंग्वेज मॉडल (DLM) जिसमें द्विदिश (bidirectional) अटेंशन है, जिसे उन्हीं AR वेट्स से इनिशियलाइज़ किया गया है।

प्रशिक्षण प्रक्रिया

प्रशिक्षण के दौरान, स्टूडेंट मॉडल एक दूषित अनुक्रम (corrupted sequence - जिसमें टोकन मास्क किए गए हैं) का उपभोग करता है और मास्क किए गए टोकन्स को प्रेडिक्ट करने का प्रयास करता है। साथ ही, फ्रोजन टीचर मॉडल कॉज़ल अटेंशन के तहत क्लीन अनुक्रम को प्रोसेस करता है।

AR मॉडल की आंतरिक ज्यामिति को संरक्षित करने के लिए, लेखक एक लेयर-वाइज़ रिप्रेजेंटेशन अलाइनमेंट लॉस पेश करते हैं। ट्रांसफार्मर स्टैक में प्रत्येक लेयर $\ell$ के लिए, स्टूडेंट के हिडन स्टेट्स ( $h^{(\ell)}_D$ ) को टीचर के हिड्स स्टेट्स ( $h^{(\ell)}_{AR}$ ) के साथ कोसाइन सिमिलरिटी लॉस का उपयोग करके अलाइन किया जाता है।

कुल ट्रेनिंग ऑब्जेक्टिव है:
$\mathcal{L}(\theta) = \mathcal{L}_{diff}(\theta) + \lambda \mathcal{L}_{align}(\theta)$
जहाँ:

$\mathcal{L}_{diff}$ मानक मास्कड डिनोइजिंग क्रॉस-एन्ट्रॉपी लॉस है।
$\mathcal{L}_{align}$ सभी लेयर्स और मास्क किए गए पोजीशंस में स्टूडेंट और टीचर हिडन स्टेट्स के बीच औसत कोसाइन डिस्टेंस है।
$\lambda$ एक वेटिंग हाइपरपैरामीटर (डिफ़ॉल्ट 10) है।

मुख्य डिज़ाइन विकल्प:

कोई एडॉप्टर नहीं (No Adapters): इस विधि के लिए कॉज़ल अटेंशन मास्क को द्विदिश में बदलने के अलावा किसी अतिरिक्त पैरामीटर या आर्किटेक्चरल बदलाव की आवश्यकता नहीं है।
फ्रोजन टीचर: AR टीचर फ्रोजन रहता है, जो एक स्थिर रिप्रेसेंटेशनल कोऑर्डिनेट सिस्टम प्रदान करता है।
शिफ्ट कन्वेंशन: यह विधि नेक्स्ट-टोकन इंडेक्सिंग और पोजीशन-वाइज़ डिनोइजिंग के बीच सामंजस्य बिठाने के लिए उपयोग किए जाने वाले मानक शिफ्ट कन्वेंशन का पालन करती है।

मुख्य योगदान

प्रतिनिधित्व संरक्षण की पहचान: पेपर यह पहचानता है कि AR मॉडल की आंतरिक प्रतिनिधित्व ज्यामिति को स्पष्ट रूप से संरक्षित करना वर्तमान AR→DLM रूपांतरण रेसिपी में एक गायब घटक है।
एक न्यूनतम रूपांतरण रेसिपी: REPR-ALIGN एक सरल, एडॉप्टर-फ्री विधि पेश करता है जो लेयर-वाइज़ कोसाइन अलाइनमेंट के माध्यम से फ्रोजन AR टीचर को DLM स्टूडेंट से बांधता है। यह दृष्टिकोण मॉडल स्केल्स में रूपांतरण की गुणवत्ता और सैंपल एफिशिएंसी में सुधार करता है।
डेटा और कंप्यूट में दक्षता: लेखक प्रदर्शित करते हैं कि AR→DLM रूपांतरण स्वाभाविक रूप से डेटा-हंग्री नहीं है। अलाइनमेंट के साथ, 0.8B टोकन के बहुत छोटे डेटा सबसेट पर ट्रेनिंग करने से समान स्टेप बजट के तहत पूरे डेटासेट (50B टोकन) पर ट्रेनिंग करने से बेहतर प्रदर्शन प्राप्त होता है। इसके अलावा, बड़े ब्लॉक्स (एम्बेडिंग्स और MLPs) को फ्रीज़ करने से गुणवत्ता में गिरावट के बिना ट्रेनिंग थ्रूपुट में 2 $\times$ तक सुधार होता है।
स्केल-अप वैलिडेशन: लेखकों ने इस रेसिपी का उपयोग करके एक 4B पैरामीटर वाला "oDLM" प्रशिक्षित किया। Dream-7B (एक मजबूत पब्लिक DLM जो AR इनिशियलाइजेशन पर बना है) की तुलना में, oDLM ने कम पैरामीटर्स और काफी हल्के डेटा-एंड-कंप्यूट बजट के बावजूद बेहतर HumanEval और HumanEval+ pass@10 स्कोर प्राप्त किया।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन Qwen3 चेकपॉइंट्स के 0.6B, 1.7B, और 4B स्केल्स का उपयोग करके कोड जनरेशन बेंचमार्क (HumanEval, HumanEval+, MBPP, MBPP+) पर किया गया।

अनुकूलन गति (Adaptation Speed): REPR-ALIGN ने लगातार अनुकूलन को तेज किया। HumanEval pass@10 पर, अलाइन्ड मॉडल ने शुरुआती रूपांतरण के दौरान ही बेसलाइन की तुलना में AR फाइन-ट्यूनिंग और स्क्रैच ट्रेनिंग दोनों को पीछे छोड़ दिया। 200k स्टेप्स पर, 0.6B मॉडल ने बेसलाइन की तुलना में 6.1 पॉइंट और 1.7B मॉडल ने 9.4 पॉइंट की बढ़त देखी।
स्केलिंग: अलाइनमेंट के लाभ मॉडल के आकार के साथ बढ़ते गए। 1.7B मॉडल ने 0.6B मॉडल की तुलना में अधिक एब्सोल्यूट सुधार दिखाया, जो यह सुझाव देता है कि बड़े AR प्रीट्रेनिंग ज्योमेट्री को संरक्षित करना अधिक मूल्यवान है।
डेटा दक्षता: अलाइनमेंट के साथ 0.8B-टोकन के रैंडम सबसैंपल पर ट्रेनिंग करने से समान स्टेप काउंट पर पूरे 50B-टोकन स्ट्रीम की तुलना में उच्च pass@10 स्कोर प्राप्त हुआ।
फ्रीजिंग: टोकन एम्बेडिंग्स और MLP ब्लॉक्स को फ्रीज़ करने से प्रदर्शन को बनाए रखते हुए या थोड़ा सुधारते हुए थ्रूपुट में $\sim$ 2 $\times$ की वृद्धि हुई, जो इस विचार का समर्थन करता है कि प्राथमिक लर्निंग सिग्नल प्रतिनिधित्व को फिर से सीखने में नहीं, बल्कि डिनोइजिंग मैकेनिज्म को अनुकूलित करने में है।
एब्लेशन (Ablations):
- मेट्रिक: कोसाइन अलाइनमेंट ने L2 डिस्टेंस को पछाड़ दिया, जिससे पता चलता कि उपयोगी सिग्नल ज्यामितीय (दिशा) है न कि मेट्रिक (परिमाण)।
- वेट: $\lambda=10$ ने एंकरिंग और एडैप्टेशन के बीच इष्टतम संतुलन प्रदान किया।
- लेयर्स: सभी लेयर्स को अलाइन करने से सर्वश्रेष्ठ pass@1 मिला, जबकि मिडिल और अपर लेयर्स pass@10 के लिए विशेष रूप से महत्वपूर्ण थीं।

महत्व और दावे

पेपर का दावा है कि भाषाई प्रतिनिधित्व (linguistic representations) जनरेशन के क्रम के बावजूद सार्वभौमिक होते हैं। DLM ट्रेनिंग को एक अलाइनमेंट समस्या के रूप में बदलकर, लेखक तर्क देते हैं कि डिफ्यूजन प्रीट्रेनिंग की उच्च लागत काफी हद तक उन अनावश्यक प्रतिनिधित्वों को फिर से सीखने के कारण है जो AR प्रीट्रेनिंग पहले ही प्रदान कर चुकी है।

इस कार्य का महत्व एक ऐसी "गो-टू तकनीक" प्रदान करने में है जो डिफ्यूजन लैंग्वेज मॉडल को प्रशिक्षित करती है जो:

कंप्यूट को कम करती है: मानक प्रीट्रेनिंग लागत के एक अंश के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करती है।
ट्रेनिंग को सरल बनाती है: जटिल एडॉप्टर्स या भारी फाइन-ट्यूनिंग की आवश्यकता को समाप्त करती है, इसके बजाय एक सरल अलाइनमेंट ऑब्जेक्टिव पर निर्भर करती है।
पहुंच का लोकतंत्रीकरण करती है: उच्च-गुणवत्ता वाली DLM ट्रेनिंग को लो-डेटा रिजीम और सीमित कंप्यूट संसाधनों के साथ भी व्यवहार्य बनाती है।

लेखक अपने कार्य को "री-ट्रेनिंग" से "अलाइनिंग" की ओर एक बदलाव के रूप में देखते हैं, यह सुझाव देते हुए कि भविष्य की डिस्क्रीट जनरेशन में प्रगति नए सिरे से ट्रेनिंग के बजाय बेहतर मैकेनिज्म अलाइनमेंट से आ सकती है।