💬 NLP

AR-MAP: Are Autoregressive Large Language Models Implicit Teachers for Diffusion Large Language Models?

यह शोध पत्र AR-MAP का प्रस्ताव करता है, जो एक नवीन ट्रांसफर लर्निंग फ्रेमवर्क है जो सरल वेट स्केलिंग (weight scaling) के माध्यम से डिफ्यूजन LLMs को प्रभावी ढंग से अलाइन करने के लिए प्रेफरेंस-अलाइन्ड ऑटो-रिग्रेसिव LLMs को इम्पलिसिट टीचर्स के रूप में उपयोग करता है, जिससे डायरेक्ट अलाइनमेंट की उच्च वेरिएंस और कम्प्यूटेशनल ओवरहेड से बचा जा सकता है और बेहतर प्रदर्शन प्राप्त किया जा सकता है।

मूल लेखक: Liang Lin, Feng Xiong, Zengbin Wang, Kun Wang, Junhao Dong, Xuecai Hu, Yong Wang, Xiangxiang Chu

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liang Lin, Feng Xiong, Zengbin Wang, Kun Wang, Junhao Dong, Xuecai Hu, Yong Wang, Xiangxiang Chu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ AR-MAP पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके दिया गया विवरण है।

बड़ी तस्वीर: लिखने के दो अलग तरीके

कल्पना कीजिए कि दो अलग-अलग प्रकार के लेखक एक कहानी लिखने की कोशिश कर रहे हैं:

"ऑटोरिग्रेसिव" लेखक (AR-LLM): यह लेखक एक सख्त उपन्यासकार की तरह है जो एक समय में एक शब्द, बाएं से दाएं लिखता है। वे वर्तमान शब्द को पूरा किए बिना अगला शब्द नहीं लिख सकते। वे बहुत तेज़, बहुत स्थिर हैं, और निर्देशों का पालन करने में माहिर हैं (जैसे "सहायक बनें" या "सच बोलें")।
"डिफ्यूजन" लेखक (DLLM): यह लेखक एक चित्रकार की तरह है जो शोर (static noise/रैंडम स्क्रिबल्स) से भरे कैनवास से शुरू करता है और धीरे-धीरे उसे साफ करके एक तस्वीर प्रकट करता है। वे कहानी के कई हिस्सों पर एक साथ काम कर सकते हैं (पैरेलल जनरेशन), जो संभावित रूप से बहुत तेज़ है। हालाँकि, क्योंकि वे शोर को "साफ" कर रहे हैं, उनकी प्रक्रिया अव्यवस्थित और अप्रत्याशित होती है। वे अक्सर विशिष्ट निर्देशों या प्राथमिकताओं का पालन करने में संघर्ष करते हैं क्योंकि उनकी "सफाई" की प्रक्रिया बहुत अधिक भ्रम (variance) पैदा करती है।

समस्या

"डिफ्यूजन" लेखक इसलिए शानदार हैं क्योंकि वे तेज़ी से लिख सकते हैं, लेकिन उन्हें "अच्छा" (सहायक, सत्यवादी, सुरक्षित) बनाना कठिन है। उन्हें सीधे सिखाने की कोशिश करना एक चित्रकार को एक सख्त रेसिपी का पालन करने के लिए सिखाने जैसा है, जबकि वह अभी भी पेंट के छींटों से ढका हुआ है। यह महंगा, धीमा और परिणाम अक्सर असंगत होते हैं।

समाधान: AR-MAP (द "इम्प्लिसिट टीचर")

शोधकर्ताओं ने एक सरल प्रश्न पूछा: "क्या हम 'डिफ्यूजन' लेखक को फिर से शुरू से प्रशिक्षित किए बिना, 'ऑटोरिग्रेसिव' लेखक (जो पहले से ही नियमों का पालन करने में अच्छा है) का उपयोग उसे सिखाने के लिए कर सकते हैं?"

उन्होंने पाया कि उत्तर हाँ है, लेकिन एक ट्विस्ट के साथ। उन्होंने AR-MAP नामक एक विधि बनाई।

यह कैसे काम करता है, एक उपमा का उपयोग करते हुए यहाँ दिया गया है:

1. "सीक्रेट सॉस" (टास्क वेक्टर्स)

कल्पना कीजिए कि "ऑटोरग्रेसिव" लेखक के पास एक विशेष रेसिपी कार्ड है जो उसे सहायक बनना सिखाता है। AI की दुनिया में, यह रेसिपी मॉडल के नंबरों (वेट्स/weights) के अंदर छिपी होती है।

शोधकर्ताओं ने एक मानक "ऑटोरिग्रेसिव" मॉडल लिया।
उन्होंने इसे सहायक बनने के लिए सिखाया (DPO नामक एक विधि का उपयोग करके)।
फिर उन्होंने "पहले" और "बाद" के वेट्स के बीच के अंतर को देखा। यह अंतर एक "टास्क वेक्टर" की तरह है—सहायक होने के निर्देश का एक विशिष्ट सेट।

2. "अनुवाद" की समस्या

शोधकर्ताओं ने इस "टास्क वेक्टर" (सहायकता की रेसिपी) को लेने और इसे सीधे "डिफ्यूजन" लेखक पर पेस्ट करने की कोशिश की।

परिणाम: यह ठीक से काम नहीं किया। डिफ्यूजन लेखक इतना "शोर भरा" और अराजक था कि छोटी सी रेसिपी शोर में खो गई। यह किसी व्यक्ति को भारी नॉइज़-कैंसलिंग हेडफ़ोन पहने हुए एक रहस्य बताने जैसा था।

3. "वॉल्यूम नॉब" (वेट स्केलिंग)

शोधकर्ताओं ने पाया कि डिफ्यूजन लेखक इतना शोर मचा रहा है (उच्च वेरिएंस) कि "सहायकता" का संकेत सुनने के लिए बहुत धीमा है।

सुधार: उन्होंने पाया कि उन्हें सहायता की रेसिपी का वॉल्यूम बढ़ाना पड़ा। उन्हें "टास्क वेक्टर" को एक विशिष्ट संख्या (स्केलिंग फैक्टर) से गुणा करना पड़ा ताकि यह डिफ्यूजन लेखक के शोर को चीरते हुए सुनाई दे सके।
खोज: उन्होंने पाया कि विभिन्न प्रकार के कार्यों के लिए अलग-अलग वॉल्यूम स्तरों की आवश्यकता होती है।
- गणित के कार्यों के लिए कम वॉल्यूम की आवश्यकता होती है (यदि आप इसे बहुत अधिक बढ़ाते हैं, तो मॉडल टूट जाता है)।
- क्रिएटिव राइटिंग कार्यों के लिए उच्च वॉल्यूम की आवश्यकता होती है (मॉडल की शैली बदलने के लिए आपको निर्देशों पर चिल्लाना पड़ता है)।

4. "स्मार्ट सर्च" (सही वॉल्यूम खोजना)

वॉल्यूम का अनुमान लगाने के बजाय, AR-MAP विधि एक स्मार्ट सर्च एल्गोरिदम का उपयोग करती है। यह उदाहरणों के एक छोटे बैच पर विभिन्न वॉल्यूम स्तरों का परीक्षण करती है और उस एक को चुनती है जो मॉडल को सबसे अधिक प्रश्नों के सही उत्तर देने में मदद करता है। यह एक साउंड इंजीनियर की तरह है जो गेन (gain) को तब तक एडजस्ट करता है जब तक कि संगीत एकदम सही न सुनाई देने लगे।

परिणाम

पेपर का दावा है कि इस विधि का उपयोग करके:

"डिफ्यूजन" लेखकों ने सीधे प्रशिक्षण की तुलना में बहुत तेज़ी से और बेहतर तरीके से सहायक, सत्यवादी और निर्देशों का पालन करना सीखा।
उन्होंने विभिन्न परीक्षणों (जैसे गणित, सत्यनिष्ठा और सहायता) पर शीर्ष स्कोर प्राप्त किया, जो अक्सर उन अन्य तरीकों को भी पीछे छोड़ देते हैं जिनमें महंगा, सीधा प्रशिक्षण आवश्यक होता है।
उन्होंने साबित किया कि "ऑटोरिग्रेसिव" लेखक एक इम्प्लिसिट टीचर के रूप में कार्य करता है, जो केवल अपने वेट अंतरों को साझा करके और स्केल करके डिफ्यूजन लेखक को ज्ञान हस्तांतरित करता है।

सारांश उपमा

सोचिए कि ऑटोरिग्रेसिव मॉडल एक मास्टर शेफ है जो जानता है कि एक आदर्श भोजन कैसे पकाया जाता है।
सोचिए कि डिफ्यूजन मॉडल एक अराजक रसोई है जहाँ सामग्री हर तरफ उड़ रही है, और शेफ आँखों पर पट्टी बांधकर खाना पकाने की कोशिश कर रहा है।

AR-MAP मास्टर शेफ की सटीक रेसिपी (वेट डिफरेंस) को बड़े, बोल्ड अक्षरों में प्रिंट करने (स्केल अप करने) और उसे उस अराजक रसोई को सौंपने की प्रक्रिया है। अराजक रसोई अब बिना किसी नए शेफ को नियुक्त किए या पट्टी बांधकर खाना बनाने वाले कुक को वर्षों तक प्रशिक्षित किए बिना, उस रेसिपी का पूरी तरह से पालन कर सकती है।

मुख्य निष्कर्ष: आपको डिफ्यूजन मॉडल को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस ऑटोरिग्रेसिव मॉडल से "ज्ञान" उधार लेना है, उस ज्ञान का वॉल्यूम बढ़ाना है, और उसे पेस्ट कर देना है।

तकनीकी सारांश: AR-MAP

समस्या विवरण

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (DLLMs) ऑटोरिग्रेसिव (AR) मॉडल्स के एक आशाजनक विकल्प के रूप में उभर रहे हैं, जो समानांतर टोकन जनरेशन (parallel token generation) को सक्षम करते हैं, जिससे इन्फरेंस दक्षता में काफी सुधार होता है। हालांकि, DLLMs को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करना एक महत्वपूर्ण बाधा बना हुआ है। AR मॉडल्स के विपरीत, DLLMs प्रशिक्षण के लिए एविडेंस लोअर बाउंड (ELBO) लाइकलीहुड एस्टीमेशन पर निर्भर करते हैं। यह दृष्टिकोण दो मौलिक चुनौतियाँ पेश करता है:

उच्च विचलन (High Variance): ELBO में टाइम स्टेप्स और मास्क किए गए डेटा पर नेस्टेड एक्सपेक्टेशन शामिल है, जिसके लिए दोहरे स्टोकेस्टिक मोंटे कार्लो एस्टीमेशन की आवश्यकता होती है। यह प्रिफरेंस ऑप्टिमाइजेशन (जैसे, DPO) को अस्थिर कर देता है।
कंप्यूटेशनल ओवरहेड (Computational Overhead): इस विचलन को कम करने के लिए मौजूदा तरीके (जैसे, VRPO में डिकोडिंग टाइम स्टेप्स बढ़ाना) अत्यधिक कंप्यूटेशनल लागत वहन करते हैं, जो डिफ्यूजन प्रतिमान (paradigm) के दक्षता लाभों को समाप्त कर देते हैं।

परिणामस्वरूप, DLLM अलाइनमेंट में जनरेशन क्वालिटी और कंप्यूटेशनल कॉस्ट के बीच एक इष्टतम संतुलन प्राप्त करना एक अनसुलझी चुनौती बनी हुई है।

कार्यप्रणाली: AR-MAP

लेखक AR-MAP (डिफ्यूजन लार्ज लैंग्वेज मॉडल्स के लिए इम्प्लिसिट टीचर्स के रूप में ऑटोरिग्रेसिव लार्ज लैंग्वेज मॉडल्स) प्रस्तावित करते हैं, जो एक ट्रांसफर लर्निंग फ्रेमवर्क है। यह सीधे, उच्च-विचलन वाले डिफ्यूजन मॉडल प्रशिक्षण के बिना, प्रिफरेंस-अलाइन्ड AR-LLMs का उपयोग करके DLLM अलाइनमेंट को निर्देशित करता है।

मुख्य अवधारणा

यह फ्रेमवर्क इस परिकल्पना पर आधारित है कि AR-LLMs, जिन्हें कुशलतापूर्वक और नियत रूप से (deterministically) प्रशिक्षित किया जाता है, मजबूत प्रिफरेंस अलाइनमेंट ज्ञान रखते हैं जिसे DLLMs में स्थानांतरित किया जा सकता है। यह विधि एक बेस AR-LLM और उसके प्रिफरेंस-अलाइन्ड संस्करण के बीच वेट डिफरेंस (weight difference) को एक "टास्क वेक्टर" के रूप में मानती है। इस वेक्टर को फिर एक DLLM में स्थानांतरित किया जाता है।

मुख्य चरण

टास्क वेक्टर निष्कर्षण (Task Vector Extraction):
- एक AR-LLM को मानक DPO का उपयोग करके एक अलाइन्ड AR मॉडल ( $W_{AR}^{aligned}$ ) बनाने के लिए फाइन-ट्यून किया जाता है।
- एक टास्क वेक्टर ( $\tau_{pref}$ ) की गणना अलाइन्ड AR वेट्स और बेस AR वेट्स के अंतर के रूप में की जाती है: $\tau_{pref} = W_{AR}^{aligned} - W_{AR}$ ।
- इसी तरह, एक डिफ्यूजन एडैप्टेशन वेक्टर ( $\tau_{diffusion}$ ) बेस AR वेट्स और बेस DLLM वेट्स के अंतर से प्राप्त किया जाता है।
स्पेक्ट्रल विश्लेषण और स्केलिंग लॉ (Spectral Analysis and Scaling Law):
- सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से, लेखक एक "स्पेक्ट्रल शैडोइंग" (Spectral Shadowing) घटना देखते हैं: डिफ्यूजन एडैप्टेशन वेक्टर ( $\tau_{diffusion}$ ) के स्पेक्ट्रल नॉर्म्स, प्रिफरेंस अलाइनमेंट वेक्टर ( $\tau_{pref}$ ) के तुलना में कई गुना अधिक बड़े होते हैं।
- बिना हस्तक्षेप के, बड़े डिफ्यूजन वेट्स छोटे प्रिफरेंस सिग्नल को "शैडो" (दबा) देते हैं, जिससे ट्रांसफर अप्रभावी हो जाता है।
- समाधान: मर्ज करने से पहले सिग्नल-टू-नॉइज़ रेशियो को बढ़ाने के लिए प्रिफरेंस टास्क वेक्टर को महत्वपूर्ण रूप से स्केल ( $\gamma \cdot \tau_{pref}$ ) किया जाना चाहिए।
रिवॉर्ड-आधारित सर्च एल्गोरिदम (Reward-Based Search Algorithm):
- $\gamma$ के इष्टतम मान को निर्धारित करने के लिए, लेखक एक रिवॉर्ड-ड्रिवन सर्च स्ट्रैटेजी प्रस्तावित करते हैं।
- जटिल लाइकलीहुड एस्टीमेशन पर निर्भर रहने के बजाय, एल्गोरिदम उस $\gamma$ की खोज करता है जो बैच रिवॉर्ड एक्यूरेसी (Batch Reward Accuracy) को अधिकतम करता है। यह मीट्रिक इस बात को मापता है कि मर्ज किया गया मॉडल कितनी निरंतरता के साथ एक सैम्पल किए गए ट्रेनिंग बैच पर पसंदीदा प्रतिक्रियाओं ( $y_w$ ) को नापसंद की गई प्रतिक्रियाओं ( $y_l$ ) की तुलना में उच्च इम्प्लिसिट रिवॉर्ड प्रदान करता है।
- इष्टतम $\gamma$ को पेयरवाइज डिस्क्रिमिनेशन क्षमता को अधिकतम करने के लिए चुना जाता है: $\hat{\gamma} = \arg \max_{\gamma} \frac{1}{|B|} \sum I[r_\gamma(x, y_w) > r_\gamma(x, y_l)]$ ।
वेट ट्रांसफर (Weight Transfer):
- फाइनल DLLM वेट्स को स्केल किए गए प्रिफरेंस टास्क वेक्टर को बेस DLLM के साथ मर्ज करके प्राप्त किया जाता है: $W_{DLLM}^{final} \approx W_{DLLM} + \gamma \cdot \tau_{pref}$ ।

मुख्य योगदान

वेट मैपिंग का अनावरण: यह पेपर अलग-अलग आर्किटेक्चर (AR-LLMs और DLLMs) के बीच वेट मैपिंग संबंध का पहला प्रमाण प्रदान करता है, जो दर्शाता है कि अलाइनमेंट नॉलेज को वेट इंटरपोलेशन के माध्यम से स्थानांतरित किया जा सकता है।
कुशल अलाइनमेंट फ्रेमवर्क (AR-MAP): लेखक एक नया फ्रेमवर्क पेश करते हैं जो DLLMs के उच्च-विचलन वाले ELBO प्रशिक्षण को दरकिनार करता है। AR-LLMs (जो स्थिर और कुशल हैं) को प्रशिक्षित करके और उनके टास्क वेक्टर्स को ट्रांसफर करके, AR-MAP न्यूनतम कंप्यूटेशनल ओवरहेड के साथ अलाइनमेंट प्राप्त करता है।
स्पेक्ट्रल शैडोइंग और स्केलिंग लॉ: यह कार्य "स्पेक्ट्रल शैडोइंग" प्रभाव की पहचान करता है जहाँ डिफ्यूजन वेट्स प्रिफरेंस सिग्नल्स पर हावी हो जाते हैं। यह टास्क वेक्टर्स को स्केल करने की आवश्यकता को स्थापित करता है और स्वचालित रूप से इष्टतम स्केलिंग फैक्टर निर्धारित करने के लिए एक रिवॉर्ड-आधारित सर्च एल्गोरिदम प्रस्तावित करता है।
अन्वेषणात्मक निष्कर्ष: प्रयोगों से पता चलता है कि अवशोषण (absorption) की डिग्री डोमेन के अनुसार भिन्न होती है। AR-MAP लॉजिकल रीजनिंग के लिए एक "प्रिजर्वेशन मोड" (रूढ़िवादी लाभ) के रूप में कार्य करता है, लेकिन ओपन-एंडेड जनरेशन के लिए एक "सिग्निफिकेंट एनहांसमेंट" इंजन के रूप में कार्य करता है, जो प्रभावी रूप से डिफ्यूजन मॉडल्स में प्रिफरेंस रिक्तियों (voids) को भरता है।

प्रयोगात्मक परिणाम

लेखकों ने SDAR-8B और Dream-7B जैसे मॉडल्स का उपयोग करके छह कार्यों (Truthfulness, Helpfulness, Math Reasoning) में AR-MAP का मूल्यांकन किया।

प्रदर्शन: AR-MAP ने सभी कार्यों और मॉडल्स में औसतन 69.08% स्कोर प्राप्त किया, जो मौजूदा DLLM-विशिष्ट अलाइनमेंट विधियों से बेहतर है।
- SDAR-8B बैकबोन पर, AR-MAP ने 72.23 प्राप्त किया, जो VRPO (70.32) से बेहतर है, जो विचरण (variance) को कम करने के लिए महंगी कंप्यूटेशनल सैंपलिंग की आवश्यकता रखता है।
- Dream-7B बैकबोन पर, AR-MAP ने 65.94 स्कोर किया, जो VRPO (64.23) और SimPO (56.30) से काफी बेहतर है।
दक्षता: यह विधि प्रत्यक्ष DLLM अलाइनमेंट के लिए आवश्यक पुनरावृत्ति (iterative), उच्च-विचरण वाले ट्रेनिंग लूप्स से बचती है, और इसके बजाय कुशल AR-LLM प्रशिक्षण और एक सरल वेट मर्जिंग स्टेप पर निर्भर करती है।
सामान्यीकरण (Generalization): दृष्टिकोण को अन्य मॉडल मर्जिंग तकनीकों (जैसे, Ties, DARE) के साथ संगत दिखाया गया है, हालांकि प्रदर्शन विशिष्ट मर्जिंग एल्गोरिदम की वेट स्केलिंग के प्रति संवेदनशीलता के आधार पर भिन्न होता है।

महत्व

पेपर का दावा है कि AR-MAP सफलतापूर्वक ऑटोरिग्रेसिव और डिफ्यूजन आर्किटेक्चर के बीच के अंतर को पाटता है। AR-LLMs को "इम्प्लिसिट टीचर्स" के रूप में मानकर, यह फ्रेमवर्क DLLMs को ELBO-आधारित ऑप्टिमाइजेशन की अंतर्निहित अस्थिरता से ग्रस्त हुए बिना उच्च-गुणवत्ता वाले प्रिफरेंस अलाइनमेंट क्षमताओं को विरासत में लेने की अनुमति देता है। यह उनके समानांतर जनरेशन लाभों को बनाए रखते हुए, प्रतिस्पर्धी प्रदर्शन के साथ DLLMs को स्केल करने के लिए एक व्यावहारिक मार्ग प्रदान करता है। यह कार्य सुझाव देता है कि "टास्क वेक्टर" प्रतिमान मौलिक रूप से भिन्न जनरेटिव प्रतिमानों के बीच ज्ञान को स्थानांतरित करने के लिए एक मजबूत तंत्र है।