💬 NLP

ARKD: Adaptive Reinforcement Learning-Guided Bidirectional KL Divergence Distillation for Text Generation

यह शोध पत्र ARKD का प्रस्ताव करता है, जो एक अनुकूली सुदृढीकरण शिक्षण (adaptive reinforcement learning) ढांचा है जो बड़े भाषा मॉडलों के लिए ज्ञान आसवन (knowledge distillation) में टेक्स्ट जनरेशन की गुणवत्ता और सामान्यीकरण में सुधार करने के लिए फॉरवर्ड और रिवर्स KL डाइवर्जेंस उद्देश्यों को गतिशील रूप से संतुलित करता है।

मूल लेखक: Zilong Liu, Xuewen Zhang, Jinrui Xing, Juyi Qiao, Huiyong Wang, Junming Jiao

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zilong Liu, Xuewen Zhang, Jinrui Xing, Juyi Qiao, Huiyong Wang, Junming Jiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (छात्र) को कविता लिखना सिखाने की कोशिश कर रहे हैं, जिसके लिए उन्हें एक मास्टर कवि (शिक्षक) के अध्ययन करने के लिए कहा गया है। लक्ष्य यह है कि प्रशिक्षु भी मास्टर के समान ही अच्छा लगे, लेकिन उसे मास्टर के विशाल मस्तिष्क और वर्षों के अनुभव की आवश्यकता न पड़े।

यह शोध पत्र, जिसका शीर्षक ARKD है, इस "शिक्षण सत्र" को चलाने का एक नया, स्मार्ट तरीका पेश करता है।

समस्या: "बहुत व्यापक" बनाम "बहुत संकीर्ण" का जाल

अतीत में, शिक्षकों ने प्रशिक्षु को सुधारने के दो मुख्य तरीके अपनाए, लेकिन दोनों में खामियां थीं:

"सब कुछ कवर करने" वाला दृष्टिकोण (Forward KL):
कल्पना कीजिए कि शिक्षक कहता है, "तुम्हें मेरे द्वारा उपयोग किए जाने वाले हर संभावित शब्द को लिखने का प्रयास करना चाहिए, यहाँ तक कि उन अजीब, दुर्लभ शब्दों को भी।"

परिणाम: प्रशिक्षु भ्रमित हो जाता है। वह हर एक संभावना को कवर करने की कोशिश करता है, जिसमें बहुत कम संभावना वाले शब्द भी शामिल हैं। इससे उनका लेखन "धुंधला" या उन चीजों के बारे में "अति-आत्मविश्वासी" लगने लगता है जो शायद ही कभी घटित होती हैं। वे अपना ध्यान खो देते हैं।

"सबसे अच्छा चुनने" वाला दृष्टिकोण (Reverse KL):
अब शिक्षक कहता है, "अजीब शब्दों को भूल जाओ। बस उन सबसे सामान्य, लोकप्रिय वाक्यांशों की नकल करो जिनका मैं उपयोग करता हूँ।"

परिणाम: प्रशिक्षु सामान्य विषयों पर बहुत सुरक्षित और सटीक हो जाता है, लेकिन वह उबाऊ हो जाता है। वे जोखिम लेना बंद कर देते हैं और रचनात्मक होने या दुर्लभ, जटिल स्थितियों को संभालने की क्षमता खो देते हैं। वे एक ही शैली में "सिमट" (collapse) जाते हैं।

दुविधा: आपको चाहिए कि प्रशिक्षु पूरी रेंज को कवर करे (ताकि कुछ छूट न जाए) लेकिन साथ ही बेहतरीन हिस्सों पर ध्यान भी केंद्रित करे (ताकि वे भ्रमित न लगें)। पारंपरिक रूप से, शोधकर्ता या तो एक ही विधि चुनते थे या उन्हें एक निश्चित रेसिपी के साथ मिला देते थे (जैसे, "50% समय विधि A करें, 50% समय विधि B करें")। लेकिन यह शोध पत्र तर्क देता है कि एक निश्चित रेसिपी मूर्खतापूर्ण है क्योंकि सीखने के दौरान प्रशिक्षु की ज़रूरतें बदलती रहती हैं।

समाधान: ARKD (द एडेप्टिव कोच)

लेखक ARKD का प्रस्ताव करते हैं, जो एक "स्मार्ट कोच" बनाने के लिए रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करता है जो वास्तविक समय में छात्र पर नज़र रखता है।

इसे एक वीडियो गेम कोच या जीपीएस नेविगेशन सिस्टम की तरह समझें:

पुराना तरीका (स्थिर): एक जीपीएस जो कहता है, "हमेशा 20% समय बाएं मुड़ें, 80% समय दाएं," चाहे ट्रैफिक कैसा भी हो।
ARKD का तरीका (अनुकूलनीय): एक जीपीएस जो वर्तमान ट्रैफिक, मौसम और ड्राइवर की थकान को देखता है। यह कहता है, "अभी आप ट्रैफिक में फंसे हैं, इसलिए चलिए एक अलग रास्ता आज़माते हैं (फोकस करने के लिए 'सब कुछ कवर करें' वाली विधि का उपयोग करें)। अब जब आप तेज़ चल रहे हैं, तो चलिए मुख्य हाईवे पर टिके रहते हैं (फोकस करने के लिए 'सबसे अच्छा चुनें' वाली विधि का उपयोग करें)।"

यह कैसे काम करता है (तंत्र)

पॉलिसी नेटवर्क (कोच): यह एक छोटा, स्मार्ट AI है जो छात्र मॉडल को देखता है। यह आंकड़ों के एक "डैशबोर्ड" की जांच करता है: छात्र कितना भ्रमित है? वे शिक्षक से कितने अलग हैं? डेटा में कितना "शोर" (noise) है?
निर्णय (वेट/भार): जो कुछ भी वह देखता है, उसके आधार पर, कोच निर्णय लेता है: "आज, हमें 20% 'सब कुछ कवर करें' और 80% 'सबसे अच्छा चुनें' की आवश्यकता है।" कल, यह इसे 40/60 में बदल सकता है। यह लगातार संतुलन को समायोजित करता है।
रिवॉर्ड (स्कोर): कोच को एक "स्कोर" (रिवॉर्ड) मिलता है कि छात्र कितनी अच्छी तरह कर रहा है। यदि छात्र में सुधार होता है, तो कोच को इनाम मिलता है। यदि छात्र और खराब हो जाता है, तो कोच अपनी रणनीति बदलने के बारे में सीखता है।

परिणाम: यह क्यों बेहतर है

शोधकर्ताओं ने विभिन्न आकार के भाषा मॉडलों (जैसे GPT-2 और LLaMA) पर इसका परीक्षण किया। यहाँ उन्हें क्या पता चला:

"निश्चित रेसिपी" को पछाड़ना: ARKD ने उन तरीकों को लगातार मात दी जो केवल एक निश्चित 50/50 के अनुपात में दोनों दृष्टिकोणों को मिलाते थे।
"लालची" कोच को पछाड़ना: यहाँ तक कि एक कोच जो बिना आगे सोचे हर क्षण में केवल "सबसे अच्छे दिखने वाले" विकल्प को चुनता था, उसे भी ARKD ने हरा दिया। ARKD स्मार्ट है क्योंकि यह केवल अगले कदम के बारे में नहीं, बल्कि लंबी अवधि की यात्रा के बारे में सोचता है।
बेहतर सामान्यीकरण (Generalization): प्रशिक्षु ने केवल प्रशिक्षण डेटा को ही नहीं सीखा; वे नए, अनदेखे प्रश्नों (Out-of-Distribution) को संभालने में भी बेहतर हो गए। उन्होंने रचनात्मक और सटीक दोनों होना सीखा।

"आहा!" क्षण: रणनीति कैसे विकसित होती है

शोध पत्र में एक दिलचस्प अवलोकन शामिल है कि "कोच" ने समय के साथ व्यवहार करना कैसे सीखा:

प्रारंभिक प्रशिक्षण (एक्सप्लोरेशन): शुरुआत में, प्रशिक्षु एक कोरी स्लेट की तरह होता है। कोच उन्हें "सब कुछ कवर करने" (अधिक Forward KL का उपयोग करने) के लिए कहता है ताकि यह सुनिश्चित हो सके कि वे किसी भी प्रमुख अवधारणा को मिस न करें। यह उन्हें बहुत जल्दी एक उबाऊ लूप में फंसने से रोकता है।
मध्य प्रशिक्षण (कन्वर्जेंस): जैसे-जैसे प्रशिक्षु बेहतर होता जाता है, कोच अपनी शैली को परिष्कृत करने और प्रशिक्षु को अजीब शब्दों का अनुमान लगाने से रोकने के लिए "सबसे अच्छा चुनें" (Reverse KL) की ओर शिफ्ट होना शुरू कर देता है।
विलंबित प्रशिक्षण (स्टेबिलिटी): अंत में, कोच एक सटीक संतुलन में स्थिर हो जाता है, जिससे प्रशिक्षु को पूर्ण बनाने के लिए सूक्ष्म ट्यूनिंग (fine-tuning) की जाती है।

सारांश

सरल शब्दों में, ARKD एक ऐसा सिस्टम है जो AI प्रशिक्षण को एक स्थिर रेसिपी की तरह मानना बंद कर देता है। इसके बजाय, यह एक स्मार्ट, अनुकूलनीय कोच का उपयोग करता है जो छात्र को लगातार देखता है और मौके पर ही शिक्षण शैली को बदल देता है। यह सुनिश्चित करता है कि छात्र रचनात्मक (सभी आधारों को कवर करना) और सटीक (सर्वश्रेष्ठ उत्तरों पर ध्यान केंद्रित करना) दोनों होने के लिए सीखे, जिसके परिणामस्वरूप एक स्मार्ट, अधिक सक्षम AI मॉडल प्राप्त होता है।

तकनीकी सारांश: ARKD – एडेप्टिव रीइन्फोर्समेंट लर्निंग-गाइडेड बायडायरेक्शनल KL डाइवर्जेंस डिस्टिलेशन

1. समस्या विवरण

नॉलेज डिस्टिलेशन (KD), लार्ज लैंग्वेज मॉडल्स (LLMs) को कंप्रेस करने के लिए एक प्राथमिक तकनीक है ताकि प्रदर्शन बनाए रखते हुए इन्फरेंस लागत को कम किया जा सके। हालाँकि, सिंगल कुलबैक-लीब्लर (KL) डाइवर्जेंस ऑब्जेक्टिव पर निर्भर पारंपरिक KD विधियाँ ओपन-एंडेड टेक्स्ट जनरेशन में एक मौलिक ट्रेड-ऑफ का सामना करती हैं:

फॉरवर्ड KL (FKL): यह "मोड-कवरिंग" व्यवहार को प्रोत्साहित करता है, जहाँ स्टूडेंट मॉडल टीचर डिस्ट्रीब्यूशन के सभी मोड्स को कवर करने का प्रयास करता है। इससे अक्सर लो-कॉन्फिडेंस, लॉन्ग-टेल क्षेत्रों में प्रोबेबिलिटी का ओवरएस्टिमेशन होता है, जिससे जनरेशन क्वालिटी खराब हो जाती है।
रिवर्स KL (RKL): यह "मोड-सीकिंग" व्यवहार को प्रोत्साहित करता है, जो डोमिनेंट मोड्स पर ध्यान केंद्रित करता है और लो-प्रोबेबिलिटी क्षेत्रों को अनदेखा करता है। हालांकि यह लॉन्ग-टेल ओवरएस्टिमेशन को रोकता है, लेकिन यह विविधता और कवरेज से समझौता करता है, जिससे संभावित रूप से मोड कोलैप्स हो सकता है।

मौजूदा स्टैटिक इंटरपोलेशन विधियाँ (जैसे, फिक्स्ड 0.5:0.5 वेटिंग) ट्रेनिंग के दौरान विकसित होते स्टूडेंट-टीचर गैप की डायनेमिक प्रकृति को कैप्चर करने में विफल रहती हैं। एक स्टैटिक कोएफिशिएंट डिस्ट्रीब्यूशन अलाइनमेंट की बदलती आवश्यकताओं के अनुकूल नहीं हो सकता, जिसके लिए विभिन्न ट्रेनिंग चरणों में FKL और RKL के अलग-अलग संतुलन की आवश्यकता होती है।

2. कार्यप्रणाली: ARKD

लेखक ARKD (एडेप्टिव रीइन्फोर्समेंट लर्निंग-गाइडेड बायडायरेक्शनल KL डाइवर्जेंस डिस्टिलेशन) प्रस्तावित करते हैं, जो एक रीइन्फोर्समेंट लर्निंग (RL) एजेंट का उपयोग करके FKL और RKL को डायनेमिक रूप से वेट असाइन करता है।

सैद्धांतिक आधार

पेपर पहले FKL और RKL की सैद्धांतिक निरंतरता (theoretical consistency) स्थापित करता है। विश्लेषण से पता चलता है कि जब ग्रेडिएंट्स शून्य होते हैं, तो दोनों ऑब्जेक्टिव्स एक ही सॉल्यूशन ( $q_\theta = p$ ) पर अभिसरण (converge) करते हैं। यह पुष्टि करता है कि दोनों डाइवर्जेंस डिस्ट्रीब्यूशन मैचिंग के लिए वैध हैं लेकिन ऑप्टिमाइजेशन ट्राजेक्टरी के दौरान पूरक (complementary) व्यवहार प्रदर्शित करते हैं, जो उनके संयुक्त उपयोग को न्यायसंगत बनाता है।

RL-आधारित फ्रेमवर्क

ARKD वेट असाइनमेंट समस्या को एक अनुक्रमिक निर्णय लेने वाली प्रक्रिया (मार्कोव डिसीजन प्रोसेस) के रूप में पुनर्गठित करता है:

स्टेट ( $s$ ): एक 6-डायमेंशनल वेक्टर जो वर्तमान ट्रेनिंग डायनेमिक्स को कैप्चर करता है, जिसमें टीचर/स्टूडेंट एंट्रॉपी ( $H_T, H_S$ ), वेरिएंस ( $\sigma^2_T, \sigma^2_S$ ), और वर्तमान FKL/RKL लॉस वैल्यूज ( $L_{FKL}, L_{RKL}$ ) शामिल हैं।
एक्शन ( $\alpha$ ): एक पॉलिसी नेटवर्क ( $\pi_\phi$ ) एक स्केलर वेट $\alpha \in (0, 1)$ आउटपुट करता है, जहाँ $\alpha$ FKL टर्म को वेट देता है और $(1-\alpha)$ RKL टर्म को वेट देता है।
रिवॉर्ड ( $r$ ): वर्तमान बैच के लिए नेगेटिव डिस्टिलेशन लॉस के रूप में परिभाषित है ( $r = -L_{distil}$ )। इसका उद्देश्य ट्रेनिंग ट्राजेक्टरी पर संचयी रिवॉर्ड (कुल लॉस को कम करना) को मैक्सिमाइज करना है।
ऑप्टिमाइजेशन:
- स्टूडेंट अपडेट: वेटेड डिस्टिलेशन लॉस प्लस एक लैंग्वेज मॉडलिंग लॉस को मिनिमाइज करता है।
- पॉलिसी अपडेट: ट्रेनिंग को स्थिर करने और बाउंड्री सैचुरेशन को रोकने के लिए एक्सपोनेंशियल मूविंग एवरेज (EMA) बेसलाइन और एंट्रॉपी रेगुलराइजेशन के साथ REINFORCE एल्गोरिदम का उपयोग करता है।

ट्रेनिंग डायनेमिक्स

पॉलिसी नेटवर्क ट्रेड-ऑफ को एडैप्टिवली नेविगेट करना सीखता है:

एक्सप्लोरेशन फेज: ट्रेनिंग के शुरुआती चरण में, पॉलिसी $\alpha$ की एक विस्तृत रेंज (जैसे, 0.3–0.6) को एक्सप्लोर करती है, जो ब्रॉड कवरेज सुनिश्चित करने और मोड कोलैप्स को रोकने के लिए FKL पर जोर देती है।
कन्वर्जेंस फेज: जैसे-जैसे स्टूडेंट डिस्ट्रीब्यूशन, टीचर के करीब पहुँचता है, पॉलिसी लो $\alpha$ वैल्यूज (RKL-डोमिनेंट) की ओर शिफ्ट होती है ताकि सटीक अलाइनमेंट पर ध्यान केंद्रित किया जा सके और लॉन्ग-टेल ओवरएस्टिमेशन से बचा जा सके।
स्टेबिलिटी फेज: पॉलिसी अंतिम रिफाइनमेंट के लिए एक विशिष्ट $\alpha$ (जैसे, $\approx 0.18$ ) पर स्थिर हो जाती है।

3. मुख्य योगदान

सैद्धांतिक विश्लेषण: पेपर एक सैद्धांतिक विश्लेषण प्रदान करता है जो FKL और RKL की पूरकता और कन्वर्जेंस कंसिस्टेंसी को स्थापित करता है, जो एडेप्टिव डिस्टिलेशन का आधार बनता है।
ARKD फ्रेमवर्क: यह एक नया RL-आधारित जॉइंट ऑप्टिमाइजेशन फ्रेमवर्क पेश करता है जहाँ एक पॉलिसी नेटवर्क स्टेट-डिपेंडेंट विशेषताओं के आधार पर FKL और RKL को डायनेमिकली वेट करता है, जो स्टैटिक ह्यूरिस्टिक्स से आगे बढ़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि ARKD कई बेंचमार्क और मॉडल स्केल्स पर जनरेशन क्वालिटी, डिस्ट्रीब्यूशन फिटिंग और जनरलाइजेशन में लगातार सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने GPT-2 (1.5B $\to$ 120M/340M) और LLaMA (13B $\to$ 7B) कॉन्फ़िगरेशन का उपयोग करके इंस्ट्रक्शन ट्यूनिंग टास्क पर ARKD का मूल्यांकन किया।

इन-डिस्ट्रीब्यूशन (ID) प्रदर्शन: DollyEval बेंचमार्क पर, ARKD ने बेसलाइन्स (SFT, SeqKD, FKL, RKL, FKL+RKL, और MiniLLM) की तुलना में उच्चतम BertScore और प्रतिस्पर्धी या बेहतर Rouge-L स्कोर प्राप्त किया। उदाहरण के लिए, GPT-2 1.5B $\to$ 120M पर, ARKD ने 24.5 का Rouge-L और 0.815 का BertScore प्राप्त किया, जो मजबूत MiniLLM बेसलाइन से बेहतर है।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) जनरलाइजेशन: ARKD ने अनसीन डेटासेट्स (SelfInst, VicunaEval, S-NI, UnNI) पर उत्कृष्ट जनरलाइजेशन दिखाया, जो दोनों मॉडल फैमिलीज़ में सभी बेसलाइन्स को लगातार पछाड़ गया।
एब्लेशन स्टडीज:
- Static/Linear Scheduling के विरुद्ध: ARKD ने स्टैटिक वेटिंग (फिक्स्ड $\alpha$ ) और लीनियर शेड्यूलिंग स्ट्रेटेजीज (टाइम-बेस्ड डिके/इंक्रीज) की तुलना में काफी बेहतर प्रदर्शन किया, जो जटिल अलाइनमेंट डायनेमिक्स को कैप्चर करने में विफल रहे।
- Greedy Heuristics के विरुद्ध: ARKD ने ग्रीडी ह्यूरिस्टिक्स (प्रत्येक स्टेप पर लोअर-लॉस डाइवर्जेंस चुनना) को 0.4–0.6 पॉइंट्स से पीछे छोड़ दिया। ग्रीडी अप्रोच को मायोपिक पाया गया, जो अक्सर शुद्ध RKL में डिजेनरेट हो जाता था, जबकि ARKD निरंतर मिक्सिंग के माध्यम से एक फायदेमंद छोटा FKL कॉम्पोनेंट बनाए रखता है।
- ट्राजेक्टरी एनालिसिस: सीखी गई $\alpha$ ट्राजेक्टरी ने एक इंटेलिजेंट स्ट्रैटेजी की पुष्टि की: कवरेज के लिए शुरुआती FKL पर जोर, फिर प्रिसिजन के लिए RKL की ओर संक्रमण, एक ऐसा पैटर्न जो मैनुअल डिजाइन द्वारा प्राप्त नहीं किया जा सकता।

5. महत्व और दावे

पेपर दावा करता है कि ARKD स्टैटिक KL-आधारित विधियों की सीमाओं को संबोधित करके एडेप्टिव नॉलेज डिस्टिलेशन को आगे बढ़ाता है। मोड-कवरिंग और मोड-सीकिंग व्यवहारों को डायनेमिकली बैलेंस करने के लिए रीइन्फोर्समेंट लर्निंग का लाभ उठाकर, ARKD बेहतर डिस्ट्रीब्यूशन अलाइनमेंट प्राप्त करता है जो जनरेशन क्वालिटी और जनरलाइजेशन दोनों को बढ़ाता है।

लेखक ARKD को एक सिद्धांत आधारित दृष्टिकोण के रूप में प्रस्तुत करते हैं जो फिक्स्ड ह्यूरिस्टिक्स के ऊपर डायनेमिक, स्टेट-अवेयर वेटिंग की आवश्यकता को मान्य करता है। वे नोट करते हैं कि जबकि वर्तमान पॉलिसी एक हैंडक्राफ्टेड स्टेट वेक्टर और इमीडिएट बैच रिवार्ड्स पर निर्भर करती है, यह फ्रेमवर्क व्यापक $f$ -डाइवर्जेंस फैमिलीज़ और ऑन-पॉलिसी प्रतिमानों (paradigms) के अनुकूल है। यह कार्य यह प्रदर्शित करके कुशल LLM कम्प्रेशन के लिए एक ठोस आधार प्रदान करता है कि कैसे एडेप्टिव, RL-गाइडेड ऑप्टिमाइजेशन विविध कार्यों और विभिन्न मॉडल स्केल्स पर लगातार स्टैटिक और ग्रीडी बेसलाइन्स से बेहतर प्रदर्शन कर सकता है।