DRP: Distilled Reasoning Pruning with Skill-aware Step Decomposition for Efficient Large Reasoning Models
यह शोध पत्र डिस्टिल्ड रीजनिंग प्रूनिंग (DRP) का प्रस्ताव करता है, जो एक हाइब्रिड फ्रेमवर्क है जो जटिल गणितीय तर्क कार्यों पर सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए, स्किल-अवेयर स्टेप डिकम्पोजिशन और डिस्टिलेशन के साथ इन्फरेंस-टाइम प्रूनिंग को जोड़कर लार्ज रीजनिंग मॉडल्स में टोकन के उपयोग को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "डिस्टिल्ड रीजनिंग प्रूनिंग (DRP)" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
समस्या: "ज़रूरत से ज़्यादा सोचने वाला" छात्र
कल्पना कीजिए कि एक बहुत बुद्धिमान छात्र (स्टूडेंट मॉडल) एक गणित की समस्या हल करने की कोशिश कर रहा है। यह छात्र प्रतिभाशाली तो है लेकिन उसकी एक बुरी आदत है: ज़रूरत से ज़्यादा सोचना (Overthinking)।
जब उससे एक साधारण सवाल पूछा जाता है, जैसे, "यदि नतालिया ने अप्रैल में 48 क्लिप्स और मई में 24 क्लिप्स बेचीं, तो उसने कुल कितनी बेचीं?", तो यह छात्र केवल गणित नहीं करता। इसके बजाय, वह 5 पन्नों का निबंध लिख देता है। वह कह सकता है:
- "मुझे सोचने दो कि 'अप्रैल' का क्या मतलब है..."
- "रुको, क्या मैंने नंबर सही पढ़ा? मुझे अपने नोट्स चेक करने दो..."
- "असल में, मुझे पक्का करने के लिए एक बार फिर से सवाल पढ़ना चाहिए..."
- "ठीक है, अब मैं उन्हें जोड़कर लिखूँगा, लेकिन पहले, मुझे फॉर्मूला लिख लेना चाहिए..."
इसे लॉन्ग चेन-ऑफ-थॉट (Long CoT) कहा जाता है। हालाँकि यह दिखाता है कि छात्र पूरी कोशिश कर रहा है, लेकिन यह धीमा है, बहुत सारा कागज़ (कंप्यूटर टोकन) खर्च करता है, और कभी-कभी छात्र अपनी ही बड़बड़ाहट में इतना खो जाता है कि वह गलती कर देता है या उसका समय समाप्त हो जाता है।
पुराने समाधान (वे क्यों काम नहीं आए)
शोधकर्ताओं ने इसे ठीक करने के लिए पहले दो मुख्य तरीके आज़माए थे:
- "स्टॉप साइन" विधि (प्रूनिंग/छंटाई): छात्र को कहना, "5 वाक्यों के बाद बोलना बंद कर दो।"
- समस्या: छात्र किसी महत्वपूर्ण चरण के बीच में ही रुक सकता है, जिससे गलत उत्तर मिल सकता है।
- "कॉपीकैट" विधि (डिस्टिलेशन/आसवन): छात्र को एक जीनियस टीचर द्वारा लिखी गई पाठ्यपुस्तक देना, जो संक्षिप्त और सटीक उत्तर देती है।
- समस्या: छात्र लंबी, बिखरी हुई पंक्तियों में सोचने का आदी है। यदि आप उन्हें एक छोटा, पॉलिश किया हुआ टेक्स्टबुक देते हैं, तो वे समझ नहीं पाते कि टीचर वहाँ तक कैसे पहुँचा। यह एक रेस कार ड्राइवर के मैनुअल को पढ़कर गाड़ी चलाना सीखने जैसा है, जिसने कभी गियर के बारे में समझाया ही नहीं। छात्र भ्रमित हो जाता है क्योंकि "स्टाइल" मेल नहीं खाता।
नया समाधान: DRP (डिस्टिल्ड रीजनिंग प्रूनिंग)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे DRP कहा जाता है। इसे एक पर्सनल एडिटर (व्यक्तिगत संपादक) के रूप में सोचें जो बिखरे हुए छात्र और जीनियस टीचर के बीच बैठता है।
DRP इन तीन सरल चरणों में काम करता है:
चरण 1: छात्र अपना बिखरा हुआ ड्राफ्ट लिखता है
छात्र अपने सामान्य तरीके से समस्या को हल करता है, अपने लंबे, बिखरे हुए विचार (Long CoT) लिखता है।
चरण 2: "स्किल-बेस्ड" एडिटर (टीचर)
केवल उत्तर को फिर से लिखने के बजाय, एक शक्तिशाली AI (टीचर, जैसे GPT-4o) एक स्किल-बेस्ड एडिटर के रूप में कार्य करता है।
- डीकंपोज़िशन (विघटन): एडिटर छात्र के लंबे निबंध को छोटे, लेबल वाले चरणों में तोड़ देता है।
- उदाहरण: "चरण 1: नंबरों को पढ़ना (स्किल: डेटा एक्सट्रैक्शन)।"
- उदाहरण: "चरण 2: रुको, मुझे चेक करने दो... (स्किल: सेल्फ-करेक्शन)।"
- प्रूनिंग (छंटाई): एडिटर इन चरणों को देखता है और निर्णय लेता है कि क्या करना है:
- रखना (Keep): "यह चरण अच्छा है।"
- हटाना (Delete): "तुमने यहाँ खुद को दोहराया है। इसे काट दो।"
- फिर से लिखना (Rewrite): "तुमने यह तीन बार कहा। इसे एक बार स्पष्ट रूप से कहो।"
- मिलाना (Merge): "ये दो छोटे विचार एक साथ जा सकते हैं। इन्हें मिला दो।"
महत्वपूर्ण बात यह है कि एडिटर छात्र की सोच के ढांचे (Structure) को बनाए रखता है लेकिन "फालतू की बातों" को हटा देता है। यह एक कोच की तरह है जो धावक से कहता है, "तुमने पूरा ट्रैक दौड़ लिया, लेकिन तुमने टेढ़े-मेढ़े चलकर ऊर्जा बर्बाद की। यह वह सीधी रेखा है जो तुम्हें लेनी चाहिए थी, लेकिन अपनी दौड़ने की शैली बनाए रखो।"
चरण 3: छात्र एडिट किए गए ड्राफ्ट से सीखता है
छात्र को फिर इस एडिट किए गए, साफ संस्करण पर प्रशिक्षित (Fine-tuned) किया जाता है।
- क्योंकि एडिट किया गया संस्करण अभी भी छात्र की अपनी सोच की प्रक्रिया जैसा दिखता है (बस छोटा और स्पष्ट है), छात्र बहुत तेज़ी से सीखता है।
- वह सीखता है कि कठिन समस्याओं को हल करने की क्षमता खोए बिना कुशल (Efficient) कैसे बनना है।
परिणाम: तेज़ और स्मार्ट
पेपर का परीक्षण गणित की समस्याओं (जैसे GSM8K और AIME डेटासेट) पर किया गया। यहाँ क्या हुआ:
- कम कागज़ का उपयोग: छात्र ने बहुत कम शब्द (टोकन) का उपयोग करना शुरू कर दिया। एक टेस्ट में, वे 917 शब्दों से घटकर केवल 328 शब्द रह गए। यह एक 64% की कमी है!
- बेहतर ग्रेड: आश्चर्यजनक रूप से, छात्र न केवल तेज़ हुआ बल्कि अधिक स्मार्ट भी हो गया। उनकी सटीकता 91.7% से बढ़कर 94.1% हो गई।
- क्यों? "शोर" और "अनावश्यक लूप्स" (ज़रूरत से ज़्यादा सोचना) को हटाकर, छात्र ने वास्तविक गणित पर बेहतर ध्यान केंद्रित किया।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि एक छोटे, बातूनी AI को कुशल बनाने के लिए, आप उसे केवल छोटा होने के लिए मजबूर नहीं कर सकते। आपको एक स्मार्ट एडिटर का उपयोग करके उसकी अपनी सोच को छाँटना (Prune) होगा जो समस्या को हल करने में शामिल कौशलों (Skills) को समझता हो।
संक्षेप में: DRP एक छात्र के बिखरे हुए, अत्यधिक विस्तृत होमवर्क को लेने, एक शिक्षक द्वारा महत्वपूर्ण हिस्सों को हाइलाइट करने और फालतू बातों को काटने, और फिर छात्र को उस "परफेक्टली एडिटेड" संस्करण को पढ़ाने जैसा है। परिणाम एक ऐसा छात्र है जो स्पष्ट रूप से सोचता है, संक्षेप में बोलता है, और हर बार सही उत्तर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।