Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition
यह शोध पत्र प्रदर्शित करता है कि एक ड्यूल-एजेंट फ्रेमवर्क और अर्ली स्टॉपिंग का उपयोग करके डीपसीक-आर1 (DeepSeek-R1) शिक्षक से डिस्टिल्ड चेन-ऑफ-थॉट डेटा के साथ एक कॉम्पैक्ट क्यूवेन 2.5-7बी (Qwen2.5-7B) स्टूडेंट मॉडल को फाइन-ट्यून करने से जॉन ओ'ब्रायन मैथमेटिक्स कॉम्पिटिशन और मैथ-500 (MATH-500) बेंचमार्क पर इसकी सटीकता में महत्वपूर्ण सुधार होता है, जबकि यह भी प्रकट करता है कि कम प्रतिक्रिया लंबाई का कम तर्क गुणवत्ता के साथ सहसंबंध है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय गणित शिक्षक है (मान लीजिए कि उनका नाम प्रोफेसर डीपसीक (Professor DeepSeek) है)। वह अविश्वसनीय रूप से कठिन प्रतियोगिता के सवालों को हल कर सकते हैं। वह अद्भुत हैं, लेकिन वह बहुत विशाल, धीमे और उन्हें चलाने के लिए एक विशाल सुपरकंप्यूटर की आवश्यकता होती है। आप एक छोटे, तेज़ और सस्ते छात्र को (मान लीजिए कि उसका नाम स्टूडेंट क्यूवेन (Student Qwen) है) प्रोफेसर की तरह सोचना सिखाना चाहते हैं ताकि वह भी वही काम एक साधारण लैपटॉप पर कर सके।
यह शोध पत्र इस कहानी के बारे में है कि कैसे शोधकर्ताओं ने छात्र को जॉन ओ'ब्रायन मैथमेटिक्स कॉम्पिटिशन (एक वास्तविक प्रतियोगिता जो 2011 से 2025 तक उत्तरी केंटकी विश्वविद्यालय में आयोजित की गई थी) के विशिष्ट गणितीय प्रश्नों का उपयोग करके सोचना सिखाने का प्रयास किया।
यहाँ उनके प्रयोग की कहानी सरल रूप में दी गई है:
1. प्रशिक्षण पद्धति: "अपना काम दिखाएं" (Show Your Work)
शोधकर्ताओं ने छात्र को केवल अंतिम उत्तर नहीं दिए। उन्होंने चेन-ऑफ-थॉट (CoT) डिस्टिलेशन (Distillation) नामक एक विशेष तकनीक का उपयोग किया।
- शिक्षक: सबसे पहले, "प्रोफेसर डीपसीक" ने 671 पिछले प्रतियोगिता के सवालों को हल किया। लेकिन केवल उत्तर लिखने के बजाय, उन्होंने अपनी सोच के हर एक चरण को विस्तार से लिखा, जैसे कोई छात्र परीक्षा में अपना काम दिखाता है।
- सत्यापनकर्ता (Verifier): एक दूसरे AI ने प्रोफेसर के काम की जांच की ताकि यह सुनिश्चित किया जा सके कि चरण वास्तव में सही थे। केवल पूर्णतः सही समाधानों को ही रखा गया।
- छात्र: इसके बाद "स्टूडेंट क्यूवेन" (एक छोटा मॉडल) को इन चरण-दर-चरण समाधानों की नकल करने के लिए प्रशिक्षित किया गया।
2. "ओवर-प्रैक्टिस" का जाल
शोधकर्ताओं को एक क्लासिक समस्या का सामना करना पड़ा: ओवरफिटिंग (Overfitting)।
कल्प laइए कि एक छात्र अभ्यास परीक्षण के सटीक उत्तर रट लेता है बजाय इसके कि वह गणित की अवधारणाओं को सीखे। यदि आप उसे थोड़ा अलग प्रश्न देते हैं, तो वह विफल हो जाता है।
- शोधकर्ताओं ने शुरू में छात्र को 1,000 "राउंड" (पुनरावृत्ति) के लिए प्रशिक्षित किया।
- परिणाम: छात्र ने तर्क सीखने के बजाय प्रशिक्षण समस्याओं के विशिष्ट शब्दों को रटना शुरू कर दिया। उसका प्रदर्शन नए प्रश्नों पर वास्तव में बिगड़ गया।
- समाधान: उन्हें एहसास हुआ कि छात्र 200 राउंड पर अपने शिखर पर था। उसके बाद, वह केवल नकल कर रहा था। इसलिए, उन्होंने प्रशिक्षण को जल्दी रोक दिया (200 राउंड पर) ताकि वह "ताज़ा" रहे और सामान्यीकरण करने में सक्षम रहे।
3. परिणाम: एक ठोस सुधार
जल्दी प्रशिक्षण रोकने से, छात्र में महत्वपूर्ण सुधार हुआ:
- प्रशिक्षण से पहले: छात्र प्रतियोगिता के लगभग 65% सवाल सही हल कर पा रहा था।
- प्रशिक्षण के बाद: वह बढ़कर लगभग 69.4% पर पहुँच गया।
- बोनस: उसने न केवल इन विशिष्ट समस्याओं में सुधार किया; बल्कि वह एक अन्य प्रसिद्ध गणित बेंचमार्क, MATH-500 में भी बेहतर हो गया, जिससे यह सिद्ध हुआ कि उसने वास्तव में तर्क करने का कौशल सीखा है, न कि केवल उत्तर।
4. "शब्द गणना" का प्रयोग
शोधकर्ता जानना चाहते थे कि: छात्र को कितने "सोचने के स्थान" (thinking space) की आवश्यकता है?
उन्होंने छात्र को सख्त शब्द सीमा के साथ समस्याओं को हल करने के लिए मजबूर किया (जैसे कि एक टेस्ट पर सख्त शब्द गणना)।
- कोई सीमा नहीं (R1): उसने लगभग 220 शब्द लिखे और 69% सही हल किए।
- मध्यम सीमा (R2): उसने लगभग 120 शब्द लिखे और उसकी सटीकता गिरकर 62% रह गई।
- कठोर सीमा (R6): उसे केवल लगभग 31 शब्द लिखने के लिए मजबूर किया गया। उसकी सटीकता गिरकर 42% रह गई।
उपमा: यह किसी को जटिल पहेली सुलझाने के लिए कहने जैसा है। यदि आप उन्हें एक छोटी नोटबुक (कम शब्द) देते हैं, तो उन्हें चरणों को छोड़ना पड़ता है और अनुमान लगाना पड़ता है। यदि उनके पास एक पूरी नोटबुक (अधिक शब्द) है, तो वे तर्क लिख सकते हैं और सही उत्तर प्राप्त कर सकते हैं। अध्ययन से पता चला कि इन कठिन समस्याओं के लिए, सही उत्तर पाने के लिए आपको लगभग 50 से 100 शब्दों के "सोचने के स्थान" की आवश्यकता होती है।
5. जहाँ वह संघर्ष करती है
- गति बनाम तर्क: छात्र "टू-पर्सन स्पीड" (Two-Person Speed) अनुभाग में सबसे कमजोर थी। इन समस्याओं के लिए तेज़, बहु-चरणीय गणनाओं की आवश्यकता होती है। जब शब्द गणना कम थी, तो वह आवश्यक गणना चरणों को शामिल नहीं कर सकी, और उसकी सटीकता अन्य अनुभागों की तुलना में अधिक तेजी से गिरी।
- फॉर्मेटिंग त्रुटियाँ: दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि छात्र की लगभग 40% गलतियाँ इसलिए नहीं थीं क्योंकि वह गणित में खराब थी। वास्तव में उसे सही संख्या पता थी लेकिन उसने उसे अव्यवस्थित तरीके से लिखा था (जैसे कि भिन्न (fraction) को बिना सरल किए छोड़ देना या उत्तर को बॉक्स में रखना भूल जाना)। यदि कोई मानव या एक सरल स्क्रिप्ट उसके लेखन को साफ कर देती, तो उसका स्कोर और भी अधिक होता।
मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि आप एक विशाल, शक्तिशाली AI ले सकते हैं और एक छोटे, सस्ते AI को गणित की समस्याओं के माध्यम से प्रभावी ढंग से तर्क करना सिखा सकते हैं, लेकिन केवल तभी जब आप प्रशिक्षण को याद करने (memorizing) शुरू करने से पहले ही रोक दें।
हालाँकि, एक शर्त है: सोचने के लिए स्थान चाहिए। यदि आप AI को बहुत संक्षिप्त (बहुत कम शब्द) होने के लिए मजबूर करते हैं, तो वह कठिन समस्याओं को हल करने की अपनी क्षमता खो देता है। इस प्रकार की गणित प्रतियोगिताओं के लिए "स्वीट स्पॉट" (सही संतुलन) अपने तर्क के लिए लगभग 50 से 100 शब्दों को लिखने के लिए पर्याप्त स्थान देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।