Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning
यह शोध पत्र DASD-4B-Thinking को प्रस्तुत करता है, जो एक हल्का ओपन-सोर्स रीजनिंग मॉडल है जो एक नवीन प्रशिक्षण पाइपलाइन के माध्यम से वर्तमान अनुक्रम-स्तर के डिस्टिलेशन (sequence-level distillation) की महत्वपूर्ण सीमाओं को संबोधित करते हुए, शिक्षक-छात्र वितरणों को बेहतर ढंग से संरेखित करता है और एक्सपोज़र बायस (exposure bias) को कम करता है, और यह सब काफी कम प्रशिक्षण नमूनों का उपयोग करते हुए अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय प्रोफेसर (शिक्षक) है जो अविश्वसनीय रूप से कठिन गणित की समस्याओं को हल कर सकता है, जटिल कोड लिख सकता है और कठिन विज्ञान के सवालों के जवाब दे सकता है। अब, कल्पना कीजिए कि आपके पास एक बुद्धिमान लेकिन छोटा छात्र (छात्र) है जो इस प्रोफेसर से सीखना चाहता है लेकिन उसके पास उतनी मानसिक शक्ति या याददाश्त नहीं है।
इस शोध पत्र का लक्ष्य छोटे छात्र को बड़े प्रोफेसर की तरह सोचना सिखाना है, भले ही छात्र बहुत छोटा हो। अलीबाबा क्लाउड की टीम ने इसे करने का एक नया तरीका बनाया है जिसे DASD-4B-Thinking कहा जाता है।
उन्होंने इसे सरल उपमाओं के माध्यम से समझाया है:
पुराना तरीका: बस होमवर्क की नकल करना
पहले, शोधकर्ता छात्र को प्रोफेसर के तैयार किए गए होमवर्क के उत्तर देकर उन्हें सिखाने की कोशिश करते थे। छात्र बस इन उत्तरों को रट लेता था।
- समस्या: कभी-कभी प्रोफेसर के उत्तर बहुत अधिक सटीक और दुर्लभ होते थे, और कभी-कभी वे अस्त-व्यस्त होते थे। यदि छात्र केवल नकल करने के लिए यादृच्छिक (randomly) होमवर्क चुनता था, तो वह सबसे महत्वपूर्ण सबक चूक सकता था या उलझन में पड़ सकता था। साथ ही, छात्र केवल तभी नकल करना सीखता था जब प्रोफेसर उसके ठीक बगल में खड़ा होता (उत्तर देख रहा होता), लेकिन वास्तविक दुनिया में, छात्र को अकेले समस्याएं हल करनी पड़ती हैं। यह एक ऐसे छात्र की तरह है जो केवल तभी निबंध लिख सकता है जब शिक्षक उसे अगला शब्द फुसफुसाकर बताए; जब वह अकेले लिखने की कोशिश करता है, तो वह अटक जाता है।
नया तरीका: एक स्मार्ट ट्रेनिंग कैंप
लेखकों ने महसूस किया कि उन्हें एक बेहतर प्रशिक्षण योजना की आवश्यकता है। उन्होंने पुराने दोषों को ठीक करने के लिए तीन मुख्य "सुपरपावर्स" पेश कीं:
1. "वार्म-अप" और "स्प्रिंट" रणनीति (टेम्परेचर-शेड्यूल लर्निंग)
कल्पना कीजिए कि प्रोफेसर एक कक्षा पढ़ा रहे हैं।
- पुरानी गलती: शिक्षक कभी-कभी कक्षा को बहुत आसान, स्पष्ट उत्तर देते थे, और अन्य समय में बहुत अजीब, भ्रमित करने वाले या दुर्लभ उत्तर देते थे। छात्र बुनियादी बातों को समझने से पहले ही उन अजीब उत्तरों से भ्रमित हो जाता था।
- नया समाधान: टीम ने दो-चरणीय कार्यक्रम बनाया।
- चरण 1 (वार्म-अप): सबसे पहले, उन्होंने छात्र को प्रोफेसर के सबसे स्पष्ट, सबसे आत्मविश्वासी उत्तर दिए (लो टेम्परेचर)। इसने छात्र को एक मजबूत नींव बनाने और बुनियादी पैटर्न को जल्दी सीखने में मदद की।
- चरण 2 (स्प्रिंट): एक बार जब छात्र आत्मविश्वासी हो गया, तो उन्होंने अधिक विविध और कठिन उत्तर पेश किए (हाई टेम्परेचर)। इसने छात्र को समस्या सुलझाने की विभिन्न शैलियों से परिचित कराया, जिससे वह अधिक लचीला और मजबूत बना।
- परिणाम: छात्र ने पहले बुनियादी बातें सीखीं, फिर अपने क्षितिज का विस्तार किया, बजाय इसके कि वह तुरंत अभिभूत (overwhelmed) हो जाए।
2. "अंतर पहचानें" फ़िल्टर (डाइवर्जेंस-अवेयर सैंपलिंग)
जब प्रोफेसर और छात्र एक ही समस्या को देखते हैं, तो वे कभी-कभी अलग तरह से सोचते हैं।
- पुरानी गलती: छात्र को प्रोफेसर द्वारा दिए गए हर उत्तर की नकल करने के लिए मजबूर किया जाता था, भले ही छात्र पहले से ही किसी अन्य (गलत) तरीके से आश्वस्त हो। इससे छात्र का मस्तिष्क भ्रमित हो जाता था।
- नया समाधान: टीम ने एक फ़िल्टर बनाया जो उत्तरों को देखता है और पूछता है: "प्रोफेसर को कहाँ लगता है कि यह एक बेहतरीन विचार है, लेकिन छात्र को लगता है कि यह एक बुरा विचार है?"
- उन्होंने अपना प्रशिक्षण इन विशिष्ट क्षणों पर केंद्रित किया। ये वे "उच्च-मूल्य" वाले सबक हैं जहाँ छात्र के कुछ नया सीखने और अपनी गलतियों को सुधारने की सबसे अधिक संभावना होती है।
- उन्होंने उन उत्तरों को अनदेखा कर दिया जहाँ छात्र और प्रोफेसर पहले से ही सहमत थे (क्योंकि छात्र उसे पहले से जानता था) या जहाँ छात्र एक ऐसे तरीके से आत्मविश्वास से गलत था जिसे आसानी से सुधारा नहीं जा सकता था।
- परिणाम: छात्र ने अपना अध्ययन समय केवल उन पाठों पर खर्च किया जिन्हें वास्तव में सीखने की आवश्यकता थी, जिससे उसका अध्ययन समय बहुत अधिक कुशल हो गया।
3. "अभ्यास सत्र" ड्रिल (मिक्सड-पॉलिसी डिस्टिलेशन)
यह इस समस्या को ठीक करता है कि छात्र को अगले शब्द के लिए शिक्षक के फुसफुसाने की आवश्यकता होती है।
- पुरानी गलती: छात्र शिक्षक के पूरे उत्तरों की नकल करके अभ्यास करता था। लेकिन वास्तविक परीक्षा में, शिक्षक वहां नहीं होता। छात्र लिखना शुरू करता, बीच में अटक जाता, और फिर घबरा जाता क्योंकि उसने कभी खुद से वाक्य पूरा करने का अभ्यास नहीं किया था।
- नया समाधान: उन्होंने एक "अभ्यास ड्रिल" बनाई।
- उन्होंने छात्र को स्वयं समस्या को हल करने की कोशिश करने दी।
- यदि छात्र रास्ते से भटकने लगा या अटक गया, तो उन्होंने छात्र को वाक्य के बीच में ही रोक दिया।
- फिर, प्रोफेसर ने उस वाक्य को सही ढंग से पूरा किया।
- छात्र ने इस "आधे-लिखे, आधे-सुधारे गए" उत्तर से सीखा।
- परिणाम: छात्र ने अपनी गलतियों से उबरना और बिना मदद के काम पूरा करना सीखा, जिससे वह वास्तविक दुनिया में बहुत अधिक विश्वसनीय बन गया।
अद्भुत परिणाम
इस स्मार्ट ट्रेनिंग कैंप का उपयोग करके, टीम ने एक बहुत छोटा मॉडल (केवल 4 बिलियन पैरामीटर्स, जो AI की दुनिया में बहुत छोटा है) बनाया जो बहुत बड़े मॉडलों (कुछ 32 बिलियन पैरामीटर्स वाले) के बराबर या उनसे बेहतर सोच सकता है।
- दक्षता (Efficiency): उन्होंने इन परिणामों को केवल 448,000 प्रशिक्षण उदाहरणों का उपयोग करके प्राप्त किया। अन्य टीमें समान परिणाम प्राप्त करने के लिए लाखों या करोड़ों उदाहरणों का उपयोग करती हैं। यह अध्ययन के एक अंश समय में पीएचडी प्राप्त करने जैसा है।
- प्रदर्शन (Performance): कठिन गणित प्रतियोगिताओं (जैसे AIME), कोडिंग चुनौतियों और विज्ञान के सवालों पर, इस छोटे मॉडल ने क्षेत्र के कई "दिग्गजों" को पीछे छोड़ दिया।
सारांश
यह शोध पत्र दिखाता है कि एक स्मार्ट AI बनाने के लिए आपको भारी मात्रा में डेटा या विशाल कंप्यूटर की आवश्यकता नहीं है। इसके बजाय, आपको सिखाने के एक स्मार्ट तरीके की आवश्यकता है। चरणों में सिखाकर, सही पाठों पर ध्यान केंद्रित करके, और कार्यों को स्वयं पूरा करने का अभ्यास कराकर, एक छोटा AI भी तर्क करने में चैंपियन बन सकता है।
टीम ने अपना "पाठ्यपुस्तक" (डेटासेट) और "स्नातक छात्र" (मॉडल) दुनिया के साथ साझा किया है ताकि अन्य लोग उनके तरीके से सीख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।