Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation
यह शोध पत्र एक लागत प्रभावी विधि प्रस्तावित करता है जो पहले मानव-लिखित समाधानों पर क्लासिक इंस्ट्रक्शन ट्यूनिंग लागू करके और फिर परिणामी मॉडल को मूल रीजनिंग मॉडल के साथ मर्ज करके डोमेन-विशिष्ट रीजनिंग क्षमताओं को पुनः प्राप्त करने के माध्यम से, सत्यापन योग्य और गैर-सत्यापन योग्य दोनों डोमेन में रीजनिंग लैंग्वेज मॉडल्स को उन्नत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली, बहुत अधिक सोचने वाले छात्र को एक नए प्रकार की पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। यह छात्र, एक "रीज़निंग लैंग्वेज मॉडल" (तर्क करने वाला भाषा मॉडल), एक विशेष प्रकार का कंप्यूटर प्रोग्राम है जिसे अपना काम दिखाने के लिए प्रशिक्षित किया गया है। इससे पहले कि वह किसी गणित की समस्या या कोडिंग चुनौती का अंतिम उत्तर दे, वह एक लंबी, चरण-दर-चरण विचार प्रक्रिया लिखता है, जैसे कोई जासूस रहस्य सुलझा रहा हो। "सोच को ज़ोर से बोलने" की यह आदत ही उसे कठिन कार्यों में इतना अच्छा बनाती है।
हालाँकि, एक पेच है। इन "सोचने वाले" मॉडलों को नए कौशल सिखाने के लिए, आपको आमतौर पर उन्हें तुरंत यह जाँचने के तरीके की आवश्यकता होती है कि उनका उत्तर सही है या नहीं (जैसे कि गणित का उत्तर कुंजी/की-कार्ड) या एक बहुत ही बुद्धिमान शिक्षक की जो उन्हें सही ढंग से सोचना दिखा सके। लेकिन क्या होगा यदि आप उन्हें कुछ ऐसा सिखाना चाहते हैं जहाँ कोई उत्तर कुंजी न हो, जैसे कि एक मज़ेदार कहानी का सारांश लिखना या कंप्यूटर प्रोग्राम में एक विशिष्ट बग को ठीक करना जिसके पास कोई टेस्ट न हो? आपके पास मनुष्यों द्वारा लिखे गए सही उत्तरों के पर्याप्त उदाहरण हैं, लेकिन उनमें से कोई भी "सोचने" वाले हिस्से को नहीं दिखाता है। यदि आप केवल उस छात्र को उन उत्तरों को रटने के लिए मजबूर करते हैं जिनमें सोचने के चरणों की कमी है, तो वह उस विशिष्ट पहेली के लिए सही उत्तर तो पा सकता है, लेकिन वह सामान्य रूप से कैसे सोचा जाए, यह भूल सकता है। वह एक समस्या सुलझाने वाले जासूस के बजाय एक ऐसा तोता बन जाता है जो केवल उत्तर दोहराता है।
यह वह पहेली है जिसे ETH ज्यूरिख के शोधकर्ताओं ने अपने नए शोध पत्र में सुलझाया है। उन्होंने यह पता लगाया कि इन "सोचने वाले" मॉडलों को उनकी सोचने की क्षमता खोए बिना नए कौशल कैसे सिखाए जाएं। सबसे पहले, वे मॉडल को सरल "केवल-उत्तर" वाले उदाहरणों से सीखने देते हैं, ठीक वैसे ही जैसे कोई छात्र परीक्षा के लिए रटता है। यह मॉडल को उस विशिष्ट कार्य में बेहतर बनाता है, लेकिन इससे उसकी काम दिखाने की आदत कम होने लगती है। फिर, वे एक जादुई "विलय" (merge) करते हैं। वे इस नए प्रशिक्षित मॉडल को लेते हैं और इसे मूल, बुद्धिमान-सोचने वाले मॉडल के साथ मिला देते हैं। यह मूल, कड़क एस्प्रेसो के एक कप के साथ ताज़ा, कार्य-विशिष्ट कॉफी के एक कप को मिलाने जैसा है। इस मिश्रण के अनुपात को सावधानीपूर्वक समायोजित करके, उन्होंने एक "स्वीट स्पॉट" (इष्टतम बिंदु) खोज निकाला जहाँ मॉडल अपने नए कौशल रखता है लेकिन समस्याओं को हल करने के लिए सोचने की अपनी क्षमता को भी याद रखता है।
शोधकर्ताओं ने चार अलग-अलग स्मार्ट मॉडलों और दो बहुत अलग कार्यों पर इसका परीक्षण किया: रस्ट (Rust) प्रोग्रामिंग भाषा में कोड लिखना और लंबे समाचार लेखों का सारांश लिखना। उन्होंने पाया कि उनका तरीका अद्भुत काम करता है। मॉडल विशिष्ट कार्यों में बहुत बेहतर हो गए (कोडिंग स्कोर में 12 अंक तक सुधार और सारांश स्कोर में थोड़ा सुधार) जबकि उन्होंने लगभग पूरी तरह से तर्क करने की अपनी क्षमता को वापस पा लिया, जो आमतौर पर मानक प्रशिक्षण से नष्ट हो जाती है। इससे भी बेहतर बात यह है कि यह पूरी प्रक्रिया अविश्वसनीय रूप से सस्ती और तेज़ थी। शोधकर्ताओं ने गणना की कि वे एक मॉडल को $3 से भी कम में और एक घंटे से कम समय में अनुकूलित कर सकते हैं, जबकि अन्य विधियाँ जो इसी समस्या को ठीक करने का प्रयास करती हैं, उनकी लागत काफी अधिक है और वे अधिक समय लेती हैं।
संक्षेप में, यह शोध पत्र सुझाव देता है कि इन तर्क करने वाले मॉडलों को अपग्रेड करने के लिए आपको किसी बहुत महंगे "उत्तर-जाँचने वाले" सिस्टम या किसी जीनियस शिक्षक की आवश्यकता नहीं है। आप पहले से मौजूद सरल "प्रश्न-और-उत्तर" डेटा के विशाल भंडार का उपयोग कर सकते हैं, और थोड़े से गणितीय मिश्रण के साथ, आप इन मॉडलों को उनके सोचने के दिमाग को तोड़े बिना नए कौशल दे सकते हैं। यह हमारे AI जासूसों को तेज़ रखने का एक कम लागत वाला, उच्च-पुरस्कार वाला तरीका है, भले ही वे ऐसे रहस्यों को सुलझाने के लिए सीख रहे हों जिनके स्पष्ट समाधान नहीं होते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।