QA-Merging: Query-Adaptive Reasoning via Layer Selective Model Merging
यह शोध पत्र QA-Merging को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो केवल उन ट्रांसफॉर्मर परतों को चुनिंदा रूप से कैलिब्रेट करके Long-CoT और Short-CoT मॉडलों को अनुकूल रूप से संयोजित करता है जिनमें उच्च रीजनिंग पैटर्न विचलन (reasoning pattern divergence) होता है, जिससे विविध रीजनिंग कार्यों में मजबूत प्रदर्शन बनाए रखते हुए अनुमान लागत (inference costs) को कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, 'लार्ज रीजनिंग मॉडल्स' के रूप में जाने जाने वाले कंप्यूटर प्रोग्रामों का एक विशिष्ट वर्ग जटिल समस्याओं को हल करने के लिए एक शक्तिशाली उपकरण के रूप में उभरा है। ये सिस्टम मानवीय विचार प्रक्रियाओं की नकल करने के लिए डिज़ाइन किए गए हैं, जो अंतिम उत्तर तक पहुँचने से पहले तर्क की एक लंबी, चरण-दर-चरण श्रृंखला उत्पन्न करते हैं। यह विधि, जिसे अक्सर "लॉन्ग चेन ऑफ थॉट" (विचारों की लंबी श्रृंखला) कहा जाता है, मॉडल को अपने काम की जाँच करने, त्रुटियों को सुधारने और कठिन तार्किक पहेलियों को उच्च सटीकता के साथ हल करने की अनुमति देती है। हालाँकि, इस गहनता की एक महत्वपूर्ण लागत भी है। जब मॉडल के सामने एक सरल प्रश्न आता है जिसके लिए केवल कुछ ही चरणों की आवश्यकता होती है, तो वह अक्सर लंबी, अनावश्यक व्याख्याएँ उत्पन्न करना जारी रखता है। यह व्यवहार, जिसे कभी-कभी 'ओवरथिंकिंग' (अत्यधिक सोचना) कहा जाता है, कंप्यूटिंग शक्ति को बर्बाद करता है, प्रतिक्रिया समय को धीमा कर देता है, और यहाँ तक कि उन जगहों पर भी नई त्रुटियाँ पैदा कर सकता है जहाँ पहले कोई त्रुटि नहीं थी। शोधकर्ताओं के लिए चुनौती एक ऐसा सिस्टम बनाने की रही है जो यह जान सके कि कब गहराई से सोचना है और कब एक त्वरित, सीधा उत्तर देना है, और इसके लिए हर बार पूरे मॉडल को शून्य से फिर से बनाने की आवश्यकता न हो।
द यूनिवर्सिटी ऑफ क्वींसलैंड और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने 'QA-Merging' नामक एक नए दृष्टिकोण के साथ इस दुविधा का समाधान किया है। एक एकल मॉडल को गहरे चिंतन और त्वरित उत्तरों के बीच स्विच करना सीखने के लिए प्रशिक्षित करने के बजाय—एक ऐसी प्रक्रिया जिसमें भारी मात्रा में डेटा और महंगी कंप्यूटिंग समय की आवश्यकता होती है—उन्होंने दो मौजूदा मॉडलों को एक में संयोजित किया। एक मॉडल कठिन समस्याओं के लिए विस्तृत, लंबी विचार श्रृंखलाएं उत्पन्न करने में विशेषज्ञ था, जबकि दूसरे को सरल कार्यों के लिए संक्षिप्त, छोटे उत्तर देने के लिए प्रशिक्षित किया गया था। इन दो अलग-अलग "व्यक्तित्वों" को एक एकल इकाई में विलय करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो प्राप्त होने वाले विशिष्ट प्रश्न के आधार पर अपने व्यवहार को अनुकूलित कर सकता है। परिणाम एक ऐसा मॉडल है जो जटिल गणितीय समस्याओं को गहन तर्क के साथ हल करने की क्षमता बनाए रखता है, लेकिन आसान प्रश्नों के लिए तुरंत एक संक्षिप्त, कुशल प्रतिक्रिया में बदल सकता है, जिससे 'ओवरथिंकिंग' की बर्बादी प्रभावी रूप से समाप्त हो जाती है।
इस खोज का मूल इस बात में निहित है कि शोधकर्ताओं ने दोनों मॉडलों को कैसे संयोजित करने का निर्णय लिया। उन्होंने केवल दो प्रोग्रामों की गणितीय सेटिंग्स का औसत नहीं निकाला, जो एक सामान्य तकनीक है और अक्सर उनकी अनूठी शक्तियों को धुंधला कर देती है। इसके बजाय, उन्होंने देखा कि लंबी और छोटी तर्क प्रक्रिया के बीच का अंतर मॉडल की आंतरिक परतों (layers) में समान रूप से वितरित नहीं है। मॉडल को एक बहु-स्तरीय संरचना के रूप में सोचें जहाँ सूचना कई चरणों से गुजरती है। शोधकर्ताओं ने पाया कि दोनों सोचने की शैलियों के बीच का अंतर केवल कुछ विशिष्ट परतों में केंद्रित है, जबकि शेष संरचना काफी समान रहती है। इन महत्वपूर्ण परतों की पहचान करके, वे केवल उन्हीं हिस्सों पर ध्यान केंद्रित कर सके, जिससे अन्य हिस्सों को बहुत सरल और तेज़ तरीके से समायोजित किया जा सका। इस चयनात्मक रणनीति ने जटिल मॉडल की गहन तर्क क्षमताओं को सुरक्षित रखते हुए सरल मॉडल की दक्षता को एकीकृत करने में मदद की, और यह सब बिना भारी री-ट्रेनिंग (पुनः प्रशिक्षण) की लागत के संभव हुआ।
विलय किए गए मॉडल को सही रास्ता चुनने के बारे में सिखाने के लिए, टीम ने एक छोटा, सावधानीपूर्वक लेबल किया गया डेटासेट तैयार किया। उन्होंने दोनों—लंबी सोच वाले और छोटी सोच वाले मॉडलों को विभिन्न प्रकार के प्रश्न दिए और परिणामों की तुलना की। यदि कोई प्रश्न कठिन था और केवल लंबी सोच वाले मॉडल ने ही उसे सही ढंग से हल किया, तो विलय किए गए मॉडल को लंबी सोच वाले पैटर्न का पालन करने का निर्देश दिया गया। यदि कोई प्रश्न सरल था और दोनों मॉडलों ने उसे सही हल किया, तो सिस्टम को संक्षिप्त और अधिक कुशल उत्तर को प्राथमिकता देने के लिए निर्देशित किया गया। इस प्रक्रिया ने नियमों का एक सेट बनाया जिसने विलय किए गए मॉडल को बताया कि प्रत्येक विशिष्ट प्रश्न के लिए उसे किस तर्क शैली को अपनाना चाहिए। शोधकर्ताओं ने फिर महत्वपूर्ण परतों पर 'फीचर अलाइनमेंट' (विशेषता संरेखण) नामक तकनीक लागू की, जिससे यह सुनिश्चित हुआ कि विलय किए गए मॉडल की आंतरिक स्थिति उस विशेष प्रश्न के लिए पसंदीदा शैली से मेल खाती है। शेष परतों के लिए, उन्होंने एक गणितीय सुधार का उपयोग किया जिसने जटिल गणनाओं की आवश्यकता के बिना आउटपुट को समायोजित किया, जिससे यह सुनिश्चित हुआ कि सिस्टम स्थिर और कुशल बना रहे।
इस दृष्टिकोण के परिणाम चौंकाने वाले थे। सात अलग-अलग रीजनिंग बेंचमार्क पर परीक्षण किए जाने पर, जिनमें ग्रेड-स्कूल की गणित की समस्याओं से लेकर उन्नत स्नातक स्तर के विज्ञान के प्रश्न शामिल थे, विलय किए गए मॉडल ने लगातार मौजूदा तरीकों से बेहतर प्रदर्शन किया। एक विशिष्ट 1.5-बिलियन पैरामीटर वाले मॉडल पर, इस नए दृष्टिकोण ने लंबी सोच वाले मॉडल की तुलना में औसत प्रतिक्रिया की लंबाई को 70 प्रतिशत कम कर दिया, जबकि वास्तव में समग्र सटीकता में सुधार किया। इसका अर्थ है कि सिस्टम न केवल चलाने में तेज़ और सस्ता था, बल्कि अधिक सटीक भी था। इसने जटिल समस्याओं को मूल जटिल मॉडल की तरह ही गहराई के साथ हल किया, लेकिन सरल कार्यों पर व्यर्थ की ओवरथिंकिंग से बच गया। इसके विपरीत, अन्य तरीकों ने जो समान लक्ष्य प्राप्त करने की कोशिश की, या तो व्यापक री-ट्रेनिंग की आवश्यकता थी, जो धीमी और महंगी है, या वे विशिष्ट प्रॉम्प्ट्स (निर्देशों) पर निर्भर थे जो अक्सर मॉडल को सही ढंग से निर्देशित करने में विफल रहे। नए तरीके ने वह संतुलन हासिल किया जो पिछले तकनीकों के लिए संभव नहीं था, यह सिद्ध करते हुए कि एक ही सिस्टम में गति और बुद्धिमत्ता दोनों होना संभव है।
अध्ययन ने इस बात पर भी प्रकाश डाला कि आर्टिफिशियल इंटेलिजेंस मॉडल के सभी हिस्सों के साथ एक जैसा व्यवहार नहीं करना चाहिए। यह दिखाकर कि केवल परतों का एक छोटा समूह ही गहरी और उथली तर्क प्रक्रिया के बीच के अंतर के लिए जिम्मेदार है, शोधकर्ताओं ने प्रदर्शित किया कि एक लक्षित दृष्टिकोण 'ब्लैंकेट' (व्यापक) दृष्टिकोण की तुलना में कहीं अधिक प्रभावी है। यह अंतर्दृष्टि बताती है कि भविष्य में आर्टिफिशियल इंटेलिजेंस में सुधार के लिए हमेशा बड़े या अधिक जटिल मॉडल बनाने की आवश्यकता नहीं होगी, बल्कि मौजूदा मॉडलों की क्षमताओं को संयोजित करने और उन्हें परिष्कृत करने के स्मार्ट तरीके खोजने की आवश्यकता होगी। यह कार्य इन शक्तिशाली उपकरणों को रोजमर्रा के उपयोग के लिए अधिक व्यावहारिक बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है, जहाँ गति और लागत सटीकता जितनी ही महत्वपूर्ण हैं। सोचने के मोड के बीच स्विच करना सीखकर, विलय किया गया मॉडल एक अधिक मानवीय दक्षता की नकल करता है, जो जानता है कि कब गहराई से सोचना है और कब तेजी से कार्य करना है, और यह सब बिना किसी महंगे प्रशिक्षण या जटिल निर्देशों के संभव हुआ।
शोधकर्ताओं ने अपने निष्कर्षों को दो अलग-अलग आकार के मॉडलों में सत्यापित किया, जिससे पुष्टि हुई कि यह विधि सिस्टम के पैमाने (स्केल) के बावजूद काम करती है। उन्होंने अपने परिणामों की तुलना सुदृढीकरण शिक्षण (reinforcement learning) और विशिष्ट प्रॉम्प्ट द्वारा निर्देशित मॉडलों सहित प्रतिस्पर्धियों की एक विस्तृत श्रृंखला के विरुद्ध की। हर मामले में, विलय किए गए मॉडल ने सटीकता और दक्षता के बीच बेहतर तालमेल पेश किया। यह कठिन कार्यों पर सबसे गहन मॉडलों के प्रदर्शन से मेल खाने में सक्षम था, जबकि बहुत कम शब्द उत्पन्न करता था, जिसका सीधा अर्थ कम ऊर्जा खपत और तेज़ प्रतिक्रिया समय है। अध्ययन निष्कर्ष निकालता है कि यह लेयर-सेलेक्टिव मर्जिंग (परत-चयनात्मक विलय) तकनीक बड़े मॉडलों को अनुकूलित करने के लिए उपयोग की जाने वाली महंगी प्रशिक्षण विधियों का एक व्यवहार्य और कुशल विकल्प है। यह ओवरथिंकिंग की समस्या के लिए एक व्यावहारिक समाधान प्रदान करता है, यह सुनिश्चित करता है कि आर्टिफिशियल इंटेलिजेंस शक्तिशाली और किफायती दोनों हो सके, जो साधारण अंकगणित से लेकर जटिल तार्किक कटौती तक, हर चीज़ को उचित प्रयास के साथ संभालने के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।