ChainPrune: Evaluating and Reducing Redundancy in Long Chain-of-Thought Reasoning
यह शोध पत्र ChainPrune को प्रस्तुत करता है, जो एक नवीन विधि है जो बहु-मानदंड चयन के लिए स्व-निर्मित पथों को एक वृक्ष संरचना (tree structure) में समेकित करके और DPO-आधारित प्राथमिकता शिक्षण (preference learning) को लागू करके दीर्घ 'चेन-ऑफ-थॉट' तर्क को अनुकूलित करती है, जिससे सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए अतिरेक और कम्प्यूटेशनल ओवरहेड को प्रभावी ढंग से कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स जटिल समस्याओं को हल करने में उल्लेखनीय रूप से कुशल हो गए हैं, लेकिन वे अक्सर ऐसा ऐसे करते हैं जैसे कोई सरल निर्णय पर बहुत अधिक विचार-विमर्श (overthink) कर रहा हो। जब इन आर्टिफिशियल इंटेलिजेंस सिस्टम्स से कोई गणितीय समस्या हल करने या कोड लिखने के लिए कहा जाता है, तो वे अक्सर एक उत्तर तक पहुँचने से पहले विचारों का एक लंबा, घुमावदार रास्ता बनाते हैं। यह प्रक्रिया, जिसे 'चेन-ऑफ-थॉट रीजनिंग' (chain-of-thought reasoning) कहा जाता है, इस बात की नकल करती है कि कैसे इंसान कठिन कार्यों को छोटे चरणों में विभाजित करते हैं। हालाँकि इस पद्धति ने एआई की सटीकता में सुधार किया है, लेकिन एक नई समस्या उभर कर आई है: मॉडल बहुत अधिक सोच रहे हैं। वे अत्यधिक मात्रा में टेक्स्ट उत्पन्न करते हैं, खुद को दोहराते हैं, अनावश्यक रूप से अपने काम की जाँच करते हैं, और ज़रूरत से कहीं ज़्यादा कदम उठाते हैं। यह "ओवरथिंकिंग" कंप्यूटिंग पावर को बर्बाद करती है और सिस्टम को धीमा कर देती है, जिससे यह वास्तविक दुनिया के उपयोग के लिए कम व्यावहारिक हो जाता है। शोधकर्ता अब इन मॉडल्स को यह सिखाने की कोशिश कर रहे हैं कि अपनी गहराई से सोचने की क्षमता खोए बिना संक्षिप्त कैसे रहा जाए।
शोधकर्ताओं की एक टीम ने इस अत्यधिक सोचने की समस्या को हल करने के लिए 'चेनप्रून' (ChainPrune) नामक एक नया दृष्टिकोण विकसित किया है। उन्होंने पाया कि मॉडल को कम शब्द उपयोग करने के लिए कहना अक्सर उल्टा पड़ जाता है। जब मॉडल्स को केवल छोटे टेक्स्ट के लिए पुरस्कृत किया जाता है, तो वे अपने तर्क को छोटे, खंडित टुकड़ों में काट देते हैं। इससे ऐसी स्थिति पैदा होती है जहाँ शब्दों की कुल संख्या तो कम होती है, लेकिन चरणों की संख्या अधिक रहती है, जिससे तर्क का मार्ग लंबा और अक्षम रह जाता है। शोधकर्ता इसे "छद्म-संक्षिप्तता" (pseudo-conciseness) कहते हैं। यह बहुत छोटे, तेज़ कदमों में चलने की कोशिश करने जैसा है; आप प्रति सेकंड कम कदम उठा सकते हैं, लेकिन फिर भी आप एक लंबी दूरी तय करते हैं। उनका लक्ष्य यह था कि वे शब्दों की संख्या और चरणों की संख्या, दोनों को एक साथ कम करें, जिससे यह सुनिश्चित हो सके कि तर्क स्पष्ट और तार्किक बना रहे।
इसे प्राप्त करने के लिए, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो मॉडल के विचारों को एक शाखाओं वाले पेड़ (branching tree) की तरह मानता है। जब मॉडल एक ही समस्या को हल करने के कई अलग-अलग तरीके बनाता है, तो सिस्टम उन चरणों की तलाश करता है जिनका अर्थ एक ही है, भले ही उन्हें अलग तरह से कहा गया हो। उदाहरण के लिए, यदि एक पथ कहता है "कुल योग में एक सौ जोड़ें" और दूसरा कहता है "योग में एक सौ की वृद्धि करें," तो सिस्टम इन समान क्रियाओं को पहचान लेता है। इसके बाद यह इन डुप्लिकेट चरणों को एक एकल, साफ नोड (node) में मिला देता है, जिससे प्रभावी रूप से पेड़ की अनावश्यक शाखाओं को छाँटा (pruning) जा सकता है। यह प्रक्रिया तर्क के एक संक्षिप्त मानचित्र का निर्माण करती है जो सभी आवश्यक तर्क को बनाए रखती है लेकिन दोहराव को हटा देती है।
एक बार जब सिस्टम के पास यह सुव्यवस्थित मानचित्र हो जाता है, तो यह तर्क पथ के सबसे अच्छे संस्करण का चयन करता है। यह केवल सबसे छोटा पथ नहीं चुनता; यह उस पथ की तलाश करता है जो शब्दों में भी छोटा हो और चरणों में भी छोटा हो, और साथ ही सही भी हो। यदि कोई पथ बहुत लंबा है या उसमें त्रुटियाँ हैं, तो उसे हटा दिया जाता है। शोधकर्ता फिर इस उच्च-गुणवत्ता वाले, कुशल डेटा का उपयोग मॉडल को फिर से प्रशिक्षित करने के लिए करते हैं। उन्होंने एक ऐसा तरीका अपनाया जो मॉडल को बेहतर उत्तरों को प्राथमिकता देने के लिए सिखाता है और एक ऐसी तकनीक को जोड़ा जो यह सुनिश्चित करती है कि मॉडल संक्षिप्त होने के प्रयास में अपनी सही ढंग से तर्क करने की क्षमता न खो दे। यह प्रशिक्षण मॉडल को यह सीखने में मदद करता है कि वह स्वाभाविक रूप से संक्षिप्त और संरचित विचार उत्पन्न करे, न कि केवल एक लंबे वाक्य से शब्द काटे।
इस प्रशिक्षण के परिणाम महत्वपूर्ण थे। जब कठिन गणितीय समस्याओं और कोडिंग चुनौतियों पर परीक्षण किया गया, तो चेनप्रून के साथ प्रशिक्षित मॉडल्स ने समस्याओं को पहले की तरह ही सटीकता से हल किया, लेकिन उन्होंने इसे बहुत कम प्रयास के साथ किया। शोधकर्ताओं ने पाया कि मॉडल्स ने तर्क के चरणों की संख्या में लगभग सत्ताईस प्रतिशत की कमी की और टेक्स्ट की कुल मात्रा में अट्ठाईस प्रतिशत से अधिक की कटौती की। इससे भी महत्वपूर्ण बात यह है कि सोचने की गुणवत्ता में सुधार हुआ। मॉडल्स ने कम तार्किक त्रुटियाँ कीं, अनावश्यक रूप से अपने काम पर विचार करना बंद कर दिया, और अपने अन-ट्रेन्ड (untrained) संस्करणों की तुलना में साठ प्रतिशत से अधिक अनावश्यक चरणों को समाप्त कर दिया। यह सुझाव देता है कि तर्क की संरचना पर ध्यान केंद्रित करके, यह संभव है कि आर्टिफिशियल इंटेलिजेंस को एक साथ स्मार्ट और अधिक कुशल बनाया जा सके।
अध्ययन ने एआई को तेज़ बनाने के पिछले प्रयासों की एक गंभीर खामी को भी उजागर किया। कई शुरुआती तरीकों ने मॉडल्स को बहुत अधिक शब्द उपयोग करने के लिए दंडित करके उन्हें छोटा बनाने की कोशिश की थी। शोधकर्ताओं ने दिखाया कि यह दृष्टिकोण अक्सर "छद्म-संक्षिप्तता" की समस्या की ओर ले जाता है, जहाँ मॉडल संक्षिप्त तो दिखता है लेकिन वास्तव में अक्षम होता है। इसके विपरीत, चेनप्रून ने प्रदर्शित किया कि वास्तविक दक्षता चरणों के अर्थ को समझने और डुप्लिकेट को हटाने से आती है, न कि केवल शब्दों को गिनने से। यह निष्कर्ष भविष्य में ऐसे एआई सिस्टम विकसित करने के लिए एक स्पष्ट मार्ग प्रदान करता है जो अनावश्यक विवरणों में उलझे बिना गहराई से सोच सकें, जिससे वे उन रोज़मर्रा के कार्यों के लिए अधिक उपयोगी बन सकें जहाँ गति और स्पष्टता मायने रखती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।