Route to Reason: Adaptive Routing for LLM and Reasoning Strategy Selection
यह शोध पत्र रूट-टू-रीज़न (RTR) का प्रस्ताव करता है, जो एक एकीकृत रूटिंग फ्रेमवर्क है जो बेहतर सटीकता प्राप्त करने के साथ-साथ गणनात्मक लागत को काफी कम करने और ओवरथिंकिंग (अत्यधिक सोचने) से बचने के लिए कार्य की कठिनाई के आधार पर इष्टतम भाषा मॉडल और तर्क रणनीतियों को गतिशील रूप से चुनता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप प्रश्नों की एक आकाशगंगा में नेविगेट करने वाले एक अंतरिक्ष यान के कप्तान हैं। कुछ प्रश्न सरल हैं, जैसे "2+2 क्या है?" या "आकाश का रंग क्या है?" अन्य ब्रह्मांडीय पहेलियाँ हैं, जैसे "मैं ब्लैक होल के माध्यम से एक धूमकेतु के प्रक्षेपवक्र (trajectory) की गणना कैसे करूँ?" आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) में, हमने अविश्वसनीय रूप से शक्तिशाली इंजन बनाए हैं। कुछ छोटे, ईंधन-कुशल स्कूटरों की तरह हैं जो त्वरित कामों के लिए उपयुक्त हैं, जबकि अन्य विशाल, गरजते हुए रॉकेट हैं जो ब्रह्मांड की सबसे कठिन पहेलियों को हल करने में सक्षम हैं।
लंबे समय तक, नियम सरल था: "जब संदेह हो, तो सबसे बड़े रॉकेट का उपयोग करें।" वैज्ञानिकों ने पाया कि यदि वे इन विशाल मॉडलों को हजारों शब्दों के चरण-दर-चरण तर्क उत्पन्न करके अधिक समय तक और अधिक गहराई से सोचने दें, तो वे अविश्वसनीय रूप से कठिन समस्याओं को हल कर सकते हैं। इसे "टेस्ट-टाइम स्केलिंग" कहा जाता है। हालांकि, एक रॉकेट इंजन की तरह, इस शक्ति की एक भारी कीमत भी है: यह भारी मात्रा में ईंधन (कंप्यूटेशनल पावर) जलाता है और इसमें बहुत समय लगता है। इससे भी बदतर यह है कि कभी-कभी रॉकेट इतना उत्साहित हो जाता है कि वह अत्यधिक सोचने लगता है, गोल-गोल घूमने लगता है और अपने ही विचारों में खो जाता है, भले ही उत्तर बहुत सरल क्यों न हो। वैज्ञानिकों के सामने बड़ा सवाल यह था: हमें यह कैसे पता चलेगा कि कब विशाल रॉकेट को फायर करना है और कब बस स्कूटर पर सवार होना है? हमें बिना ऊर्जा बर्बाद किए सही काम के लिए सही उपकरण चुनने का एक तरीका चाहिए।
यहाँ आता है रूट-टू-रीज़न (RTR), एक नया फ्रेमवर्क जिसे यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी ऑफ चाइना के शोधकर्ताओं द्वारा प्रस्तावित किया गया है। RTR को अपने AI के लिए एक सुपर-स्मार्ट, एडेप्टिव जीपीएस (GPS) के रूप में समझें। किसी प्रश्न के लिए आँख बंद करके सबसे शक्तिशाली मॉडल या सबसे जटिल सोचने की शैली चुनने के बजाय, RTR एक ट्रैफिक कंट्रोलर के रूप में कार्य करता है। यह एक प्रश्न को देखता है, तुरंत यह निर्णय लेता है कि वह कितना कठिन है, और फिर दो चीजों पर सेकंड के भीतर निर्णय लेता है: किस AI मॉडल का उपयोग करना है (स्कूटर या रॉकेट) और कौन सी "सोचने की रणनीति" (thinking strategy) अपनानी है (जैसे कि एक सीधा उत्तर, चरण-दर-चरण सूची, या कोड-आधारित गणना)।
शोधकर्ताओं ने पाया कि पुराने तरीके से हर चीज़ के लिए केवल "सर्वश्रेष्ठ" मॉडल चुनना अक्षम था। उन्होंने पाया कि एक साधारण प्रश्न पर एक विशाल, भारी-सोचने वाले मॉडल का उपयोग करने से अक्सर "ओवरथिंकिंग" होती है, जहाँ AI हजारों अनावश्यक शब्द उत्पन्न करके समय और पैसा बर्बाद करता है, और कभी-कभी अपने ही लंबे तर्क के कारण भ्रमित होकर गलत उत्तर भी दे देता है। इसके विपरीत, एक बहुत कठिन गणित की समस्या पर एक छोटे मॉडल का उपयोग करना विफल हो सकता है। RTR इसे हल करता है क्योंकि यह यह अनुमान लगाने में सीखता है कि प्रत्येक संभावित संयोजन (मॉडल और रणनीति) के लिए दो चीजें कितनी संभावित हैं: "इस बात की कितनी संभावना है कि यह उत्तर सही होगा?" और "इसे कहने में कितने शब्दों की आवश्यकता होगी?"
यह करने के लिए, टीम ने एक ऐसी प्रणाली बनाई है जो प्रत्येक प्रश्न के लिए एक "रूटिंग टेबल" बनाती है। यह एक मेनू की तरह है जहाँ प्रत्येक व्यंजन (मॉडल + रणनीति) का एक अनुमानित स्वाद स्कोर (सटीकता) और एक कैलोरी काउंट (टोकन उपयोग) होता है। सिस्टम उस व्यंजन को चुनता है जो न्यूनतम कैलोरी के लिए सर्वोत्तम स्वाद प्रदान करता है। अपने प्रयोगों में, उन्होंने विभिन्न गणित और विज्ञान चुनौतियों पर सात अलग-अलग ओपन-सोर्स मॉडल्स और चार अलग-अलग सोचने की रणनीतियों का परीक्षण किया। परिणाम चौंकाने वाले थे: RTR उन एकल सर्वश्रेष्ठ मॉडल की तुलना में अधिक सटीक रहा जिसका उन्होंने परीक्षण किया था, जबकि इसने 60% से अधिक टोकन (शब्द) कम उपयोग किए। उदाहरण के लिए, एक विशिष्ट गणितीय समस्या पर जहाँ सर्वश्रेष्ठ मॉडल ने गलत उत्तर देने के लिए 4,000 से अधिक शब्द लिए, RTR ने प्रश्न को एक छोटे मॉडल और एक संक्षिप्त रणनीति की ओर निर्देशित किया और इसे केवल 32 शब्दों में सही ढंग से हल किया।
यह पेपर सुझाव देता है कि यह दृष्टिकोण एक प्रमुख कदम है क्योंकि यह केवल एक मॉडल नहीं चुनता; यह एक रणनीति भी चुनता है। यह सिद्ध करता है कि कई मामलों में "कम ही अधिक है" (less is more)। विभिन्न स्तरों की बुद्धिमत्ता और सोचने के विभिन्न तरीकों के बीच गतिशील रूप से स्विच करके, RTR उस 'स्वीट स्पॉट' को प्राप्त करता है जहाँ आपको अपने बजट को जलाए बिना उच्च-गुणवत्ता वाले उत्तर मिलते हैं। शोधकर्ताओं ने यह भी दिखाया कि यह उन प्रश्नों पर भी काम करता है जिन्हें सिस्टम ने पहले कभी नहीं देखा है, जिससे यह साबित होता है कि यह केवल उत्तरों को याद नहीं कर रहा है बल्कि कठिनाई का आकलन करना सीख रहा है। अंततः, RTR AI को स्मार्ट और सस्ता बनाने का एक तरीका प्रदान करता है, यह सुनिश्चित करता है कि सही समस्या के लिए सही मात्रा में दिमागी शक्ति का उपयोग किया जाए, जिससे AI को "विचारों के जाल" में फंसने से बचाया जा सके और कंप्यूटेशनल ऊर्जा की भारी बचत हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।