ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals
ScoutRoute एक हल्का, पोस्ट-हॉक रूटिंग फ्रेमवर्क है जो एक सस्ते स्काउट मॉडल के एकल फॉरवर्ड पास से आंतरिक संकेतों का लाभ उठाकर विषम संग्रहों से विशेषज्ञ मॉडलों को कुशलतापूर्वक चुनता है, जिससे अंतर्निहित भाषा मॉडलों को संशोधित किए बिना बेहतर रूटिंग सटीकता और अंशांकन (कैलिब्रेशन) प्राप्त होता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटरों ने पढ़ना, लिखना और तर्क करना इतनी कुशलता से सीख लिया है जो कभी असंभव लगता था। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, वाक्यों में आगे क्या आएगा, इसका अनुमान लगाने के लिए विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं, जिससे वे प्रश्न पूछने, कोड लिखने और समस्याओं को हल करने में सक्षम होते हैं। हालांकि, जैसे-जैसे ये मॉडल अधिक सक्षम होते जा रहे हैं, इन्हें चलाना भी अविश्वसनीय रूप से महंगा होता जा रहा है, क्योंकि प्रत्येक पूछे गए प्रश्न के लिए भारी मात्रा में कंप्यूटिंग पावर और मेमोरी की आवश्यकता होती है। इसे हल करने के लिए, शोधकर्ताओं ने "मिक्सचर ऑफ एक्सपर्ट्स" (mixture of experts) नामक एक रणनीति विकसित की है। एक विशेषज्ञ टीम की कल्पना करें, जहाँ प्रत्येक सदस्य एक विशिष्ट क्षेत्र, जैसे कि गणित, कोडिंग या सामान्य ज्ञान का विशेषज्ञ है। पूरी टीम को हर एक समस्या पर काम करने के लिए कहने के बजाय, एक स्मार्ट सिस्टम प्रश्न को उस एक विशेषज्ञ की ओर निर्देशित करता है जो उसे संभालने के लिए सबसे उपयुक्त हो। यह सशर्त दृष्टिकोण ऊर्जा और समय बचाता है, लेकिन यह एक नई, कठिन चुनौती पैदा करता है: आप विशेषज्ञ से पूछने से पहले यह कैसे जान सकते हैं कि किसे चुनना है?
वर्षों से, मानक समाधान एक अलग "राउटर" (router) नेटवर्क को विशेषज्ञों के साथ प्रशिक्षित करना रहा है, ताकि उन्हें शुरुआत से ही मिलकर काम करना सिखाया जा सके। यह नियंत्रित वातावरण में तो अच्छा काम करता है, लेकिन उन मामलों में विफल हो जाता है जहाँ विभिन्न समूहों द्वारा स्वतंत्र रूप से प्रशिक्षित मॉडलों के संग्रह का उपयोग करना हो। उन मामलों में, राउटर को विशेषज्ञों से आसानी से जोड़ा नहीं जा सकता है। अन्य तरीकों ने प्रश्न की शब्दावली का विश्लेषण करके या प्रश्न को हर एक मॉडल के माध्यम से चलाकर यह अनुमान लगाने की कोशिश की कि कौन सबसे अच्छा उत्तर देगा, लेकिन ये दृष्टिकोण या तो बहुत अस्पष्ट हैं या व्यावहारिक होने के लिए बहुत धीमे हैं। मूल समस्या बनी हुई है: हर मॉडल से काम कराए बिना यह तेजी से और सटीक रूप से भविष्यवाणी कैसे की जाए कि कौन सा मॉडल सफल होगा।
शोधकर्ताओं की एक टीम ने इस पहेली को सुलझाने के लिए "स्काउट रूट" (ScoutRoute) नामक एक नया दृष्टिकोण प्रस्तावित किया है। जटिल, पूर्व-प्रशिक्षित राउटरों या महंगे मल्टी-मॉडल जांचों पर निर्भर रहने के बजाय, उनकी विधि निर्णय लेने के लिए एक एकल, हल्के वजन वाले "स्काउट" (scout) मॉडल का उपयोग करती है। प्रक्रिया तब शुरू होती है जब एक प्रश्न आता है। सिस्टम इस प्रश्न को केवल एक बार स्काउट मॉडल के माध्यम से भेजता है। जैसे ही स्काउट टेक्स्ट को प्रोसेस करता है, वह आंतरिक संकेत उत्पन्न करता है—डेटा के छिपे हुए पैटर्न जो यह दर्शाते हैं कि मॉडल प्रश्न को कैसे समझता है और अपने स्वयं के उत्तर के बारे में वह कितना आश्वस्त है। शोधकर्ताओं ने पाया कि इन आंतरिक संकेतों में आश्चर्यजनक रूप से बहुत सारी जानकारी होती है कि अन्य, अलग-अलग मॉडल उसी कार्य पर कैसा प्रदर्शन करेंगे।
यह सिस्टम इन संकेतों का दो अलग-अलग तरीकों से उपयोग करता है, जो पूछे जा रहे प्रश्न के प्रकार पर निर्भर करता है। पहला, यह स्काउट मॉडल से प्राप्त छिपे हुए पैटर्न का विश्लेषण करने के लिए एक सरल गणितीय उपकरण का उपयोग करता है ताकि यह अनुमान लगाया जा सके कि किसी विशिष्ट विशेषज्ञ के सही उत्तर देने की कितनी संभावना है। यह गणित की समस्याओं को हल करने या कोड लिखने जैसे विशिष्ट कार्यों के लिए विशेष रूप से प्रभावी है। दूसरा, सामान्य ज्ञान या कॉमन सेंस से जुड़े व्यापक प्रश्नों के लिए, सिस्टम उन कॉन्फिडेंस स्कोर (confidence scores) को देखता है जो स्काउट मॉडल सोचते समय स्वाभाविक रूप से उत्पन्न करता है। इन दोनों प्रकार की जानकारी को जोड़कर, सिस्टम यह अनुमान लगाने के बारे में अत्यधिक सूचित निर्णय ले सकता है कि किस विशेषज्ञ को चुनना है। महत्वपूर्ण बात यह है कि निर्णय लेने की यह पूरी प्रक्रिया स्काउट मॉडल द्वारा डेटा के माध्यम से एक एकल पास (single pass) पूरा करने के बाद होती है, जिसका अर्थ है कि अंतिम चयन तक किसी अन्य मॉडल को चलाने की आवश्यकता नहीं होती है।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने पांच अलग-अलग ओपन-सोर्स लैंग्वेज मॉडल्स का उपयोग करके एक प्रयोग स्थापित किया, जिनमें छोटे, सामान्य-उद्देश्य वाले मॉडल्स से लेकर बड़े, विशेष रूप से गणित या कोding के लिए प्रशिक्षित मॉडल्स शामिल थे। उन्होंने गणितीय तर्क, कोड जनरेशन, कॉमन सेंस और सामान्य ज्ञान को कवर करने वाले चार प्रमुख बेंचमार्क पर इस सिस्टम का परीक्षण किया। परिणामों ने दिखाया कि स्काउट रूट विधि ने अन्य रूटिंग रणनीतियों को लगातार पछाड़ दिया। जब सिस्टम को उपलब्ध विशेषज्ञों के बीच चयन करना था, तो इसने लगभग 67.8% बार सही विशेषज्ञ का चयन किया। यह केवल कॉन्फिडेंस स्कोर या केवल हिडन पैटर्न विश्लेषण का उपयोग करने की तुलना में एक महत्वपूर्ण सुधार था, जो दोनों ही लगभग 63 से 65% के आसपास थे। जबकि एक आदर्श, सैद्धांतिक सिस्टम जो पहले से ही उत्तर जानता हो, लगभग 82% तक पहुँच सकता है, स्काउट रूट विधि केवल एक अंश कंप्यूटिंग संसाधनों का उपयोग करके उस आदर्श के काफी करीब पहुँच गई।
सबसे दिलचस्प खोजों में से एक यह थी कि सबसे अच्छा "स्काउट" मॉडल आवश्यक रूप से सबसे बड़ा या सबसे विशिष्ट नहीं था। वास्तव में, 'Phi-3 Mini' नामक एक छोटा, सामान्य-उद्देश्य वाला मॉडल, बड़े और विशिष्ट गणित या कोडिंग मॉडलों की तुलना में एक स्काउट के रूप में बेहतर प्रदर्शन करता है। यह सुझाव देता है कि विविध विषयों पर प्रशिक्षित एक मॉडल के पास ऐसे आंतरिक प्रतिनिधित्व (internal representations) होते हैं जो कई अलग-अलग प्रकार के विशेषज्ञों के प्रदर्शन की भविष्यवाणी करने के लिए पर्याप्त लचीले होते हैं। शोधकर्ताओं ने यह भी पाया कि उनकी क्षमता का अनुमान लगाने की विधि पारंपरिक कॉन्फिडेंस उपायों की तुलना में बहुत बेहतर कैलिब्रेटेड थी। सरल शब्दों में, जब सिस्टम कहता था कि वह आश्वस्त है, तो पुराने तरीकों की तुलना में, जो केवल इस बात पर ध्यान देते थे कि एक मॉडल कितना निश्चित दिखता है, उसके सही होने की संभावना बहुत अधिक थी। वास्तविक दुनिया के अनुप्रयोगों में यह विश्वसनीयता अत्यंत महत्वपूर्ण है जहाँ गलत चुनाव करना गलत उत्तर या बर्बाद समय का कारण बन सकता है।
यह अध्ययन प्रदर्शित करता है कि एक लैंग्वेज मॉडल के आंतरिक कामकाज में ऐसे हस्तांतरणीय (transferable) सूचनाएं होती हैं जिनका उपयोग अन्य मॉडलों के बारे में निर्णय लेने के लिए किया जा सकता है। एक एकल फॉरवर्ड पास के दौरान इन संकेतों को निकालकर, स्काउट रूट फ्रेमवर्क बिना किसी मॉडल को फिर से प्रशिक्षित किए या जटिल नए रूटिंग नेटवर्क बनाए, विशेषज्ञों के एक विविध संग्रह को प्रबंधित करने का एक व्यावहारिक तरीका प्रदान करता है। निष्कर्ष बताते हैं कि हमें सही मॉडल को खोजने के लिए हर संभावित मॉडल को चलाने की आवश्यकता नहीं है; इसके बजाय, एक एकल, अच्छी तरह से चुना गया स्काउट सटीक चयन करने के लिए पर्याप्त अंतर्दृष्टि प्रदान कर सकता है। यह दृष्टिकोण अधिक कुशल और लचीले आर्टिफिशियल इंटेलिजेंस सिस्टम के द्वार खोलता है, जहाँ विभिन्न मॉडल निर्बाध रूप से एक साथ काम कर सकते हैं, प्रत्येक वही करता है जिसमें वह सर्वश्रेष्ठ है, और एक हल्के और बुद्धिमान निर्णय लेने वाले द्वारा निर्देशित होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।