Grounding latent algorithm routing in transformer reasoning
यह शोधपत्र ROUTEBENCH प्रस्तुत करता है और यह प्रदर्शित करता है कि स्क्रैच से प्रशिक्षित डेंस ट्रांसफॉर्मर (dense transformers) लेटेंट डेटा रेजिम्स (latent data regimes) के आधार पर सॉल्वर परिवारों को अनुकूल रूप से चुनने के लिए स्थिर, व्याख्या योग्य आंतरिक रूटिंग तंत्र विकसित कर सकते हैं, जिससे विभिन्न व्यवधानों और प्राकृतिक भाषा प्रस्तुतियों में उच्च रूटिंग सटीकता और मजबूती प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान लेकिन बहुत ही शाब्दिक (literal) छात्र को गणित की समस्याएँ हल करना सिखा रहे हैं। आप उसे केवल उत्तर नहीं देते; आप पहले उसे कुछ उदाहरण देते हैं, जैसे "यहाँ हम देखते हैं कि गायब टुकड़ों वाली पहेली को कैसे हल किया जाता है," और उसके बाद "यहाँ हम एक टूटी हुई मशीन को कैसे ठीक करते हैं।" इसे इन-कॉन्टेक्स्ट लर्निंग (in-context learning) कहा जाता है। दुनिया का सबसे बड़ा रहस्य यह है कि: छात्र यह कैसे पता लगाता है कि किस नियम का उपयोग करना है? क्या वह केवल उदाहरणों को रट लेता है, या उसके मस्तिष्क के अंदर एक छिपा हुआ "स्विच" है जो कहता है, "ओह, यह एक पहेली जैसा है, इसलिए मैं पहेली के नियमों का उपयोग करूँगा"?
लंबे समय तक, वैज्ञानिकों ने सोचा कि ये AI मॉडल केवल एक विशाल, धुंधले मस्तिष्क की तरह हैं जो सभी नियमों को आपस में मिलाने की कोशिश करते हैं। लेकिन क्या होगा अगर, गहराई में, मॉडल वास्तव में एक स्मार्ट ट्रैफिक कंट्रोलर की तरह काम कर रहा हो? क्या होगा अगर वह किसी समस्या को देख सके, यह समझ सके कि, "हे, इसे एक नुकीले, स्पार्स (sparse) समाधान की आवश्यकता है," या "नहीं, इस एक स्मूथ और रोबस्ट समाधान की आवश्यकता है," और फिर चुपचाप अपनी सोचने की प्रक्रिया को सही टूल की ओर मोड़ दे? यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: क्या एक 'डेंस' (dense) AI मॉडल (जिसमें कोई विशेष "स्कीच" हार्डवेयर बना हुआ नहीं है) केवल मिश्रित समस्याओं पर अभ्यास करके अपना खुद का आंतरिक ट्रैफिक कंट्रोलर बना सकता है?
इन शोधकर्ताओं ने, जिन्होंने COLM 2026 सम्मेलन में अपना अध्ययन प्रकाशित किया है, इस विचार का परीक्षण करने के लिए ROUTEBENCH नामक एक नए खेल का निर्णय लिया। उन्होंने एक डिजिटल खेल का मैदान बनाया जहाँ खेल के "नियम" गुप्त रूप से बदलते रहते हैं। कभी डेटा 'स्पार्स' होता है (जैसे बिखरे हुए कुछ बिंदु), कभी यह 'नॉइजी' (noisy) होता है (जैसे एक तूफानी दिन), और कभी यह 'लोकल' (local) होता है (जैसे एक पड़ोस का नक्शा)। उन्होंने अलग-अलग आकार के AI मॉडल को—44 मिलियन से लेकर 612 मिलियन "न्यूरॉन्स" तक—इन समस्याओं को हल करने के लिए प्रशिक्षित किया, बिना उन्हें कभी यह बताए कि कौन सा नियम उपयोग करना है।
उन्होंने क्या पाया: बड़े मॉडलों ने केवल अनुमान नहीं लगाया; उन्होंने वास्तव में एक छिपा हुआ "रूटर" (router) बनाना सीख लिया। जब समस्या एक स्पार्स पहेली से बदलकर एक नॉइजी तूफान में बदल गई, तो मॉडल का आंतरिक व्यवहार काम के लिए सबसे अच्छे टूल से मेल खाने के लिए बदल गया, भले ही प्रश्नों को लिखने का तरीका बिल्कुल वैसा ही रहा हो। यह केवल प्रश्न के स्वरूप को रटना नहीं था; यह समस्या की प्रकृति के प्रति प्रतिक्रिया देना था।
इसे एक ऐसे शेफ की तरह समझें जो सूप को चखकर तुरंत जान जाता है कि उसमें नमक, काली मिर्च या नींबू डालना चाहिए, भले ही हर बार कटोरा बिल्कुल एक जैसा क्यों न दिखे। शोधकर्ताओं ने इसे मॉडल के मस्तिष्क में "छेड़छाड़" करके सिद्ध किया। उन्होंने पाया कि यदि वे विशिष्ट आंतरिक संकेतों को थोड़ा सा भी बदलते हैं, तो वे मॉडल को "स्पर्सिटी टूल" से "रोबस्टनेस टूल" का उपयोग करने के लिए मजबूर कर सकते हैं, और मॉडल अभी भी एक सही उत्तर देगा। यह सुझाव देता है कि मॉडल ने एक प्रकार का आंतरिक "इंडक्टिव बायस" (inductive bias) डिटेक्टर विकसित कर लिया है—डेटा की छिपी हुई संरचना को महसूस करने का एक तरीका और उसके अनुसार अपनी सोच को निर्देशित करने का एक तरीका।
हालाँकि, एक पेच है। यह शोध पत्र बहुत सावधानी से कहता है कि यह केवल उनके नियंत्रित खेल में काम करता है। उन्होंने यह साबित नहीं किया है कि आपके फोन पर चैट करने वाले विशाल AI मॉडल (जैसे वे जो निबंध या कोड लिखते हैं) में भी यही सुपरपावर है। वास्तव में, उन्होंने दिखाया कि यदि आप सब कुछ बिना इन विशिष्ट 'मिक्स रिजीम्स' (mixed regimes) पर प्रशिक्षण दिए मिला देते हैं, तो मॉडल ठीक से रूट (route) करने में विफल रहता है। "ट्रैफिक कंट्रोलर" तभी प्रकट होता है जब मॉडल को विशेष रूप से बदलते हुए परिदृश्यों को संभालने के लिए प्रशिक्षित किया जाता है।
उनके द्वारा परीक्षण किए गए मॉडलों के लिए परिणाम प्रभावशाली हैं। 306-मिलियन-पैरामीटर वाला मॉडल उस अंतर को लगभग 81% तक कम करने में सफल रहा जो एक "डम्ब" (dumb) मॉडल (जो हमेशा एक ही नियम चुनता है) और एक "परफेक्ट ओरकल" (perfect oracle) (जो गुप्त नियम को तुरंत जान लेता है) के बीच होता है। इसने 84.1 का "रूट F1" स्कोर प्राप्त किया, जो एक फैंसी तरीका है यह कहने का कि उसने अधिकांश समय काम के लिए सही "टूल" को सही ढंग से पहचाना। इससे भी बेहतर बात यह है कि यह कौशल तब भी बना रहा जब उन्होंने प्रश्नों की शब्दावली बदली या उदाहरणों का क्रम बदला, जिससे यह साबित हुआ कि मॉडल केवल फॉर्मेटिंग को पढ़कर धोखाधड़ी नहीं कर रहा था।
संक्षेप में, यह शोध पत्र बताता है कि डेंस AI मॉडल चतुर ट्रैफिक कंट्रोलर बन सकते हैं, जो वर्तमान स्थिति के अनुकूल होने वाले आंतरिक वेरिएबल्स (variables) का निर्माण करते हैं। लेकिन यह अभी कोई सार्वभौमिक सुपरपावर नहीं है; यह एक विशिष्ट कौशल है जो सही प्रशिक्षण स्थितियों के तहत उभरता है। मॉडल कोई जादुई, सर्वज्ञ रूटर नहीं है; यह एक ऐसा छात्र है जिसने रणनीति बदलना सीख लिया जब शिक्षक ने टेस्ट का फॉर्मेट बार-बार बदला। और यह इन डिजिटल दिमागों के बारे में जानने के लिए एक बहुत ही रोमांचक खोज है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।