Grounding Large Language Models as Generalizable Policies in Network Control
यह शोधपत्र ट्रेलब्लेज़र (Trailblazer) को प्रस्तुत करता है, जो डोमेन संरेखण (domain alignment) और अनुकूलन योग्य सहयोग (adaptive collaboration) के माध्यम से लार्ज लैंग्वेज मॉडल्स को नेटवर्क नियंत्रण में स्थापित करता है, जो सिमुलेशन और डौयिन (Douyin) पर एक बड़े पैमाने के औद्योगिक ए/बी टेस्ट (A/B test) दोनों में पारंपरिक नीतियों की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट को केवल केबलों के एक विशाल जाल के रूप में नहीं, बल्कि एक हलचल भरे, अराजक शहर के रूप में कल्पना करें जहाँ लाखों कारें (डेटा) एक ही समय में अपने गंतव्य तक पहुँचने की कोशिश कर रही हैं। कभी सड़कें चौड़ी और खाली होती हैं; कभी-कभी वे पूरी तरह जाम हो जाती हैं। यातायात को सुचारू बनाए रखने के लिए, हमें ट्रैफिक लाइट और पुलिस अधिकारियों की आवश्यकता होती है—ये वे "नियंत्रण नीतियां" (control policies) हैं जो यह तय करती हैं कि डेटा कितनी गति से चलना चाहिए। दशकों से, हमने इन अधिकारियों को दो मुख्य उपकरणों का उपयोग करके बनाया है: या तो हमने मानवीय अनुभव के आधार पर सख्त नियम पुस्तिकाएं लिखीं (जैसे "यदि सड़क लाल है, तो रुकें"), या हमने विशिष्ट ट्रैफिक पैटर्न से सीखने के लिए विशेष रोबोटों को प्रशिक्षित किया। लेकिन समस्या यह है: वास्तविक जीवन अव्यवसाजित है। जब एक नए प्रकार की कार आती है, या अचानक कोई तूफान आता है, तो वे पुरानी नियम पुस्तिकाएं और विशेष रोबोट अक्सर भ्रमित हो जाते हैं, जिससे ट्रैफिक जाम, धीमे वीडियो और निराश ड्राइवर पैदा होते हैं।
यहाँ "लार्ज लैंग्वेज मॉडल" (LLM) का प्रवेश होता है। आप इन्हें उन सुपर-स्मार्ट AI चैटबॉट्स के रूप में जानते होंगे जो कविताएँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और लगभग किसी भी विषय को समझ सकते हैं क्योंकि उन्होंने इंटरनेट का एक बड़ा हिस्सा पढ़ा है। वैज्ञानिक सोच रहे थे: क्या हम इन सर्वज्ञ AI दिमागों को इंटरनेट के ट्रैफिक पुलिस के रूप में उपयोग कर सकते हैं? यह विचार रोमांचक है क्योंकि ये AI सामान्यीकरण (generalizing) करने में माहिर हैं—वे उस स्थिति को संभालने का तरीका निकाल सकते हैं जिसे उन्होंने पहले कभी नहीं देखा है। लेकिन एक पेंच है। ये AI शब्दों को पढ़ने और लिखने के लिए बने हैं, न कि स्पीडोमीटर देखने या यह तय करने के लिए कि कार को कितनी गति से जाना चाहिए। इसके अलावा, वे धीमे और भारी हैं; हर एक कार के लिए निर्णय लेने के लिए उनसे पूछना खुद में एक बड़ा ट्रैफिक जाम पैदा कर देगा। मुख्य सवाल यह है: क्या हम इन शब्द-प्रेमी AI को बिना सब कुछ धीमा किए इंटरनेट के ट्रैफिक लाइट को प्रभावी ढंगते से चलाने के लिए सिखा सकते हैं?
यह शोध पत्र एक चतुर समाधान पेश करता है जिसे Trailblazer कहा जाता है, एक ऐसा फ्रेमवर्क जिसे इन शक्तिशाली AI दिमागों को सामान्यीकरण योग्य नेटवर्क नियंत्रकों में बदलने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने केवल AI को काम करने के लिए मजबूर नहीं किया; उन्होंने इसे सफल बनाने के लिए एक "अनुवादक" और एक "प्रबंधक" बनाया। सबसे पहले, उन्होंने एक डोमेन अलाइनमेंट (domain alignment) प्रणाली बनाई। इसे AI को एक नई भाषा सिखाने के रूप में समझें। उसे टेक्स्ट खिलाने के बजाय, वे नेटवर्क डेटा (जैसे कि डेटा कितनी तेजी से चल रहा है या बफर कितना भरा हुआ है) को एक ऐसे प्रारूप में अनुवादित करते हैं जिसे AI समझ सके, लगभग ट्रैफिक सेंसर रीडिंग को एक ऐसी कहानी में बदलने जैसा जिसे AI पढ़ सके। उन्होंने एक विशेष "डिकोडर" भी बनाया जो AI को कविता लिखने से रोकता है और उसे एक विशिष्ट, वैध ट्रैफिक कमांड आउटपुट करने के लिए मजबूर करता है, जैसे कि "50 Mbps की गति से धीमा हो जाएं।"
हालाँकि, एक अनुवादक के साथ भी, AI वास्तविक समय में प्रत्येक अनुरोध को संभालने के लिए बहुत धीमा है। यदि आप राजमार्ग पर हर एक कार के लिए एक गणित की समस्या हल करने के लिए एक जीनियस से पूछते, तो लाइन कभी आगे नहीं बढ़ पाती। इसलिए, शोधकर्ताओं ने दूसरा स्तर जोड़ा: एडेप्टिव पॉलिसी कोलैबोरेशन (adaptive policy collaboration)। यह दो अधिकारियों की एक टीम की तरह है। एक तेज़, सरल रोबोट है जो आसान, रोज़मर्रा के ट्रैफिक को संभालता है (जब सड़क साफ हो)। दूसरा, सुपर-स्मार्ट AI है, जिसे केवल तभी बुलाया जाता है जब चीजें जटिल या खतरनाक हो जाती हैं (जैसे अचानक दुर्घटना या अजीब ट्रैफिक पैटर्न)। एक स्मार्ट "शेड्यूलर" तय करता है कि कौन सा अधिकारी किस कार को संभालेगा। यदि सड़क सुगम है, तो तेज़ रोबोट कार्यभार संभालता है। यदि स्थिति खराब है, तो शेड्यूलर AI जीनियस को सबसे अच्छा कदम उठाने के लिए बुलाता है।
टीम ने इस विचार का परीक्षण दो तरीकों से किया। पहले, उन्होंने दो बहुत अलग प्रकार के इंटरनेट कार्यों पर बड़े पैमाने पर सिमुलेशन चलाए: एडेप्टिव बिटरेट स्ट्रीमिंग (जो इस तरह है कि टिकटॉक या यूट्यूब जैसे ऐप्स वीडियो की गुणवत्ता को कैसे समायोजित करते हैं ताकि आपको बफरिंग न मिले) और क्लस्टर जॉब शेड्यूलिंग (जिससे बड़े डेटा सेंटर यह तय करते हैं कि कौन सा कंप्यूटर कौन सा कार्य करेगा)। इन सिमुलेशन में, Trailblazer सिस्टम, जो AI द्वारा संचालित है, लगातार मौजूदा सर्वोत्तम तरीकों से बेहतर प्रदर्शन करता रहा। इसने नेटवर्क ट्रैफिक में अप्रत्याशित परिवर्तनों को बहुत बेहतर तरीके से संभाला, और कार्य के आधार पर प्रदर्शन में 3.5% से 41.3% तक सुधार किया।
लेकिन असली जादू तब हुआ जब वे इसे सिमुलेशन से बाहर निकालकर वास्तविक दुनिया में ले गए। उन्होंने इस सिस्टम को Douyin (चीनी संस्करण टिकटॉक) पर तैनात किया, जो करोड़ों दैनिक उपयोगकर्ताओं वाला एक प्लेटफॉर्म है। उन्होंने इस AI-संचालित सिस्टम की तुलना कंपनी की वर्तमान, अत्यधिक अनुकूलित औद्योगिक नीति के साथ करते हुए एक बड़ा तीन-सप्ताह का परीक्षण चलाया। परिणाम आश्चर्यजनक थे। AI सिस्टम ने न केवल काम किया; इसने मानव-निर्मित चैंपियन को भी पीछे छोड़ दिया। इसने अनुमानित रूप से पूरे प्लेटफॉर्म पर उपयोगकर्ताओं द्वारा वीडियो लोड होने के इंतजार में बिताए जाने वाले समय (स्टॉल टाइम) को प्रतिदिन 3,145 घंटे कम कर दिया। यह हर 24 घंटों में 129 दिनों के वीडियो प्लेबैक समय को बचाने के बराबर है।
इस शोध पत्र द्वारा की गई एक सबसे आश्चर्यजनक खोज AI के आकार के बारे में है। आमतौर पर, AI के साथ, बड़ा होना बेहतर होता है। लेकिन शोधकर्ताओं ने पाया कि उन्हें "अर्ली सैचुरेशन" (early saturation) कहते हैं। उन्होंने छोटे से लेकर बहुत बड़े तक विभिन्न आकारों के AI मॉडल का परीक्षण किया, और पाया कि जैसे-जैसे मॉडल बढ़ता गया, प्रदर्शन बेहतर नहीं होता गया। एक बार जब मॉडल एक निश्चित छोटे आकार (लगभग 0.5 बिलियन पैरामीटर्स) तक पहुँच गया, तो वह प्रदर्शन के पठार (plateau) पर पहुँच गया। इसे बड़ा बनाने से यह बिना किसी वास्तविक लाभ के केवल धीमा और महंगा हो गया। यह सुझाव देता है कि इंटरनेट को नियंत्रित करने के लिए, आपको एक विशाल, बहुत भारी दिमाग की आवश्यकता नहीं है; एक संक्षिप्त, कुशल दिमाग वास्तव में एकदम सही है।
इसके अलावा, उन्होंने साबित किया कि "सिलेक्टिव इनवोकेशन" (selective invocation) रणनीति—केवल तभी AI को बुलाना जब वास्तव में इसकी आवश्यकता हो—इसे वास्तविक समय में काम करने के लिए कुंजी है। सरल नियमों को आसान चीजों को संभालने देने और केवल कठिन समस्याओं के लिए AI को जगाने से, उन्होंने सिस्टम को लाइव वीडियो कॉल के लिए आवश्यक सख्त 100-मिलीसेकंड की प्रतिक्रिया समय को पूरा करने के लिए पर्याप्त तेज़ रखा, जबकि जब सबसे अधिक आवश्यकता थी तब उन्हें AI की बुद्धिमत्ता भी प्राप्त हुई।
संक्षेप में, यह शोध पत्र दिखाता है कि हमें अपने सभी नेटवर्क नियमों को विशाल AI मॉडल के साथ बदलने की आवश्यकता नहीं है। इसके बजाय, हम एक स्मार्ट टीम बना सकते हैं जहाँ एक छोटा, अच्छी तरह से प्रशिक्षित AI एक विशेषज्ञ सलाहकार के रूप में कार्य करता है, जो केवल तभी हस्तक्षेप करता है जब स्थिति कठिन हो जाती है। यह दृष्टिकोण इंटरनेट को अधिक मजबूत बनाता है, जिससे यह पहले की तुलना में अप्रत्याशित ट्रैफिक परिवर्तनों को बहुत बेहतर तरीके से संभाल पाता है, और यह ऐसा बिना उन अरबों लोगों के अनुभव को धीमा किए करता है जो हर दिन इसका उपयोग कर रहे हैं। यह एक विशाल, भारी मस्तिष्क बनाने के बजाय एक स्मार्ट, सहयोगात्मक प्रणाली बनाने की ओर एक बदलाव है जो जानती है कि कब गहराई से सोचना है और कब बस चीजों को चलते रहना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।