ML-for-ML

कल्पना कीजिए कि आप एक व्यस्त, साझा रसोई में एक आदर्श चॉकलेट केक बनाने की कोशिश कर रहे हैं। आपके पास एक रेसिपी (आपका मशीन लर्निंग मॉडल) है जिसे तब तक बार-बार बदलने की आवश्यकता है जब तक कि इसका स्वाद बिल्कुल सही न हो जाए। लेकिन इसमें एक पेच है: आप अकेले खाना नहीं बना रहे हैं। अन्य शेफ भी अपनी खुद की रेसिपी चला रहे हैं, जो उन्हीं ओवन, स्टोव और सबसे महत्वपूर्ण रूप से, सामग्री लाने-ले जाने के लिए उसी संकीर्ण गलियारे का उपयोग कर रहे हैं।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "रसोई" एक विशाल क्लाउड कंप्यूटर है, और "सामग्री" डेटा है। एआई को सिखाने के लिए, कंप्यूटरों को लगातार एक-दूसरे से बात करनी पड़ती है, और सुधार करने के तरीके को समझने के लिए "ग्रेडिएंट्स" नामक सूचना के टुककों का आदान-प्रदान करना पड़ता है। इसे डिस्ट्रीब्यूटेड ट्रेनिंग (distributed training) कहा जाता है। आमतौर पर, रसोई का प्रबंधन करने वाले लोग (नेटवर्क इंजीनियर) इस बात पर ध्यान केंद्रित करते हैं कि गलियारा जाम न हो, जबकि शेफ (एआई शोधकर्ता) इस बात पर ध्यान देते हैं कि एक बार में कितना बैटर मिलाना है। वे अलग-अलग साइलो (silos) में काम करते हैं। नेटवर्क टीम ट्रैफिक जाम को हटाने की कोशिश करती है, और एआई टीम बैचों को तेजी से मिलाने की कोशिश करती है। लेकिन क्या होगा अगर एक आदर्श केक पाने का सबसे अच्छा तरीका केवल गलियारे को ठीक करना या तेजी से मिश्रण करना नहीं है, बल्कि दोनों को एक ही समय में, पूर्ण तालमेल के साथ करना है?

यह एक नया पेपर है जिसका नाम "ML-for-ML" है, जो इसी बड़े सवाल को हल करता है। शोधकर्ताओं का एक समूह, जो विश्वविद्यालयों और तकनीकी कंपनियों से है, उनका तर्क है कि नेटवर्क और एआई ट्रेनिंग को दो अलग-अलग समस्याओं के रूप में मानना प्रदर्शन को कम कर रहा है। वे एक नया तरीका प्रस्तावित करते हैं जहाँ एआई और नेटवर्क लगातार एक-दूसरे से बात करते हैं, और लक्ष्य तक तेजी से पहुँचने के लिए संयुक्त निर्णय लेते हैं।

समस्या: दो टीमें, एक अस्त-व्यस्त गलियारा

एआई को प्रशिक्षित करने को एक रिले रेस की तरह समझें जहाँ धावक (कंप्यूटरों) को एक दूसरे को बैटन (डेटा) पास करना होता है। यदि गलियारा अन्य धावकों (बैकग्राउंड ट्रैफिक) से भरा हुआ है, तो बैटन में देरी हो जाएगी।

पारंपरिक रूप से, हमने इसे दो अलग-अलग तरीकों से हल करने की कोशिश की है:

1. नेटवर्क टीम का समाधान: वे गलियारे को चौड़ा या तेज़ बनाने की कोशिश करते हैं। वे "कंजेशन कंट्रोल" (congestion control) का उपयोग करते हैं ताकि भीड़ होने पर धावकों को धीमा किया जा सके, या वे बैटन को कंप्रेस (छोटा) कर देते हैं ताकि वह कम जगह घेरे।
2. एआई टीम का समाधान: वे धावकों के दौड़ने के तरीके को बदलने की कोशिश करते हैं। वे धावकों को बड़े बैटन (बड़े बैच साइज) ले जाने के लिए कह सकते हैं ताकि उन्हें बार-बार रुकना और बदलना न पड़े, या वे उन्हें रुकने और बदलने से पहले अपने आप में कुछ अतिरिक्त चक्कर लगाने के लिए कह सकते हैं।

पेपर का तर्क है कि ये टीमें बिना एक-दूसरे से बात किए "व्हैक-ए-मोल" (whack-a-mole) का खेल खेल रही हैं। यदि नेटवर्क टीम डेटा को कंप्रेस करती है, तो एआई टीम को अपनी दौड़ने की शैली बदलने की आवश्यकता नहीं हो सकती है। लेकिन यदि एआई टीम तय करती है कि उन्हें कम चक्कर लगाने हैं, तो नेटवर्क टीम को डेटा को उतना कंप्रेस करने की आवश्यकता नहीं हो सकती है। जब वे अकेले कार्य करते हैं, तो वे अक्सर ऐसे विकल्प चुनते हैं जो व्यक्तिगत रूप से अच्छे लगते हैं लेकिन संयोजन में टकरा जाते हैं, जिससे सबकी गति धीमी हो जाती है।

समाधान: "ML-for-ML" कंट्रोलर

लेखक एक "कंट्रोलर" पेश करते हैं जो एक सुपर-स्मार्ट हेड शेफ की तरह कार्य करता है। यह शेफ केवल गलियारे या मिक्सिंग बाउल को नहीं देखता; वह दोनों को एक साथ देखता है। उनका लक्ष्य सरल है: केक को यथाशीघ्र "परफेक्ट" (एक विशिष्ट "टारगेट लॉस" तक पहुँचना) बनाना।

इस कंट्रोलर के पास घुमाने के लिए दो सेट नॉब्स (knobs) हैं:

• नेटवर्क नॉब्स: जैसे डेटा को कितना कंप्रेस करना है या इसे कितनी तेजी से भेजना है।
• एआई नॉब्स: जैसे बातचीत करने के लिए रुकने से पहले डेटा का कितना बड़ा बैच प्रोसेस करना है।

एक समय में एक नॉब घुमाने, यह देखने के लिए कि क्या होता है, और फिर दूसरा घुमाने के बजाय, कंट्रोलर दोनों नॉब्स के विभिन्न संयोजनों को एक साथ आज़माता है। वह पूछता है, "यदि मैं अभी डेटा को कंप्रेस करता हूँ और बैच का आकार बढ़ाता हूँ, तो क्या यह केवल डेटा को कंप्रेस करने की तुलना में तेज़ होगा?"

उन्होंने क्या पाया: टीमवर्क का जादू

इसका परीक्षण करने के लिए, शोधकर्ताओं ने सिमुलेशन की एक श्रृंखला चलाई। उन्होंने एक डिजिटल रसोई बनाई जहाँ एक एआई मॉडल (GPT-2 Large) सीखने की कोशिश कर रहा था जबकि अन्य व्यस्त काम (GPT-1B मॉडल) बैकग्राउंड में चल रहे थे, जिससे नेटवर्क जाम हो रहा था।

उन्होंने चार अलग-अलग रणनीतियों की तुलना की:

1. स्टैटिक (Static): कुछ भी न बदलना।
2. नॉब-प्रिसिजन (Knob-Precision): केवल यह बदलना कि डेटा को कितना कंप्रेस किया जाता है।
3. नॉब-जीए (Knob-GA): केवल बैच साइज को बदलना।
4. डिकपल्ड (Decoupled): कंप्रेशन और बैच साइज को अलग-अलग बदलना, जो व्यक्तिगत रूप से सबसे अच्छा दिख रहा था।
5. जॉइंट (Joint - ML-for-ML): दोनों को एक साथ बदलना, सर्वोत्तम जोड़ी की तलाश करना।

परिणाम चौंकाने वाले थे। "डिकपल्ड" दृष्टिकोण, जहाँ दोनों नॉब को अलग-अलग ट्यून किया गया था और फिर उन्हें बस जोड़ दिया गया था, लगातार धीमा था। वास्तव में, इसे "जॉइंट" दृष्टिकोण की तुलना में लक्षित गुणवत्ता तक पहुँचने में 1.13 से 1.42 गुना अधिक समय लगा।

क्यों? क्योंकि सबसे अच्छा विकल्प स्थिति के आधार पर बदलता है।

• जब गलियारा खाली होता है: डेटा को कंप्रेस करना (इसे छोटा बनाना) बहुत अच्छा है क्योंकि यह समय बचाता है, और आपको बात करने के लिए कितनी बार रुकना है, इसे बदलने की आवश्यकता नहीं होती है।
• जब गलियारा जाम होता है: कंप्रेस करना मदद करता है, लेकिन यह पर्याप्त नहीं है। अवशिष्ट (residual) ट्रैफिक अभी भी उच्च है। इस स्थिति में, सबसे अच्छा कदम यह भी है कि भी कम बार बात करने के लिए रुकें (बैच साइज बढ़ाकर)।

"जॉइंट" कंट्रोलर ने इसे मौके पर ही समझ लिया। उसने महसूस किया कि जब नेटवर्क बहुत व्यस्त हो जाता है, तो "कंप्रेस्ड डेटा + कम रुकना" का संयोजन विजेता होता है। "डिकपल्ड" कंट्रोलर, हालांकि, उन व्यक्तिगत सेटिंग्स को चुनता रहा जो अकेले में सबसे अच्छी दिखती थीं, बिना यह समझे कि उस विशिष्ट क्षण में वे एक साथ काम नहीं करतीं।

उनके सबसे चरम परीक्षण में, जहाँ नेटवर्क भारी रूप से कंजस्टेड था, "जॉइंट" रणनीति पुराने तरीकों की तुलना में 42% तक तेजी से लक्षित गुणवत्ता तक पहुँच गई।

निष्कर्ष

पेपर सुझाव देता है कि भविष्य की एआई ट्रेनिंग केवल अलग-थलग तेज़ नेटवर्क या स्मार्ट एल्गोरिदम के बारे में नहीं है। यह एक एकीकृत दृष्टिकोण के बारे में है जहाँ नेटवर्क और एआई एक साथ नृत्य करना सीखते हैं। एक केंद्रीय कंट्रोलर को वास्तविक समय में नेटवर्क सेटिंग्स और एआई सेटिंग्स का सही संयोजन चुनने की अनुमति देकर, हम इन विशाल मॉडलों को काफी तेजी से और अधिक कुशलता से प्रशिक्षित कर सकते हैं।

हालाँकि इसका परीक्षण सिमुलेशन में किया गया था, परिणाम एक शक्तिशाली नए तरीके की ओर संकेत करते हैं जिससे भविष्य की जटिल, भीड़भाड़ वाली डिजिटल रसोई का प्रबंधन किया जा सकता है। नेटवर्क टीम और एआई टीम को अलग-अलग कमरों से एक-दूसरे को निर्देश चिल्लाने के बजाय, वे अंततः एक ही मेज पर बैठ सकते हैं और मिलकर सबसे अच्छा कदम तय कर सकते हैं।