Do Co-Located AI Training Jobs Synchronize? Load-Dependent Throttling as a Coupling Mechanism for Phase-Locking Behind a Shared Power Cap

एक विशाल शहर की कल्पना करें जहाँ हजारों विशाल, भूखे रोबोट मिलकर सोचना सीखने के लिए काम कर रहे हैं। ये सामान्य रोबोट नहीं हैं; ये AI ट्रेनिंग क्लस्टर हैं, और ये अविश्वसनीय रूप से बिजली के भूखे हैं। जब वे "सोच" (गणित कर) रहे होते हैं, तो वे बिजली को वैसे ही गटक जाते हैं जैसे एक मैराथन धावक पानी पीता है। लेकिन जब उन्हें अपनी प्रगति साझा करने के लिए आपस में "बात" करनी होती है, तो वे रुक जाते हैं और एक सांस लेते हैं, जिसमें बहुत कम शक्ति खर्च होती है। यह बार-बार होता है, जिससे ऊर्जा की मांग का एक लयबद्ध स्पंदन (पल्स) बनता है जो हर कुछ सेकंड में ऊपर-नीचे होता रहता है।

अब, बिजली ग्रिड की कल्पना एक विशाल, नाजुक ट्रैम्पोलिन के रूप में करें। यदि एक रोबोट इस पर कूदता है, तो ट्रैम्पोलिन थोड़ा उछलता है। यदि एक हजार रोबोट अलग-अलग समय पर कूदते हैं, तो उनके उछाल एक-दूसरे को संतुलित कर देते हैं, और ट्रैम्पोलिन अपेक्षाकृत शांत रहता है। लेकिन क्या होगा यदि, किसी अजीब दुर्घटना के कारण, सभी रोबोट ठीक एक ही क्षण में कूदने का निर्णय ले लें? ट्रैम्पोलिन एक अकेले उछाल की तुलना में एक हजार गुना अधिक बल के साथ नीचे गिरेगा, जिससे उसके स्प्रिंग्स टूट सकते हैं। यह उन लोगों के लिए बड़ी चिंता है जो इन डेटा केंद्रों को चलाते हैं: क्या हजारों स्वतंत्र AI जॉब्स अनजाने में अपनी लय को सिंक (तालमेल) कर सकते हैं, जिससे एक प्रबंधनीय बिजली उतार-चढ़ाव एक विशाल, खतरनाक उछाल में बदल जाए?

यह शोध पत्र बिल्कुल यही सवाल पूछता है। यह इन AI जॉब्स को नर्तकों की एक भीड़ की तरह मानता है। आमतौर पर, हम मानते हैं कि वे अपने स्वयं के संगीत पर नाचते हैं, इसलिए उनकी गतिविधियाँ यादृच्छिक (रैंडम) और सुरक्षित होती हैं। लेकिन लेखकों ने सोचा: क्या कमरे में कोई छिपा हुआ कंडक्टर है जो उन्हें एक ही ताल में नाचने के लिए मजबूर कर सकता है? उन्होंने पाया कि कंडक्टर बिजली ग्रिड नहीं है, बल्कि डेटा सेंटर का अपना सुरक्षा तंत्र है। जब रोबट बहुत अधिक भूखे हो जाते हैं और इमारत की अनुमति से अधिक बिजली खाने की कोशिश करते हैं, तो इमारत का "पावर मैनेजर" हस्तक्षेप करता है और उन्हें धीमा कर देता है। यह शोध पत्र गणित और कंप्यूटर सिमुलेशन का उपयोग करके यह दिखाने के लिए करता है कि यह सुरक्षा प्रणाली वास्तव में एक जाल की तरह काम कर सकती है, जो अनजाने में रोबोट को एक ही समय में कूदने के लिए मजबूर कर देती है यदि सुरक्षा जांच का समय थोड़ा भी धीमा हो।

छिपा हुआ कंडक्टर: क्यों AI जॉब्स सिंक हो सकते हैं

कहानी एक आम गलतफहमी से शुरू होती है। लंबे समय तक, विशेषज्ञों का मानना था कि यदि ये AI जॉब्स सिंक्रोनाइज़ (तालमेल में) होते हैं, तो ऐसा इसलिए होगा क्योंकि वे सभी बिजली ग्रिड से एक ही "धड़कन" सुन रहे हैं, ठीक वैसे ही जैसे लोगों की भीड़ एक ढोल की आवाज सुनकर एक ही ताल में ताली बजाना शुरू कर सकती है। शोध पत्र तर्क देता है कि यह असंभव है। इन AI केंद्रों के भीतर के कंप्यूटरों के पास अपने स्वयं के आंतरिक क्लॉक (घड़ी) होते हैं जो ग्रिड की लय से पूरी तरह अलग होते हैं। ग्रिड की फ्रीक्वेंसी एक दूर के ढोल की थाप की तरह है जिसे रोबोट सुन ही नहीं सकते।

तो, यदि ग्रिड कंडक्टर नहीं है, तो कौन है? लेखकों ने असली अपराधी खोज निकाला है: लोड-डिपेंडेंट थ्रॉटलिंग (भार-निर्भर नियंत्रण)।

एक डेटा सेंटर की कल्पना एक व्यस्त रेस्टोरेंट की तरह करें जिसमें रसोई द्वारा एक बार में कितना भोजन पकाया जा सकता है, इसकी एक सख्त सीमा (पावर कैप) है। यदि शेफ (AI जॉब्स) सभी एक ही समय में भारी दावत का ऑर्डर देने की कोशिश करते हैं, तो रसोई अपनी सीमा तक पहुँच जाती है। मैनेजर को हस्तक्षेप करना पड़ता है और शेफ को धीमा होने के लिए कहना पड़ता है। इसे "थ्रॉटलिंग" कहते हैं।

यहाँ मोड़ आता है: मैनेजर केवल सबको समान रूप से धीमा नहीं करता है। मैनेजर केवल उन्हीं शेफ को धीमा करता है जो वर्तमान में खाना बना रहे हैं ("कंप्यूट" चरण)। जो शेफ केवल सामग्री का इंतजार कर रहे हैं ("कम्युनिकेशन" चरण), उन्हें प्रभावित नहीं किया जाता है। क्योंकि सभी शेफ थोड़े अलग-अलग शेड्यूल पर हैं, यह एक अजीब फीडबैक लूप बनाता है। यदि शेफ का एक समूह संयोग से एक ही समय में खाना बना रहा है, तो मैनेजर उन्हें धीमा कर देता है। यह देरी उन्हें अपना खाना बाद में खत्म करने के लिए मजबूर करती है, जो अनजाने में उन्हें अगले राउंड की शुरुआत बाकी सभी के साथ एक ही समय पर करने के लिए धकेल सकती है।

"बहुत धीमे" सुरक्षा चेक का खतरा

शोध पत्र एक चतुर गणितीय मॉडल (जो कि एक प्रसिद्ध सिद्धांत 'कुरामोटो मॉडल' पर आधारित है, जो यह बताता है कि जुगनू कैसे एक साथ चमकते हैं) का उपयोग यह पता लगाने के लिए करता है कि यह कब होता है। उन्होंने पाया कि मैनेजर की प्रतिक्रिया की गति ही मुख्य कुंजी है।

• तेज प्रतिक्रिया (सुरक्षित): यदि मैनेजर बिजली के उपयोग की जांच करता है और शेफ को लगभग तुरंत (मिलीसेकंड के भीतर) धीमा कर देता है, तो सिस्टम वास्तव में एंटी-सिंक्रोनाइज्ड होता है। जो शेफ खाना बना रहे हैं उन्हें धीमा कर दिया जाता है, जबकि अन्य चलते रहते हैं। यह उन्हें एक-दूसरे से दूर धकेलता है, जिससे उनकी लय अराजक और सुरक्षित हो जाती है। कुल बिजली का उतार-चढ़ाव छोटा रहता है, जो केवल जॉब्स की संख्या के वर्गमूल ($\sqrt{N}$) के रूप में बढ़ता है।
• धीमी प्रतिक्रिया (खतरनाक): यदि मैनेजर प्रतिक्रिया देने में बहुत अधिक समय लेता है—विशेष रूप से, यदि देरी एक कुकिंग साइकिल (लगभग 1 से 3 सेकंड) के आधे समय से अधिक है—तो सिस्टम बदल जाता है। सुरक्षा जांच एक जाल बन जाती है। यह देरी शेफ को अनजाने में उनके कुकिंग राउंड को एक साथ लाने के लिए मजबूर कर देती है। अचानक, एक अराजक भीड़ के बजाय, वे सभी एक साथ खाना बनाना शुरू कर देते हैं।

जब ऐसा होता है, तो बिजली का उछाल धीरे-धीरे नहीं बढ़ता; यह विस्फोट की तरह होता है। $\sqrt{N}$ (जहाँ $N$ जॉब्स की संख्या है) के कारक के रूप में बढ़ने के बजाय, यह $N$ के कारक के रूप में बढ़ता है। यदि आपके पास 1,000 जॉब्स हैं, तो बिजली का उतार-चढ़ाव एक एकल जॉब की तुलना में 1,000 गुना बड़ा हो जाएगा, न कि केवल लगभग 31 गुना। यह सुसंगत (कोहेरेंट) उछाल इमारत की बिजली सीमाओं और ग्रिड के इंटरकनेक्शन समझौतों से टकरा सकता है, जिससे ब्लैकआउट या उपकरणों को नुकसान हो सकता है।

"हारमोनिक" जाल

शोध पत्र ने एक और गुप्त खामी भी खोजी। भले ही मैनेजर मुख्य कुकिंग रिदम पर शेफ को सिंक होने से रोकने के लिए पर्याप्त तेज़ हो, फिर भी वे एक तेज़, छिपी हुई लय पर सिंक हो सकते हैं।

कल्पना करें कि शेफ एक पैटर्न में खाना बना रहे हैं: पकाओ, रुको, पकाओ, रुको। यदि मैनेजर बहुत धीमा है, तो शेफ शायद "पकाओ" वाले हिस्से पर सिंक न हों, लेकिन वे अनजाने में "रुको" वाले हिस्से पर, या दोनों के संयोजन पर सिंक हो सकते हैं। लेखक इसे "हारमोनिक लॉकिंग" कहते हैं। यह एक समूह के एक साथ चलने की कोशिश जैसा है; वे शायद अपने बाएं पैर के साथ कदम मिलाने में विफल हो जाएं, लेकिन अपने दाहिने पैरों को पूर्ण ताल में पटकने में सफल हो सकते हैं। यह अभी भी एक बड़ा बिजली उछाल पैदा कर सकता है, भले ही मुख्य लय सुरक्षित दिख रही हो। शोध पत्र दिखाता है कि यदि AI जॉब्स का बेड़ा बहुत एकसमान (सभी बिल्कुल एक ही कार्य कर रहे हैं) है, तो उनके इन जालों में फंसने की संभावना बहुत अधिक होती है।

सिंक को कैसे रोकें

अच्छी खबर यह है कि डेटा सेंटर ऑपरेटर के पास इसकी चाबी है। चूंकि समस्या सुरक्षा जांच के समय और कार्यों की एकरूपता के कारण है, इसलिए इसका समाधान सॉफ्टवेयर-आधारित है और इसके लिए नए पावर प्लांट बनाने या महंगी बैटरी खरीदने की आवश्यकता नहीं है।

1. मैनेजर को तेज़ करें: सबसे महत्वपूर्ण सुधार बिजली प्रबंधन प्रणाली को तेज़ बनाना है। यदि सिस्टम मिलीसेकंड में प्रतिक्रिया दे सकता है (एक कुकिंग साइकिल के आधे समय से बहुत कम), तो "प्रतिकर्षण" (रिपल्सिव) बल काम करता है, और जॉब्स स्वाभाविक रूप से बिखर जाते हैं। शोध पत्र सुझाव देता है कि आधुनिक इलेक्ट्रिकल कैपिंग सुरक्षित होने के लिए पर्याप्त तेज़ है, लेकिन पुराने या धीमे थर्मल कंट्रोल (जो गर्मी पर प्रतिक्रिया करते हैं) बहुत सुस्त और खतरनाक हो सकते हैं।
2. शेफ को अलग बनाएं: शोध पत्र ने पाया कि विविधता एक ढाल है। यदि AI जॉब्स सभी थोड़ी अलग चीजें कर रहे हैं और उनकी गति थोड़ी अलग है, तो उन्हें सिंक्रोनाइज़ करना बहुत कठिन होता है। एक समान जॉब्स का बेड़ा सबसे खतरनाक है; एक मिश्रित बेड़ा अधिक सुरक्षित है।
3. "फेज स्कैटरिंग" (चरण बिखराव) का तरीका: लेखक एक नई शेड्यूलिंग रणनीति का प्रस्ताव करते हैं जिसे "फेज-स्कैटरिंग" कहा जाता है। यह एक डीजे द्वारा अलग-अलग समूहों के लिए एक ही गाना चलाने लेकिन उन्हें अलग-अलग समय पर शुरू करने जैसा है। शेड्यूलर जानबूझकर कुछ जॉब्स को देरी से शुरू करेगा या उन्हें थोड़ा तेज़ करेगा ताकि वे कभी भी एक लाइन में न आ सकें। इसमें दक्षता (थ्रूपुट) का थोड़ा सा नुकसान होता है, लेकिन यह बड़े बिजली उछाल को रोकता है।

यह शोध पत्र वास्तव में क्या कहता है (और क्या नहीं कहता)

यह स्पष्ट करना महत्वपूर्ण है कि इस शोध पत्र ने क्या सिद्ध किया है। लेखकों ने वास्तविक डेटा सेंटर में जाकर इसे घटित होते हुए नहीं मापा है। इसके बजाय, उन्होंने एक विस्तृत गणितीय मॉडल बनाया और विभिन्न स्थितियों के तहत क्या होगा यह देखने के लिए हजारों कंप्यूटर सिमुलेशन चलाए।

• उन्होंने सिद्ध किया कि यह तंत्र मौजूद है: लोड-डिपेंडेंट थ्रॉटलिंग वास्तव में जॉब्स को सिंक्रोनाइज़ करने वाले एक कपलिंग बल के रूप में कार्य कर सकती है।
• उन्होंने सिद्ध किया कि प्रभाव का चिन्ह (साइन) देरी पर निर्भर करता है: तेज़ देरी प्रतिकर्षण करती है (सुरक्षित), धीमी देरी आकर्षण पैदा करती है (खतरनाक)।
• उन्होंने सिमुलेशन के माध्यम से दिखाया कि यदि देरी बहुत लंबी है, तो सिस्टम एक सिंक्रोनाइज़्ड अवस्था में "अटक" सकता है, भले ही आप बाद में इसे ठीक करने की कोशिश करें। इसे हिस्टेरेसिसिस (hysteresis) कहा जाता है।
• उन्होंने यह सिद्ध नहीं किया कि यह वर्तमान में हर डेटा सेंटर में हो रहा है। वे सुझाव देते हैं कि यह एक वास्तविक जोखिम है जिसे ऑपरेटरों को जांचना चाहिए।
• उन्होंने यह सिद्ध नहीं किया कि ग्रिड निश्चित रूप से ध्वस्त हो जाएगा। वे कहते हैं कि यह एक "सबसे खराब स्थिति" (वस्ट-केस) परिदृश्य है जिससे ऑपरेटरों को बचना चाहिए।

शोध पत्र एक चुनौती के साथ समाप्त होता है: वे अपने सिद्धांत को सिद्ध करने के लिए एक सरल प्रयोग का प्रस्ताव करते हैं। यदि आप दो AI जॉब्स लेते हैं, उन्हें एक ही पावर कैप के पीछे रखते हैं, और उनके बिजली उपयोग को मापते हैं, तो आपको देखना चाहिए कि वे एक-दूसरे को "प्रतिकर्षित" (एंटी-सिंक) करते हैं यदि नियंत्रण तेज़ है। यदि नियंत्रण धीमा है, तो वे एक साथ सिंक हो जाएंगे। यह प्रयोग वह "स्मोकिंग गन" है जो वास्तविक दुनिया में उनके सिद्धांत की पुष्टि कर सकता है।

संक्षेप में, शोध पत्र चेतावनी देता है कि वे सुरक्षा प्रणालियाँ जिन्हें हमारे बिजली ग्रिड की रक्षा के लिए बनाया गया है, यदि सही ढंग से ट्यून नहीं की गईं, तो अनजाने में हमारे AI रोबोट को एक खतरनाक, सिंक्रोनाइज़्ड उन्माद में नाचने के लिए मजबूर कर सकती हैं। लेकिन समाधान कोड में ही है: चेक्स को तेज़ करें, जॉब्स को मिलाएँ, और लय को अराजक बनाए रखें।