RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress
यह शोध पत्र RepetitionCurse को प्रस्तुत करता है, जो एक कम लागत वाला ब्लैक-बॉक्स हमला है जो सरल पुनरावृत्ति टोकन पैटर्न का उपयोग करके Mixture-of-Experts LLMs में लोड बैलेंसिंग बाधाओं की कमी का फायदा उठाता है, जिससे गंभीर रूटिंग एकाग्रता (routing concentration) उत्पन्न होती है, जिससे कंप्यूटेशनल बाधाएं पैदा होती हैं और इन्फरेंस लेटेंसी (inference latency) तथा सेवा उपलब्धता में महत्वपूर्ण गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, हाई-टेक लाइब्रेरी की कल्पना करें जहाँ हजारों किताबें (यानी "विशेषज्ञ" या "experts") अलग-अलग शेल्फ (यानी "GPUs") पर रखी गई हैं। जब एक लाइब्रेरियन (यानी "राउटर") को कोई अनुरोध मिलता है, तो वह केवल एक किताब नहीं उठाता; वह सवाल का जवाब देने के लिए सबसे अच्छी कुछ किताबों को चुनता है। इसे तेज़ बनाने के लिए, लाइब्रेरी काम को विभाजित करती है: कुछ शेल्फ पहली कुछ किताबों को संभालते हैं, अन्य अगले बैच को संभालते हैं, और वे सभी एक ही समय में काम करते हैं। इस तरह आधुनिक AI मॉडल जिन्हें Mixture-of-Experts (MoE) कहा जाता है, काम करते हैं। उन्हें काम को समान रूप से फैलाकर अत्यधिक कुशल बनाने के लिए डिज़ाइन किया गया है।
हालाँकि, "RepetitionCurse" नामक एक नया शोध पत्र (paper) यह खुलासा करता है कि इस लाइब्रेरी के काम करने के तरीके में एक चालाकी भरी खामी है।
समस्या: "कॉपी-पेस्ट" वाला पैंतरा
शोधकर्ताओं ने पाया कि यदि आप लाइब्रेरियन से एक बहुत ही अजीब, दोहराव वाले पैटर्न (जैसे कि "AI AI AI AI..." को बार-बार टाइप करना) का उपयोग करके कोई प्रश्न पूछते हैं, तो लाइब्रेरियन भ्रमित हो जाता है।
सामान्य तौर पर, लाइब्रेरियन आपकी बातों के अर्थ को समझने के लिए देखता है ताकि यह तय किया जा सके कि कौन सी किताबें चुननी हैं। लेकिन जब आप एक दोहराव वाले पैटर्न का उपयोग करते हैं, तो लाइब्रेरियन अर्थ ढूँढना बंद कर देता है और एक टूटे हुए रिकॉर्ड की तरह व्यवहार करने लगता है। सभी शेल्फ्स के बीच काम को फैलाने के बजाय, लाइब्रेरियन अचानक यह निर्णय लेता है कि इस दोहराव वाले पैटर्न के लिए केवल एक विशिष्ट शेल्फ के पास ही सही किताबें हैं।
परिणाम: एक ट्रैफिक जाम
इसके बाद जो होता है वह यहाँ दिया गया है:
- बॉटलनेक (Bottleneck): सारा काम उस एक विशिष्ट शेल्फ पर डाल दिया जाता है। उस शेल्फ के लाइब्रेरियन उन सभी किताबों को खोजने के लिए पागलों की तरह दौड़ रहे हैं।
- खाली बैठे कर्मचारी: इस बीच, अन्य सभी शेल्फ के लाइब्रेरियन कुछ न करते हुए खड़े हैं, बस उस व्यस्त शेल्फ के काम पूरा करने का इंतज़ार कर रहे हैं।
- देरी: क्योंकि पूरे सिस्टम को अगले चरण पर जाने से पहले उस एक धीमी शेल्फ के बराबर आने का इंतज़ार करना पड़ता है, इसलिए पूरी लाइब्रेरी थम जाती है।
AI की दुनिया में, इस देरी को Time-to-First-Token (TTFT) कहा जाता है। यह वह समय है जो AI को अपना पहला शब्द बोलने में लगता है। सामान्य परिस्थितियों में, यह तेज़ होता है। इस "RepetitionCurse" हमले के तहत, AI को बोलना शुरू करने में 2 से 3 गुना अधिक समय लग सकता है।
यह क्यों मायने रखता है
शोध पत्र इस हमले को Denial-of-Service (DoS) हमला कहता है। यह ऐसा ही है जैसे कोई फास्ट-फूड रेस्टोरेंट में जाए और एक साथ 1,000 एक जैसे, जटिल बर्गर का ऑर्डर दे दे। किचन उन विशिष्ट बर्गरों को बनाने की कोशिश में जाम हो जाता है, और अचानक, वह व्यक्ति जिसे सिर्फ एक साधारण कॉफी चाहिए थी, उसे एक घंटे तक इंतज़ार करना पड़ता है।
- हमला सरल है: आपको हैकर जीनियस होने की ज़रूरत नहीं है। आपको बस दोहराव वाले शब्दों का उपयोग करने की आवश्यकता है। शोध पत्र इसे "ब्लैक-बॉक्स" हमला कहता है, जिसका अर्थ है कि आपको यह जानने की ज़रूरत नहीं है कि AI का दिमाग अंदर से कैसे काम करता है; आपको बस इतना पता होना चाहिए कि शब्दों को दोहराना संतुलन को बिगाड़ देता है।
- यह हर जगह काम करता है: शोधकर्ताओं ने 139 अलग-अलग AI मॉडलों (Mixtral और Qwen जैसे लोकप्रिय मॉडलों सहित) पर इसका परीक्षण किया। उन्होंने पाया कि लगभग सभी मॉडल इसके प्रति संवेदनशील हैं।
- आप जितना बड़ा स्केल करेंगे, यह उतना ही बुरा होगा: विडंबना यह है कि AI सिस्टम जितना अधिक शक्तिशाली होता है (समानांतर में काम करने के लिए अधिक कंप्यूटरों का उपयोग करता है), इसे तोड़ना उतना ही आसान होता है। शोधकर्ताओं ने पाया कि काम को विभाजित करने के लिए अधिक कंप्यूटरों का उपयोग करना वास्तव में इस हमले के दौरान ट्रैफिक जाम को और भी बदतर बना देता है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि कई कंप्यूटरों के बीच काम को विभाजित करना AI को तेज़ बनाता है, यह एक कमज़ोर कड़ी भी पैदा करता है। यदि कोई सरल, दोहराव वाले पैंतरे का उपयोग करता है, तो वे सिस्टम को अपने स्वयं के दक्षता नियमों को अनदेखा करने के लिए मजबूर कर सकते हैं, जिससे यह नाटकीय रूप से धीमा हो जाता है और उपयोगकर्ताओं से किए गए अपने वादों (जैसे कि "हम 2 सेकंड के भीतर उत्तर देंगे") को तोड़ने की स्थिति में आ जाता है।
लेखकों का सुझाव है कि जब तक AI कंपनियाँ स्वचालित रूप से काम को संतुलित करने का बेहतर तरीका नहीं खोज लेतीं, तब तक उन्हें एक साथ कितने कंप्यूटरों का उपयोग करना है, इस बारे में सावधान रहना पड़ सकता है, अन्यथा वे अपने सिस्टम को एक साधारण "AI AI AI" लूप द्वारा बंधक बनाए जाने के जोखिम में डाल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।