Theoretically Optimal Attention/FFN Ratios in Disaggregated LLM Serving
यह शोध पत्र एक विश्लेषणात्मक ढांचे और एक क्लोज्ड-फॉर्म प्रोविजनिंग नियम को प्रस्तुत करता है ताकि डिसैग्रिगेटेड (disaggregated) LLM सर्विंग में सैद्धांतिक रूप से इष्टतम अटेंशन-टू-एफएफएन (Attention-to-FFN) संसाधन अनुपात निर्धारित किया जा सके, जो डिवाइस के आइडल टाइम और स्टेप-लेवल ब्लॉकिंग को कम करने के लिए स्टोकेस्टिक वर्कलोड डायनेमिक्स और सिंक्रोनाइज़ेशन ओवरहेड्स को ध्यान में रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-गति वाली फैक्ट्री चला रहे हैं जो एक विशाल AI मस्तिष्क के लिए "विचारों" (टोकन) का उत्पादन करती है। इस फैक्ट्री में दो मुख्य असेंबली लाइनें हैं जो प्रत्येक विचार को पूरा करने के लिए मिलकर काम करती हैं:
मेमोरी लाइन (अटेंशन): यह टीम एक लाइब्रेरियन की तरह है। उन्हें हर अनुरोध के लिए विशिष्ट पन्ने खोजने के लिए एक विशाल, बढ़ते हुए बुकशेल्फ़ (KV कैश) के चक्कर लगाने पड़ते हैं। जैसे-जैसे बुकशेल्फ़ बड़ा होता जाता है, यह टीम धीमी और धीमी होती जाती है क्योंकि उन्हें भारी भार उठाना पड़ता है। वे मेमोरी-बाउंड (memory-bound) हैं।
कैलकुलेशन लाइन (FFN): यह टीम एक सुपर-फास्ट कैलकुलेटर की तरह है। उन्हें बुकशेल्फ़ देखने की ज़रूरत नहीं है; वे बस उन नंबरों को क्रंच करते हैं जो लाइब्रेरियन उन्हें सौंपते हैं। वे कंप्यूट-बाउंड (compute-bound) हैं और यदि उनके पास पर्याप्त काम हो तो वे अविश्वसनीय रूप से तेज़ी से काम कर सकते हैं।
समस्या: "मिसमैच्ड डांस" (तालमेल की कमी)
पुराने दिनों में, ये दोनों टीमें एक ही कमरे में फंसी हुई थीं। यदि लाइब्रेरियन धीमे होते, तो कैलकुलेटर को डेटा के लिए इंतजार करते हुए खाली बैठना पड़ता था। यदि कैलकुलेटर तेज़ होते, तो लाइब्रेरियन बाधा बन जाते थे।
इसे ठीक करने के लिए, इंजीनियरों ने AFD (अटेंशन-FFN डिसएग्रिगेशन) नामक एक नया लेआउट बनाया। उन्होंने लाइब्रेरियन और कैलकुलेटर को अलग-अलग कमरों में स्थानांतरित कर दिया। अब, आपके पास एक विशाल कैलकुलेटर रूम के लिए कई लाइब्रेरियन टीमें हो सकती हैं।
लेकिन यहाँ एक पेच है: आपको एक कैलकुलेटर रूम के लिए कितने लाइब्रेरियन टीमों की आवश्यकता है?
- बहुत कम लाइब्रेरियन? कैलकुलेटर खाली बैठा रहेगा, डेटा के लिए तरसता हुआ।
- बहुत अधिक लाइब्रेरियन? कैलकुलेटर अभिभूत हो जाएगा, और लाइब्रेरियन को कैलकुलेटर के पकड़ बनाने का इंतज़ार करना पड़ेगा।
अनुपात (जिसे हम r कह सकते हैं) को खोजना एक एकल शेफ के लिए वेटरों की सही संख्या खोजने जैसा है। यदि आप गलत अनुमान लगाते हैं, तो पूरी फैक्ट्री धीमी हो जाती है।
पेपर का समाधान: फैक्ट्री मैनेजरों के लिए एक "क्रिस्टल बॉल"
लेखकों ने महसूस किया कि अनुपात का अनुमान लगाना कठिन है क्योंकि काम रैंडम (अनिश्चित) है।
- कुछ ग्राहकों के प्रश्न छोटे होते हैं; दूसरों की कहानियाँ लंबी होती हैं।
- कुछ अनुरोध जल्दी समाप्त हो जाते; अन्य लंबे समय तक चलते हैं।
- हर अनुरोध के लिए "बुकशेल्फ़" (मेमोरी) अलग तरह से बढ़ता है।
क्योंकि इस काम में रैंडमनेस है, आप औसत के आधार पर केवल एक सरल गणितीय सूत्र का उपयोग नहीं कर सकते। आपको अराजकता की भविष्यवाणी करने के लिए एक तरीका चाहिए।
उनका "सीक्रेट सॉस" एक नया गणितीय ढांचा है जो तीन चीजें करता है:
- यह "औसत अराजकता" को मापता है: उन्होंने पिछले अनुरोध लॉग्स (ट्रेस) को देखने और एक एकल संख्या (जिसे θ कहा जाता है) की गणना करने का एक तरीका विकसित किया, जो यह दर्शाता है कि वास्तविक औसत वर्कलोड क्या है, यह ध्यान में रखते हुए कि किसी भी यादृच्छिक क्षण में लंबे अनुरोध देखे जाने की संभावना अधिक होती है।
- यह "सबसे धीमे धावक" को ध्यान में रखता है: इस फैक्ट्री में, सभी लाइब्रेरियन टीमों को अपना काम पूरा करना होगा इससे पहले कि कैलकुलेटर शुरू कर सके। यदि एक टीम एक बड़ी किताब के साथ फंस जाती है, तो पूरी लाइन प्रतीक्षा करती है। लेखकों ने एक सूत्र बनाया जो यह भविष्यवाणी करता है कि इन "स्ट्रैग्लर्स" (सबसे धीमे श्रमिकों) के कारण कितना अतिरिक्त समय नष्ट होता है।
- यह एक "गोल्डन रेशियो" रेसिपी देता है: इन दो अंतर्दृष्टि का उपयोग करते हुए, उन्होंने एक सरल, क्लोज्ड-फॉर्म नियम निकाला। आप इसमें अपने हार्डवेयर स्पेसिफिकेशन और अपने अनुरोध लॉग्स डालें, और सूत्र आपको बताएगा कि आपकी कैलकुलेटर रूम को अधिकतम गति से चलाने के लिए आपको कितने लाइब्रेरियन टीमों की आवश्यकता है।
परिणाम: "यह काम करता है!"
टीम ने अपने सिद्धांत का परीक्षण करने के लिए एक डिजिटल सिम्युलेटर (एक वर्चुअल फैक्ट्री) बनाया।
- उन्होंने विभिन्न संख्या में लाइब्रेरियन टीमों (1 से 32 तक) का परीक्षण किया।
- उन्होंने अपने "गोल्डन रेशियो" अनुमान की तुलना सिम्युलेटर द्वारा पाए गए वास्तविक सर्वश्रेष्ठ प्रदर्शन से की।
- फैसला: उनका अनुमान अविश्वसनीय रूप से सटीक था, जो वास्तविक दुनिया के सिमुलेशन के साथ 10% के भीतर मेल खाता है।
उन्होंने यह भी पाया कि जैसे-जैसे आप अधिक लाइब्रेरियन टीमें जोड़ते हैं, सबसे धीमी टीम के कारण होने वाला "इंतज़ार का समय" बढ़ता जाता है, लेकिन उनका सूत्र इस बात को ध्यान में रखता है, जिससे यह सुनिश्चित होता है कि आप बहुत अधिक टीमें जोड़कर पैसा बर्बाद न करें।
मुख्य निष्कर्ष (Takeaway)
यह पेपर इन विभाजित-AI फैक्ट्रियों को बनाने के लिए एक वैज्ञानिक नियम पुस्तिका प्रदान करता है। अनुमान लगाने या ट्रायल-एंड-एरर के बजाय, सिस्टम डिज़ाइनर अब इस गणित का उपयोग यह पता लगाने के लिए कर सकते हैं कि अपने मेमोरी और कंप्यूटिंग संसाधनों को कैसे संतुलित किया जाए, जिससे यह सुनिश्चित हो सके कि AI यथासंभव तेज़ और कुशलता से चले, भले ही वर्कलोड अप्रत्याशित हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।