SwiftQK: Fast and Communication-Efficient Tensor Parallelism for Query-Key Normalization

कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट मस्तिष्क चलाने की कोशिश कर रहे हैं जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और एक इंसान की तरह बात कर सकता है। इस "मस्तिष्क" को लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है। इसे चलाने के लिए, वैज्ञानिक हजारों शक्तिशाली कंप्यूटर चिप्स का उपयोग करते हैं जिन्हें GPU कहा जाता है। लेकिन इन चिप्स के साथ एक समस्या है: वे प्रतिभाशाली लेकिन नन्हे श्रमिकों की तरह हैं जो एक बार में अपनी जेबों में जानकारी की बहुत कम मात्रा रख सकते हैं। बड़ी समस्याओं को हल करने के लिए, उन्हें मिलकर काम करना पड़ता है, और आपस में नोट्स (नोटों) का आदान-प्रदान करना पड़ता है। इस टीम वर्क को "टेंसर पैरेललिज्म" (Tensor Parallelism) कहा जाता है।

हालाँकि, रोबोट के मस्तिष्क का एक पेचीदा हिस्सा है जिसे "क्वेरी-की नॉर्मलाइज़ेशन" (Query-Key Normalization) कहते हैं। इसे एक गुणवत्ता-नियंत्रण जांच की तरह समझें जहाँ रोबोट यह सुनिश्चित करता है कि लिखने शुरू करने से पहले उसके विचार संतुलित और स्थिर हों। अतीत में, इस जांच को करने के लिए, हर कार्यकर्ता को अपना पूरा नोटबुक अन्य सभी कार्यकर्ताओं को दिखाना पड़ता था ताकि वे एक एकल "संतुलन स्कोर" की गणना कर सकें। इसका मतलब था कि नोट्स के आदान-प्रदान के कारण एक बड़ा ट्रैफिक जाम लग जाता था, जिससे सब कुछ धीमा हो जाता था। शोधकर्ताओं ने देखा कि यही ट्रैफिक जाम उनके सुपर-फास्ट रोबोट मस्तिष्क के अटकने का मुख्य कारण था। वे इस गुणवत्ता जांच को बिना सभी के पूरे नोटबुक साझा किए करने का तरीका खोजना चाहते थे।

यहाँ आता है SwiftQK, एक चतुर नया तरीका जिसे कंप्यूटर वैज्ञानिकों की एक टीम ने इस ट्रैफिक जाम को ठीक करने के लिए आविष्कार किया है। हर GPU को अपना पूरा नोटबुक (जो बहुत बड़ा और धीमा है) देने के बजाय, SwiftQK खेल के नियम बदल देता है। यह महसूस करता है कि "संतुलन स्कोर" की गणना करने के लिए, आपको वास्तव में पूरे नोटबुक की आवश्यकता नहीं है; आपको केवल एक संख्या की आवश्यकता है जो नोट्स की कुल "ऊर्जा" या "तेजी" (loudness/energy) को दर्शाती हो।

SwiftQK कैसे काम करता है, इसके लिए एक चंचल उपमा (analogy) का उपयोग करें: कल्पना कीजिए कि दोस्तों का एक समूह यह पता लगाने की कोशिश कर रहा है कि उनके फोन पर बज रहे एक गाने की कुल आवाज़ (volume) कितनी है। पुराने तरीके में, प्रत्येक व्यक्ति को समूह को अपने गाने के पूरे बोल चिल्लाकर सुनाने होंगे ताकि वे उन सभी को जोड़ सकें। इसमें बहुत समय लगता है। SwiftQK के साथ, प्रत्येक मित्र बस एक संख्या फुसफुसाता है—उनके गाने की कुल आवाज़—समूह को। समूह इन कुछ संख्याओं को जोड़कर तुरंत कुल आवाज़ प्राप्त कर लेता है।

लेकिन SwiftQK केवल फुसफुसाता ही नहीं है; यह और भी स्मार्ट तरीके से काम करता है। जब दोस्त एक-दूसरे को अपनी संख्याएँ फुसफुसा रहे होते हैं, तो बाकी लोग केवल इंतज़ार करने के लिए खड़े नहीं रहते। वे तुरंत अपना खुद का होमवर्क (अपने नोट्स को एक विशेष भार/weight से गुणा करना) शुरू कर देते हैं। "फुसफुसाना" (संचार) और "होमवर्क" (गणना) दोनों एक ही समय में होते हैं, जिससे कोई समय बर्बाद नहीं होता। शोधकर्ता इसे "डेडलॉक-सेफ पर्सिस्टेंट कर्नेल" (deadlock-safe persistent kernel) कहते हैं, जो एक फैंसी तरीका है यह कहने का कि उन्होंने एक ऐसी प्रणाली स्थापित की है जहाँ हर कोई जानता है कि कब बात करनी है और कब काम करना है, ताकि कोई भी किसी व्यस्त दोस्त का इंतज़ार करते हुए फँस न जाए।

इसके परिणाम प्रभावशाली हैं। जब टीम ने हाल के शक्तिशाली भाषा मॉडलों पर SwiftQK का परीक्षण किया, तो उन्होंने पाया कि इसने पुराने तरीके (पूरे नोटबुक बदलने) की तुलना में "गुणवत्ता जांच" चरण को 81.4% से 93.gy% तेज़ बना दिया। एक वास्तविक दुनिया के परीक्षण में, जहाँ रोबोट एक साथ कई लोगों के लिए सवालों के जवाब दे रहा था, SwiftQK ने प्रतिक्रिया प्राप्त करने के समय (जिसे TPOT कहा जाता है) को मानक विधि की तुलना में 29.5% कम कर दिया। यहाँ तक कि पुराने तरीके के थोड़े बेहतर संस्करण की तुलना में भी, जो संख्याओं को फुसफुसाने की कोशिश भी करता था, SwiftQK 14.3% अधिक तेज़ था।

यह शोध पत्र दिखाता है कि डेटा के बारे में चतुराई से सोचने और यह सुनिश्चित करने के माध्यम से कि कंप्यूटर बात करते समय भी काम करते रहें, हम इन विशाल AI मस्तिष्क को बहुत अधिक सुचारू और तेज़ चला सकते हैं। यह साबित करता है कि एक एकल टाइपो (typo) को ठीक करने के लिए आपको पूरी लाइब्रेरी भेजने की आवश्यकता नहीं है; कभी-कभी, केवल एक संख्या भेजना ही पर्याप्त होता है, बशर्ते आप इसे सही समय पर करें।