A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi
यह शोध पत्र अनुकूलित डीक्वांटाइज्ड GEMMs, चंक्ड रिकरेंट लेयर्स और मेमोरी-कुशल अटेंशन कर्नेल्स के माध्यम से हार्डवेयर सीमाओं को पार करने वाले एक ऑल-जीपीयू इन्फरेंस इंजन को इंजीनियर करके, एक 2011 के 6GB फेर्मी जीपीयू पर पूरी तरह से एक आधुनिक मल्टीमॉडल असिस्टेंट चलाने की व्यवहार्यता को प्रदर्शित करता है, जो 1.7 सेकंड में एंड-टू-एंड इमेज-क्वेश्चन अनसरिंग प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है जो चित्रों को देख सकता है और उनके बारे में सवालों के जवाब दे सकता है। आमतौर पर, ऐसे दिमाग इतने विशाल और बिजली के भूखे होते हैं कि उन्हें चलाने के लिए एक बहुत बड़े, महंगे कंप्यूटर की आवश्यकता होती है, या उन्हें इस तरह विभाजित करना पड़ता है कि दिमाग के कुछ हिस्से कंप्यूटर की मेमोरी में रहते हैं जबकि अन्य हिस्से प्रोसेसर पर रहते हैं। लेकिन क्या होगा अगर आप इस सुपर-दिमाग को चौदह साल पुराने कंप्यूटर के हिस्से पर चलाना चाहें? यह चुनौती यह शोध पत्र (paper) हल करता है। यह एक आधुनिक, हाई-डेफिनिशन वीडियो गेम को 2011 के लैपटॉप पर चलाने की कोशिश करने जैसा है। यहाँ मुख्य विचार "इन्फरेंस" (inference) है, जो बस एक फैंसी शब्द है जिसका अर्थ है कि रोबोट वास्तव में सवाल सीखने के बाद सोच रहा है और जवाब दे रहा है। शोध पत्र पूछता है: क्या हम एक आधुनिक, चित्र-पढ़ने वाले AI को बिना मुख्य कंप्यूटर के दिमाग की मदद लिए, पूरी तरह से एक बहुत पुराने ग्राफिक्स कार्ड पर चला सकते हैं? इसे करने के लिए, शोधकर्ताओं को गणित को व्यवस्थित करने के तरीके के बारे में अविश्वसनीय रूप से चतुर होना पड़ा, क्योंकि उस पुराने कार्ड में वे कई विशेष उपकरण नहीं हैं जो आधुनिक कार्डों में होते हैं।
इस पेपर की कहानी इंजीनियरों की एक टीम के बारे में है जिन्होंने एक बिल्कुल नए, आधुनिक AI सहायक जिसे MiniCPM-V-4.6 कहा जाता है, उसे एक 2011 NVIDIA ग्राफिक्स कार्ड (Tesla C2075) पर चलाने के लिए मजबूर किया, जिसमें केवल 6 GB मेमोरी है। आमतौर पर, इस कार्ड को सॉफ्टवेयर की दुनिया में "परित्यक्त" (abandoned) माना जाता है, जिसका अर्थ है कि अब कोई इसके लिए नए प्रोग्राम नहीं लिखता है। शोधकर्ता यह देखना चाहते थे कि क्या वे इस पूरे सिस्टम को पूरी तरह से इस पुराने कार्ड पर चला सकते हैं, बिना मुख्य कंप्यूटर और कार्ड के बीच डेटा को इधर-उधर भेजे। वे सफल रहे, लेकिन अनुमान लगाकर नहीं; वे इसलिए सफल हुए क्योंकि उन्होंने सब कुछ मापा और महसूस किया कि उनके पहले के अनुमान अक्सर गलत थे।
यहाँ उन्होंने क्या पाया और कैसे किया:
1. "पुराने उपकरण" नए उपकरणों से बेहतर थे
टीम ने अपने स्वयं के कस्टम गणितीय उपकरण (जिन्हें 'कर्नेल' कहा जाता है) लिखने की कोशिश की ताकि AI तेजी से चल सके। उन्हें लगा कि उनका सबसे अच्छा हाथ से लिखा गया गणितीय कोड सबसे तेज़ होगा। लेकिन जब उन्होंने इसे मापा, तो पाया कि उनका कस्टम कोड कार्ड की अधिकतम गति के केवल 3क 37% तक ही पहुँच सका। फिर, उन्होंने एक मानक, पुराने उपकरण का उपयोग किया जो दस साल पहले कार्ड के सॉफ्टवेयर के साथ आया था (जिसे cuBLAS कहा जाता है)। आश्चर्यजनक रूप से, यह पुराना उपकरण कार्ड की अधिकतम गति के 64% पर चला—उनके कस्टम कोड से लगभग दोगुना! उन्होंने सीखा कि पुराने हार्डवेयर पर, कभी-कभी "उबाऊ", पहले से बने उपकरण वास्तव में सुपर-फास्ट होते हैं। इसलिए, उन्होंने अपने डेटा को उस प्रारूप में अनुवादित करने का निर्णय लिया जिसे पुराना उपकरण समझ सके और भारी काम करने के लिए उस पुराने उपकरण को छोड़ दिया।
2. "स्लो मोशन" की गलती
AI के पास एक विशेष भाग है जो चीजों को पढ़ते समय उन्हें याद रखता है, जैसे कि कोई व्यक्ति बातचीत कर रहा हो। टीम ने इसे तेज करने के लिए बातचीत को छोटे टुकड़ों में तोड़ने की कोशिश की। शुरू में, उन्हें लगा कि यह नया तरीका धीमा है। वे लगभग हार मान ही गए थे! लेकिन फिर उन्होंने समय का बारीकी से निरीक्षण किया और पाया कि उनके कोड का एक छोटा सा हिस्सा एक ही गणित को दो बार कर रहा था और कंप्यूटर के रुकने और शुरू होने का बहुत अधिक इंतजार कर रहा था। एक बार जब उन्होंने उस एक खराब हिस्से को ठीक कर दिया, तो नया "चंकिंग" (chunked) तरीका पुराने तरीके की तुलना में 2.8 गुना तेज़ हो गया। यह एक सबक था कि आप केवल पूरी तस्वीर नहीं देख सकते; आपको बाधा (bottleneck) खोजने के लिए हर एक कदम की जांच करनी होगी।
3. "4-बिट" का जाल
AI की दुनिया में, लोग अक्सर यह सोचकर कि छोटे नंबरों का मतलब तेज़ गति है, मॉडल की मेमोरी को "4-बिट" नंबरों का उपयोग करके "8-बिट" नंबरों के बजाय छोटा करने की कोशिश करते हैं। टीम ने इस पुराने कार्ड पर इसे आजमाया। भले ही 4-बिट नंबर आधे स्थान लेते हैं, लेकिन कार्ड को उन्हें "अनपैक" करने के लिए अतिरिक्त गणित करना पड़ता था, और यह पुराना कार्ड उस विशिष्ट गणित में धीमा है। परिणाम? 4-बिट संस्करण 8-बिट संस्करण की तुलना में 12% धीमा था। इसलिए, वे बड़े 8-बिट नंबरों के साथ ही रहे क्योंकि इस विशिष्ट पुराने कार्ड पर, बड़ा होना वास्तव में तेज़ था।
4. "टाई-ब्रेकिंग" का नियम
जब AI एक चित्र को देखता है, तो उसे यह पता लगाना होता है कि छवि का प्रत्येक हिस्सा कहाँ स्थित है। शोधकर्ताओं ने यह तय करने के लिए अपना खुद का गणित लिखने की कोशिश की कि जब दो हिस्से बिल्कुल एक ही रेखा पर हों (एक "टाई" या बराबरी की स्थिति), तो क्या करना है। उन्होंने इसे हल करने के कई तरीके आजमाए, लेकिन हर बार, परिणाम मूल AI के उत्तर से थोड़ा अलग था। उन्होंने पाया कि मूल AI जिस तरह से बराबरी (ties) को तय करता था, वह एक बहुत ही विशिष्ट नियम था जिसे मानक गणित के साथ पूरी तरह से कॉपी नहीं किया जा सकता था। समाधान क्या था? उन्होंने पहिए का पुनरुद्धार करने की कोशिश करना बंद कर दिया और बस मूल AI की गणित लाइब्रेरी से उनके लिए टाई-ब्रेकिंग करने के लिए कहा। इसने सुनिश्चित किया कि उनका संस्करण मूल के बिल्कुल समान हो।
5. "लंबी कहानी" की समस्या
सबसे बड़ा आश्चर्य तब आया जब उन्होंने लंबे सवालों के साथ AI का परीक्षण किया। जब सवाल छोटा (2,000 शब्द) था, तो AI तेज़ था। लेकिन जब उन्होंने सवाल को बहुत लंबा (10,000 शब्द) कर दिया, तो AI रेंगने लगा, जो 17 गुना धीमा हो गया। यह पता चला कि जिस तरह से AI पिछले शब्दों को पीछे मुड़कर देख रहा था, वह अव्यवस्थित और अक्षम होता जा रहा था। टीम ने इस भाग को फिर से लिखा ताकि उसी "पुराने उपकरण" (cuBLAS) का उपयोग किया जा सके जिसका उन्होंने पहले उपयोग किया था, लेकिन उन्होंने डेटा को इस तरह व्यवस्थित किया कि वह उस मेमोरी में पूरी तरह फिट हो जाए जिसका AI पहले से ही उपयोग कर रहा था। इसने समस्या को पूरी तरह से ठीक कर दिया। अब, AI 10,000 शब्दों वाले सवाल के साथ भी लगभग उतना ही तेज़ है जितना कि एक छोटे सवाल के साथ।
अंतिम परिणाम
इन तरकीबों का उपयोग करके, टीम ने एक आधुनिक, चित्र-पढ़ने वाले AI को पूरी तरह से 2011 के ग्राफिक्स कार्ड पर चलाने में सफलता प्राप्त की। पूरा सिस्टम कार्ड की मेमोरी में समा जाता है, और यह केवल 1.7 सेकंड में एक छवि के बारे में सवाल का जवाब दे सकता है। यह बड़े दस्तावेज़ों और बड़ी छवियों को भी बिना क्रैश हुए संभाल सकता है। इस पेपर का सबसे महत्वपूर्ण सबक यह नहीं है कि उन्होंने एक पुराने कंप्यूटर को काम करने लायक बनाया; बल्कि यह है कि उन्होंने अपने स्वयं के अंतर्ज्ञान (intuition) के बजाय माप (measurements) पर भरोसा करना सीखा। हर बार जब उन्हें लगा कि वे उत्तर जानते हैं (जैसे कि "4-बिट तेज़ है" या "हमारा कस्टम कोड सबसे अच्छा है"), तो माप ने उन्हें गलत साबित कर दिया। डेटा को सुनने और सही उपकरणों का उपयोग करने के माध्यम से, उन्होंने चौदह साल पुराने हार्डवेयर को एक काम करने वाले, आधुनिक AI सहायक में बदल दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।