कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है, एक डीप न्यूरल नेटवर्क, जो अविश्वसनीय सटीकता के साथ बिल्लियों, कुत्तों और कारों को पहचान सकता है। लेकिन एक पेंच है: यह दिमाग इतना विशाल और भारी है कि इसे चलाने के लिए एक विशाल सुपरकंप्यूटर की आवश्यकता होती है। यदि आप इसे एक सामान्य फोन या स्मार्टवॉच पर डालने की कोशिश करेंगे, तो यह बैटरी को पिघला देगा या सोचने में बहुत समय लेगा। इसे ठीक करने के लिए, वैज्ञानिक "मॉडल कंप्रेशन" (model compression) का उपयोग करते हैं, जो एक विशाल सूटकेस को एक छोटे से बैकपैक में पैक करने जैसा है। वे इसे प्रूनिंग (दिमाग के बेकार हिस्सों को काटकर अलग करना) और क्वांटाइजेशन (दिमाग द्वारा उपयोग किए जाने वाले नंबरों को सरल बनाना, जैसे हाई-डेफिनिशन वीडियो से एक स्केच में बदलना) के माध्यम से करते हैं। बड़ी समस्या यह है कि यह तय करना कि किन हिस्सों को काटना है और उन्हें कैसे सरल बनाना है, इसके लिए आमतौर पर एक मानव विशेषज्ञ की आवश्यकता होती है जो अनुमान लगाए और बार-बार प्रयास करे, जिससे अक्सर गलतियाँ होती हैं जो रोबोट की बुद्धिमत्ता को खराब कर देती हैं।

यहाँ APQF नामक एक नया विचार आता है, जो एक स्मार्ट, स्वचालित प्रणाली है जो आपके विशाल दिमाग को एक छोटे बैकपैक में पैक करने के लिए विशेषज्ञ रोबोट एजेंटों की एक टीम के रूप में कार्य करती है, ताकि उसकी प्रतिभा कम न हो। अनुमान लगाने के बजाय, यह प्रणाली पहले दिमाग का एक विस्तृत "हेल्थ चेकअप" लेती है ताकि यह देख सके कि कौन से हिस्से भारी हैं और कौन से नाजुक। फिर, यह एक शक्तिशाली AI प्लानर (एक लार्ज लैंग्वेज मॉडल) का उपयोग करती है ताकि यह तय किया जा सके कि प्रत्येक परत (layer) के आधार पर कितना काटना है और कितना सरल बनाना है। यह एक कुशल दर्जी की तरह है जो पूरे सूट के लिए केवल एक ही प्रकार की कैंची का उपयोग नहीं करता, बल्कि हर एक टांके को मापने के लिए हर चीज़ को मापता है ताकि एकदम सही फिट मिल सके। परिणाम एक रोबोट दिमाग है जो छोटा, तेज़ और मूल के समान ही स्मार्ट है।

समस्या: "वन-साइज़-फिट्स-ऑल" (एक ही नियम सबके लिए) की गलती

लंबे समय तक, इन विशाल AI दिमागों को सिकोड़ने की कोशिश करना एक हाथी को बस उसके अनचाहे हिस्से काटकर एक जूते के डिब्बे में फिट करने जैसा रहा है। अधिकांश विधियों ने "वन-साइज़-फिट्स-ऑल" दृष्टिकोण का उपयोग किया। वे कहते थे, "आइए हर परत से 50% काट दें" या "आइए हर नंबर को समान मात्रा में जगह का उपयोग करने दें।" लेकिन यह एक आपदा है क्योंकि दिमाग के विभिन्न हिस्से अलग-अलग होते हैं। कुछ परतें हाथी की सूंड की तरह होती हैं—अत्यधिक महत्वपूर्ण और संवेदनशील। यदि आप उन्हें काटते हैं, तो दिमाग सब कुछ भूल जाता है। अन्य परतें हाथी के नाखूनों की तरह होती हैं—बहुत सारी हैं, लेकिन आप उन्हें बिना हाथी को महसूस हुए काट सकते हैं।

जब आप एक संवेदनशील परत के साथ एक बेकार परत जैसा व्यवहार करते हैं, तो अंत में आपके पास एक छोटा दिमाग होता है जो अपना काम करने के लिए बहुत मंद होता है। इसके अलावा, यह तय करना कि सही कट कहाँ लगाने हैं, पहले एक उबाऊ और मैन्युअल काम था जिसमें एक मानव विशेषज्ञ को हर नए मॉडल के लिए सेटिंग्स को ट्यून करने में घंटों खर्च करने पड़ते थे। यह धीमा, महंगा था, और जब आप एक प्रकार के दिमाग से दूसरे पर स्विच करते थे, तो यह अच्छी तरह से काम नहीं करता था।

समाधान: AI एजेंटों की एक टीम

यह शोध पत्र APQF (एजेंट प्रोफाइलिंग-गाइडेड स्ट्रक्चर्ड प्रूनिंग एंड मिक्स्ड-प्रिसिजन क्वांटाइजेशन विद एडेप्टिव फाइन-ट्यूनिंग) को पेश करता है। APQF को एक एकल उपकरण के रूप में नहीं, बल्कि पांच विशिष्ट रोबोट एजेंटों द्वारा संचालित एक फैक्ट्री फ्लोर के रूप में सोचें, जो आपके मॉडल को स्वचालित रूप से सिकोड़ने के लिए मिलकर काम कर रहे हैं।

1. द प्रोफाइलिंग एजेंट (जासूस): किसी भी कटिंग से पहले, यह एजेंट एक गहरी जांच करता है। यह मापता है कि दिमाग का प्रत्येक हिस्सा कितना काम करता है और यह परीक्षण करता है कि यदि आप एक टुकड़ा हटा देते हैं तो दिमाग कैसे प्रतिक्रिया देता है। यह एक "मानचित्र" बनाता है जो दिखाता है कि कौन से हिस्से भारी हैं और कौन से नाजूक हैं। यह कोई अनुमान नहीं है; यह विशिष्ट मॉडल से प्राप्त वास्तविक डेटा पर आधारित है।
2. द प्रूनिंग एजेंट (मूर्तिकार): जासूस के मानचित्र का उपयोग करते हुए, यह एजेंट तय करता है कि प्रत्येक परत से कितना काटना है। एक समान नियम का उपयोग करने के बजाय, यह एक स्मार्ट AI प्लानर (एक लार्ज लैंग्वेज मॉडल) से पूछता है कि मानचित्र को देखकर कहे, "यहाँ 20% काटें, लेकिन वहाँ केवल 5%।" यह चरणों में काम करता है, थोड़ा काटता है, दिमाग के स्वास्थ्य की जाँच करता है, और फिर थोड़ा और काटता है।
3. द फाइन-ट्यूनिंग एजेंट (हीलर/उपचारक): हर बार जब मूर्तिकार कुछ काटता है, तो दिमाग थोड़ा चक्कर खा सकता है (सटीकता खो सकता है)। यह एजेंट एक भौतिक चिकित्सक (फिजियोथेरेपिस्ट) के रूप में कार्य करता है। यह दिमाग को अपनी ताकत वापस पाने में मदद करने के लिए धीरे-धीरे व्यायाम कराता है। यदि कट छोटा था, तो यह हल्का वर्कआउट करता है। यदि कट बड़ा था, तो यह पूर्ण रिकवरी सत्र आयोजित करता है। यह बिना मॉडल को शुरू से प्रशिक्षित किए बिना दिमाग को ठीक करने के लिए स्मार्ट ट्रिक्स का उपयोग करता है।
4. द क्वांटाइजेशन एजेंट (सरलीकृत करने वाला): एक बार जब दिमाग सही आकार का हो जाता है, तो यह एजेंट उपयोग किए जाने वाले नंबरों को सरल बनाता है। यह तय करता है कि कुछ हिस्से बहुत छोटे नंबरों (जैसे 4 बिट्स) का उपयोग कर सकते हैं जबकि अन्य महत्वपूर्ण हिस्सों को बड़े नंबरों (जैसे 16 बिट्स) का उपयोग जारी रखना चाहिए। इसे "मिक्स्ड-प्रिसिजन" कहा जाता है, और यह बहुत अधिक जगह बचाता है।
5. द इवैल्यूएशन एजेंट (न्यायाधीश): यह एजेंट अंतिम उत्पाद की मूल मॉडल के विरुद्ध जाँच करता है ताकि यह सुनिश्चित किया जा सके कि यह अभी भी काम करता है। यह मापता है कि कितनी जगह बचाई गई और कितनी सटीकता बरकरार रखी गई।

उन्होंने क्या पाया: छोटे दिमाग, बड़ी बुद्धिमत्ता

शोधकर्ताओं ने कई प्रसिद्ध AI मॉडलों पर इस प्रणाली का परीक्षण किया, जिनमें ResNet, VGG, ViT, DeiT, और Swin शामिल थे, और दो मानक टेस्ट सेट्स का उपयोग किया: ImageNet-1k (1,000 प्रकार की छवियों का एक विशाल संग्रह) और CIFAR-10 (10 प्रकार की छवियों का एक छोटा सेट)।

परिणाम प्रभावशाली थे। ImageNet-1k पर, APQF मॉडलों को चलाने के लिए आवश्यक कंप्यूटर कार्य को मूल मात्रा के 5.6% से 7.7% तक कम करने में सफल रहा। यह 13 से 18 गुना की कमी है! इस भारी कमी के बावजूद, मॉडल मूल के बहुत करीब सटीकता बनाए रखते हैं। उदाहरण के लिए, DeiT-Tiny नामक मॉडल पर, संपीड़ित संस्करण वास्तव में पहले से थोड़ा अधिक स्मार्ट (66.52% से 67.90% सटीकता) हो गया, जबकि लगभग कोई कंप्यूटिंग पावर का उपयोग नहीं किया।

अन्य विधियों की तुलना में जो प्रूनिंग और सरलीकरण को एक साथ करने की कोशिश करती हैं (जैसे GETA नामक विधि), APQF सीमित डेटा का उपयोग करने में बहुत बेहतर है। यदि आपके पास प्रशिक्षण के लिए केवल 200,000 छवियां हैं, तो GETA की सटीकता गिर जाएगी, जो लगभग 51-59% तक आ जाएगी। लेकिन APQF मजबूत बना रहा, सटीकता 68% और 77% के बीच बनाए रखी। यह सुझाव देता है कि APQF मॉडल को सिकोड़ने के लिए सीखने में बहुत अधिक कुशल है बिना किसी विशाल लाइब्रेरी या डेटा की आवश्यकता के।

छोटे CIFAR-10 डेटासेट पर, परिणाम और भी आश्चर्यजनक थे। परीक्षण किए गए तीन मॉडलों के लिए (DeiT-Tiny, ResNet-50, और Swin-Tiny), संपीड़ित संस्करण मूल, असंपीदित संस्करणों की तुलना में अधिक सटीक निकले! VGG7 मॉडल पर, APQF ने केवल 0.41% मूल कंप्यूटिंग पावर का उपयोग करते हुए 93.15% सटीकता प्राप्त की। इस स्तर के संपीड़न पर यह एकमात्र विधि थी जिसने वास्तव में फुल-प्रिसिजन मॉडल में सुधार किया।

"AI प्लानर" क्यों महत्वपूर्ण है

इस शोध पत्र का सबसे दिलचस्प हिस्सा यह है कि यह एक "प्लानर" (एक लार्ज लैंग्वेज मॉडल) का उपयोग निर्णय लेने के लिए करता है। शोधकर्ताओं ने जानना चाहा कि: क्या यह मायने रखता है कि वे किस AI प्लानर का उपयोग करते हैं? उन्होंने छह अलग-अलग प्लानर का परीक्षण किया, जो महंगे, शीर्ष-स्तरीय मॉडलों से लेकर मुफ्त, ओपन-सोर्स मॉडलों तक फैले हुए थे।

परिणाम? इससे बहुत फर्क नहीं पड़ा। चाहे उन्होंने एक प्रीमियम मॉडल का उपयोग किया हो या मुफ्त मॉडल का, अंतिम सटीकता 97.4% और 97.9% के बहुत करीबी दायरे में रही। इसका मतलब है कि सिस्टम मजबूत है और काम करने के लिए किसी विशिष्ट, महंगे AI पर निर्भर नहीं है। यह यह भी सुझाव देता है कि असली जादू प्लानर की अपनी बुद्धिमत्ता में नहीं, बल्कि प्लानर के मार्गदर्शन में प्रोफाइलर के डेटा का उपयोग करने की प्रक्रिया में है।

यह पेपर क्या खारिज करता है

यह पेपर स्पष्ट रूप से बताता है कि क्या काम नहीं करता है। यह स्पष्ट रूप से "यूनिफॉर्म कंप्रेशन" (एकसमान संपीड़न) के खिलाफ तर्क देता है, जहाँ आप हर सिंगल लेयर पर एक ही कटिंग और सरलीकरण नियम लागू करते हैं। उनके परीक्षणों ने दिखाया कि जब उन्होंने सिस्टम को हर चीज़ के लिए एक ही अनुपात का उपयोग करने के लिए मजबूर किया, तो सटीकता काफी गिर गई। उन्होंने यह भी दिखाया कि यदि आप "प्रोफाइलिंग" डेटा (जासूस का मानचित्र) को हटा देते हैं और AI प्लानर को केवल सामान्य ज्ञान के आधार पर अनुमान लगाने देते हैं, तो परिणाम बदतर हो जाते हैं। यह साबित करता है कि काटने से पहले आपको विशिष्ट मॉडल को मापना ही होगा।

उन्होंने यह भी पाया कि जो विधियाँ पूरे नेटवर्क को शुरू से अनुकूलित (re-optimize) करने की कोशिश करती हैं (जैसे GETA), वे तब संघर्ष करती हैं जब आपके पास बहुत कम प्रशिक्षण डेटा होता है। इसके विपरीत, APQF एक पूर्व-प्रशिक्षित मॉडल से शुरू होता है और बस उसे थोड़ा बदलता है, जिससे यह बहुत अधिक डेटा-कुशल बन जाता है।

निष्कर्ष

APQF यह सुझाव देता है कि AI को सिकोड़ने का भविष्य किसी एक जादुई फॉर्मूले के बारे में नहीं है जो सभी के लिए काम करे। इसके बजाय, यह एक स्वचालित टीम बनाने के बारे में है जो एक विशिष्ट मॉडल को मापती है, एक स्मार्ट प्लानर की बात सुनती है, और उस मॉडल की अनूठी जरूरतों के अनुसार संपीड़न को सावधानीपूर्वक तैयार करती है। यह एक अव्यवस्थित, मैन्युअल अनुमान लगाने वाले खेल को एक सटीक, वैज्ञानिक प्रक्रिया में बदल देता है। हालांकि शोधकर्ता यह भी नोट करते हैं कि इसके लिए अभी भी कुछ मानवीय सेटअप (जैसे यह चुनना कि कौन सा AI प्लानर उपयोग करना है) की आवश्यकता होती है, लेकिन सिस्टम स्वयं भारी काम संभाल लेता है, जिससे यह सिद्ध होता है कि आप अपनी बुद्धिमत्ता खोए बिना विशाल AI दिमागों को छोटा और तेज़ बना सकते हैं।