MuCRASP: Multimodal Chain-of-thought Reasoning aware Structured Pruning
MuCRASP विजन-लैंग्वेज मॉडल्स के लिए एक नवीन स्ट्रक्चर्ड प्रूनिंग फ्रेमवर्क है जो रीजनिंग-क्रिटिकल पिवट टोकन्स की पहचान करके और क्रॉस-मोडल एक्टिवेशन अंतरों को संबोधित करके मल्टीमॉडल चेन-ऑफ-थॉट रीजनिंग सटीकता को संरक्षित करता है, और उच्च संपीड़न दरों पर भी मौजूदा तरीकों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली, बहुमुखी सहायक है जो जटिल पहेलियों को सुलझाने में अविश्वसनीय रूप से कुशल है। यह सहायक एक तस्वीर देख सकता है (जैसे कि एक अस्त-व्यस्त कमरे की फोटो) और एक प्रश्न पढ़ सकता है (जैसे कि "अगर मैं फूलदान गिरा दूँ, तो क्या बिल्ली भीग जाएगी?")। उत्तर देने के लिए, सहायक केवल अनुमान नहीं लगाता; बल्कि यह अपने विचारों की एक चरण-दर-चरण डायरी लिखता है, जिसमें यह बताता है कि वह कड़ियों को कैसे जोड़ रहा है। इसे चेन-ऑफ-थॉट (CoT) तर्क (reasoning) कहा जाता है।
हालाँकि, यह सहायक बहुत विशाल है। इसे चलाने के लिए बहुत अधिक कंप्यूटर मेमोरी और ऊर्जा की आवश्यकता होती है, जिससे इसे आम लोगों के लिए दैनिक जीवन में उपयोग करना बहुत महंगा हो जाता है।
समस्या: "कैंची" वाली गलती
वैज्ञानिकों ने इस सहायक को छोटा करने के लिए इसे "प्रूनिंग" (pruning) करने की कोशिश की है—यानी इसके मस्तिष्क के उन हिस्सों को काट देना जिन्हें वे सोचते हैं कि उपयोग नहीं किए जा रहे हैं। इसे एक माली की तरह समझें जो एक विशाल झाड़ी की छंटाई करता है ताकि वह एक छोटे गमले में फिट हो सके।
पिछली विधियों के साथ समस्या यह थी कि वे एक ऐसे माली की तरह थीं जिसने आँखों पर पट्टी बाँधकर कैंची चलाई हो—उन्होंने उन शाखाओं को काट दिया जो सामान्य रूप से "भारी" या "सक्रिय" दिख रही थीं, बिना यह समझे कि झाड़ी वास्तव में क्या कर रही है।
- परिणाम: जब उन्होंने झाड़ी को छोटा करने के लिए उसे काटा, तो उन्होंने अनजाने में उन्हीं विशिष्ट, छोटी टहनियों को काट दिया जो तार्किक चरणों (logical steps) को आपस में जोड़ती थीं। सहायक छोटा और तेज़ तो हो गया, लेकिन उसने सोचने की अपनी क्षमता खो दी। वह अब भी धाराप्रवाह बोल सकता था, लेकिन उसका तर्क टूट चुका था, जैसे कि एक ऐसी कहानी जहाँ वाक्य व्यक्तिगत रूप से तो सही लगते हैं लेकिन पूरी कहानी का कोई अर्थ नहीं निकलता।
समाधान: µCRASP (एक समझदार माली)
लेखकों ने µCRमाCRASP नामक एक नई विधि बनाई है। एक अंधे माली के बजाय, µCRASP एक समझदार माली है जो यह समझता है कि झाड़ी का विशिष्ट कार्य क्या है: तर्क करना (reasoning)।
यहाँ बताया गया है कि µCRASP कैसे काम करता है, तीन सरल रूपकों (metaphors) का उपयोग करते हुए:
"पिवट पॉइंट्स" खोजना (टर्न सिग्नल्स):
तर्क की एक लंबी श्रृंखला में, अधिकांश शब्द केवल भरने वाले (filler) होते हैं। लेकिन कुछ महत्वपूर्ण क्षण होते हैं जहाँ सहायक एक विचार से दूसरे विचार में बदलता है (जैसे, "मैं एक फूलदान देखता हूँ" "इसलिए, यह गिर सकता है")। लेखक इन महत्वपूर्ण क्षणों को पिवट टोकन (pivot tokens) कहते हैं।- रूपक: एक ट्रेन यात्रा की कल्पना करें। ट्रैक का अधिकांश हिस्सा बस सीधी रेखाएँ है। लेकिन स्विच (जहाँ ट्रेन ट्रैक बदलती है) सबसे महत्वपूर्ण हिस्से होते हैं। यदि आप स्विच पर ट्रैक काट देते हैं, तो ट्रेन पटरी से उतर जाती है। µCRASP इन स्विचों की पहचान करता है और उन्हें काटने से इनकार कर देता है, भले ही इसका मतलब अधिक सीधी और उबाऊ ट्रैक को काटना क्यों न हो।
"दो-मस्तिष्क" प्रणाली का सम्मान करना (दृष्टि + भाषा):
इस सहायक के पास सोचने के दो अलग तरीके हैं: छवियों को देखने के लिए (Vision) और शब्दों को पढ़ने के लिए (Language)। इन दोनों हिस्सों को आपस में लगातार संवाद करने की आवश्यकता होती है।- रूपक: दो लोगों की एक टीम की कल्पना करें: एक फोटोग्राफर और एक लेखक। उन्हें एक रहस्य सुलझाने के लिए मिलकर काम करना होता है। पुरानी प्रूनिंग विधियों ने उन्हें एक बड़े समूह के रूप में देखा और बेतरतीब ढंग से काट दिया। µCRASP समझता है कि यदि आप उन लोगों को काट देते हैं जो फोटोग्राफर को लेखक से बात करने में मदद करते हैं, तो टीम बिखर जाएगी। यह विशेष रूप से उस "मीटिंग रूम" की रक्षा करता है जहाँ ये दोनों मस्तिष्क आपस में जुड़ते हैं।
वैश्विक बजट (द नैपसैक/बैकपैक):
लक्ष्य मस्तिष्क का एक निश्चित प्रतिशत (जैसे, 30%) काटना है ताकि इसे छोटा बनाया जा सके।- रूपक: कल्पना कीजिए कि आपके पास एक बैकपैक (कंप्यूटर मेमोरी) है और आपको उसमें बहुत सारा सामान फिट करना है। पुरानी विधियाँ शायद 30% भारी जूते और 30% हल्के मोज़े काट देंगी, जिससे आपके पास न जूते बचेंगे और न ही मोज़े। µCRASP एक स्मार्ट पैकर की तरह काम करता है। यह हर एक वस्तु (न्यूरॉन) के मूल्य को उसके वजन के सापेक्ष देखता है। यह तय कर सकता है कि भारी जूतों को रखना है (क्योंकि वे तर्क के लिए महत्वपूर्ण हैं) और बहुत सारे हल्के मोज़ों को काट देना है, जिससे यह सुनिश्चित हो सके कि बैकपैक छोटा है लेकिन फिर भी पूरी तरह कार्यात्मक है।
परिणाम
शोधकर्ताओं ने कई अलग-अलग "सहायकों" (AI मॉडल्स) पर इसका परीक्षण किया और पाया कि:
- पुरानी विधियों ने तर्क करने की क्षमता को बहुत जल्दी तोड़ दिया। जैसे ही उन्होंने मॉडल का 25-25% से अधिक हिस्सा काटा, तर्क पूरी तरह से ध्वस्त हो गया।
- µCRASP ने मॉडल के 50% हिस्से को काट देने के बाद भी तर्क को बरकरार रखा।
- भले ही मॉडल अपने मूल आकार का आधा था, फिर भी यह विशाल, महंगे संस्करण की तरह ही तार्किक स्पष्टता के साथ जटिल दृश्य पहेलियों (जैसे भौतिकी की समस्याएं या वस्तुओं की गिनती) को हल कर सका।
सारांश में
µCRASP एक नया तरीका है जिससे बुद्धिमान AI मॉडल्स को उनके "दिमाग" को तोड़े बिना छोटा किया जा सकता है। यह ऐसा इसलिए करता है क्योंकि यह सावधानीपूर्वक उन सूक्ष्म, महत्वपूर्ण क्षणों की पहचान करता है जहाँ AI एक विचार से दूसरे विचार में बदलता है, और यह सुनिश्चित करता है कि AI की "आंखें" और "मुंह" जुड़े रहें। यह शक्तिशाली तर्क उपकरणों को उनके चरण-दर-चरण सोचने की क्षमता खोए बिना छोटे, सस्ते कंप्यूटरों पर चलाने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।