Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स में लेयर रिडंडेंसी (परत अतिरेक) एक अंतर्निहित संरचनात्मक गुण नहीं है बल्कि यह कैलिब्रेशन उद्देश्य पर कार्यात्मक रूप से निर्भर है, जो यह प्रदर्शित करता है कि विशिष्ट सर्च एल्गोरिदम के उपयोग की तुलना में उद्देश्य का चयन डेप्थ प्रूनिंग परिणामों पर अधिक प्रभाव डालता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसमें 30 या 40 मंजिलें हैं। प्रत्येक मंजिल पर विशेषज्ञों की एक टीम है जो पुस्तकालय को प्रश्न पूछने में मदद करती है। समस्या यह है कि पुस्तकालय इतना बड़ा है कि इसे चलाना धीमा और महंगा है। आप कुछ मंजिलों को हटाना चाहते हैं ताकि यह तेज़ हो सके, लेकिन आप नहीं चाहते कि पुस्तकालय की सोचने की क्षमता कम हो जाए।
यह शोध पत्र एक सरल लेकिन क्रांतिकारी प्रश्न पूछता है: कौन सी मंजिलें वास्तव में बेकार हैं?
पुराना तरीका: "संरचनात्मक" दृष्टिकोण (The "Structural" View)
लंबे समय तक, शोधकर्ताओं का मानना था कि "बेकार" मंजिलें इमारत के डिज़ाइन का एक निश्चित हिस्सा थीं। उन्होंने सोचा, "मंजिल 15 स्वाभाविक रूप से आलसी है, चाहे हम पुस्तकालय से कुछ भी पूछें।"
उन्होंने इन आलसी मंजिलों को खोजने की कोशिश की—इमारत के ब्लूप्रिंट (मॉडल के आंतरिक गणित) को देखकर या यह चुनने के लिए कि किन मंजिलों को हटाना है, विभिन्न तरीकों (सर्च एल्गोरिदम) का उपयोग करके। उन्होंने माना कि मंजिलों को काटने की एक ही "सर्वश्रेष्ठ सूची" होती है, और यदि आप वह सूची पा लेते हैं, तो आप उसका उपयोग किसी भी काम के लिए कर सकते हैं।
नई खोज: "कार्यात्मक" दृष्टिकोण (The "Functional" View)
यह शोध पत्र तर्क देता है कि पुराना दृष्टिकोण गलत है। एक निश्चित संपत्ति होने के बजाय, अतिरेक (redundancy) पूरी तरह से इस बात पर निर्भर करता है कि आप पुस्तकालय को किस काम के लिए काम पर रख रहे हैं।
इसे एक स्पोर्ट्स टीम की तरह समझें:
- यदि आपको सॉकर मैच जीतने की आवश्यकता है, तो आप स्टार स्ट्राइकर को बेंच पर बैठा सकते हैं क्योंकि वे रक्षा (defense) के लिए बहुत धीमे हैं।
- यदि आपको बास्केटबॉल गेम जीतने की आवश्यकता है, तो वही स्ट्राइकर अनिवार्य है।
यह शोध पत्र दिखाता है कि एक एआई मॉडल में एक परत (मंजिल) तब "बेकार" हो सकती है जब आप उससे कहानी लिखने के लिए कह रहे हों (जिसे परप्लेक्सिटी/perplexity कहते हैं, या पाठ की प्रवाहशीलता), लेकिन वही परत महत्वपूर्ण हो जाती है यदि आप उसे कोई तर्क संबंधी पहेली (कार्य सटीकता/task accuracy) हल करने के लिए कहते हैं।
प्रयोग: सिद्धांत का परीक्षण
शोधकर्ताओं ने तीन अलग-अलग एआई मॉडल लेकर और दो अलग-अलग लक्ष्यों का उपयोग करके उन्हें छोटा करने का परीक्षण किया:
- लक्ष्य A (प्रवाहशीलता/Fluency): टेक्स्ट लिखते समय एआई को सहज और प्राकृतिक बनाना।
- लक्ष्य B (तर्क/Reasoning): तर्क और सामान्य ज्ञान के प्रश्नों का सही उत्तर देने में एआई की मदद करना।
उन्होंने यह तय करने के लिए सात अलग-अलग तरीकों (एल्गोरिदम) का भी परीक्षण किया, जिसमें "पहले 7 चुनें" जैसे सरल तरीके से लेकर जटिल "इवोल्यूशनरी" सर्च तक शामिल थे।
तीन बड़ी खोजें
1. लक्ष्य कट को बदल देता है (The Goal Changes the Cut)
जब उनका लक्ष्य प्रवाहशीलता (Fluency) था, तो एल्गोरिदम ने लगातार बीच की कुछ मंजिलों के एक विशिष्ट ब्लॉक को बाहर निकाला। यह ऐसा था जैसे सभी इस बात पर सहमत हों, "हमें कहानियाँ लिखने के लिए मध्य भाग की आवश्यकता नहीं है।"
लेकिन जब उनका लक्ष्य तर्क (Reasoning) था, तो कट (कटौती) पूरी इमारत में बिखरे हुए थे। अलग-अलग एल्गोरिदम ने अलग-अलग मंजिलें चुनीं।
- रूपक: यदि आप एक पेड़ को सुंदर बनाने के लिए उसकी छंटाई कर रहे हैं (प्रवाहशीलता), तो आप बीच की शाखाओं को काटते हैं। यदि आप पेड़ की छंटाई फल देने के लिए कर रहे हैं (तर्क), तो आप ऊपरी शाखाओं को काटते हैं। "बेकार" हिस्से इस पर निर्भर करते हैं कि आप पेड़ से क्या चाहते हैं।
2. "स्मूथ" एआई, "स्मार्ट" एआई नहीं है (The "Smooth" AI isn't the "Smart" AI)
यह सबसे आश्चर्यजनक हिस्सा था। उन्होंने पाया कि जो एआई मॉडल सबसे अधिक प्रवाहपूर्ण (सबसे कम "परप्लेक्सिटी") था, वह तर्क संबंधी प्रश्नों का सबसे अच्छा उत्तर देने वाला मॉडल नहीं था।
वास्तव में, रैंकिंग अक्सर पूरी तरह से विपरीत होती थी। जो मॉडल सहज वाक्य लिखने में सबसे अच्छा था, वह कभी-कभी पहेलियाँ सुलझाने में सबसे खराब था।
- रूपक: एक व्यक्ति जो बेहतरीन लहजे और सुंदर शब्दावली के साथ बोलता है, वह कार का इंजन ठीक करने के लिए सबसे अच्छा मैकेनिक नहीं हो सकता। आप एक मैकेनिक को उसके लहजे से नहीं आंक सकते।
3. "कैसे" से ज्यादा "क्यों" महत्वपूर्ण है ("How" Matters Less Than the "Why")
शोधकर्ताओं ने यह परीक्षण करने के लिए सात अलग-अलग तरीकों का उपयोग किया कि कौन सी परतें काटनी हैं। उन्होंने पाया कि एक बार जब आपने एक लक्ष्य (प्रवाहशीलता या तर्क) चुन लिया, तो इससे बहुत फर्क नहीं पड़ता कि आप किस सर्च पद्धति का उपयोग करते हैं।
चाहे उन्होंने एक सरल, तेज़ विधि का उपयोग किया हो या एक जटिल "इवोल्यूशनरी" सर्च का, वे लगभग एक ही परिणाम पर पहुंचे (1-3% सटीकता के भीतर)।
- रूपक: यदि आप केक बनाना चाहते हैं, तो इससे कोई फर्क नहीं पड़ता कि आप लकड़ी के चम्मच, व्हिस्क या रोबोटिक हाथ का उपयोग करते हैं। जो मायने रखता है वह यह है कि आप केक की रेसिपी (Recipe) का पालन कर रहे हैं। यदि आप "केक की रेसिपी" का पालन करते हैं, तो आपको केक मिलेगा। यदि आप "ब्रेड की रेसिपी" का पालन करते हैं, तो आपको ब्रेड मिलेगी। उपकरण बदलने से परिणाम उतना नहीं बदलता जितना कि रेसिपी बदलने से बदलता है।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि आपका निर्धारित लक्ष्य सबसे महत्वपूर्ण कारक है, जो कि उस फैंसी एल्गोरिदम से कहीं अधिक महत्वपूर्ण है जिसका उपयोग आप कट खोजने के लिए करते हैं।
- समय बर्बाद न करें एक "परफेक्ट" जटिल सर्च एल्गोरिदम खोजने में।
- समय बिताएं उस विशिष्ट उद्देश्य (रेसिपी) को सावधानीपूर्वक डिजाइन करने में जो उस कार्य से मेल खाता हो जो आप एआई से करवाना चाहते हैं।
यदि आप लिखने के लिए एक तेज़ एआई चाहते हैं, तो लिखने के लिए अनुकूलित (optimize) करें। यदि आप तर्क के लिए एक तेज़ एआई चाहते हैं, तो तर्क के लिए अनुकूलित करें। परतों को काटने के लिए कोई "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) सूची नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।