High-Layer Attention Pruning with Rescaling
यह शोध पत्र हाई-लेयर अटेंशन प्रूनिंग विद रीस्केलिंग (HARP) को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण-मुक्त विधि है जो बड़े भाषा मॉडलों की उच्च परतों से अटेंशन हेड्स को रणनीतिक रूप से हटाती है और प्रतिनिधित्व के परिमाण को बनाए रखने के लिए अनुकूली रीस्केलिंग लागू करती है, जिससे मौजूदा स्ट्रक्चर्ड प्रूनिंग तकनीकों की तुलना में विविध जनरेशन और डिस्क्रिमिनेटिव कार्यों में बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है, एक "लार्ज लैंग्वेज मॉडल" (LLM), जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और इंसानों की तरह चैट कर सकता है। ये दिमाग अविश्वसनीय रूप से शक्तिशाली होते हैं, लेकिन वे बहुत विशाल भी होते हैं—जैसे अपने बैकपैक में एक पूरी लाइब्रेरी ले जाने की कोशिश करना। क्योंकि वे इतने बड़े होते हैं, इसलिए वे सोचने में धीमे होते हैं और बहुत अधिक जगह घेरते हैं, जिससे उन्हें साधारण फोन या लैपटॉप पर उपयोग करना कठिन हो जाता है। इसे ठीक करने के लिए, वैज्ञानिक "प्रूनिंग" (pruning) नामक तकनीक का उपयोग करते हैं। प्रूनिंग को एक बोनसाई पेड़ की छंटाई करने जैसा समझें: आप सावधानी से उन शाखाओं को काट देते हैं जो बहुत कम काम कर रही हैं ताकि पेड़ स्वस्थ रहे लेकिन छोटा और तेज़ हो जाए।
आमतौर पर, जब लोग इन रोबोट दिमागों की छंटाई करते हैं, तो वे "अटेंशन हेड्स" (attention heads) को देखते हैं—ये दिमाग के वे छोटे हिस्से हैं जो यह तय करने में मदद करते हैं कि कौन से शब्द एक-दूसरे के लिए कितने महत्वपूर्ण हैं। कल्पना कीजिए कि ये हेड्स एक कमरे में जासूसों की एक टीम की तरह हैं, जिनमें से प्रत्येक एक अलग सुराग देख रहा है। प्रूनिंग का पुराना तरीका यह था कि हर एक कमरे से कुछ जासूसों को चुनकर उन्हें बाहर निकाल दिया जाए, इस उम्मीद में कि टीम अभी भी काम करेगी। लेकिन यह शोध पत्र बताता है कि यह करने का सबसे स्मार्ट तरीका नहीं है। यह पता चला है कि इमारत के बहुत ऊपरी कमरों में (मॉडल के उच्च स्तरों/layers में), जासूस अक्सर वही दोहरा रहे होते हैं जो नीचे वाले लोगों ने पहले ही कहा होता है। वे बहुत अधिक नया मूल्य नहीं जोड़ रहे हैं। इस पेपर के लेखक, पेंसिल्वेनिया स्टेट यूनिवर्सिटी के सोंगटाओ लियू और पेंग लियू ने देखा कि क्या हम बेहतर परिणाम प्राप्त कर सकते हैं यदि हम केवल ऊपरी मंजिलों के जासूसों को काट दें और निचले मंजलों के मेहनती लोगों को अकेला छोड़ दें। उन्होंने यह सुनिश्चित करने के लिए एक चतुर ट्रिक भी निकाली कि जब वे ऊपरी मंजिलों के जासूसों को हटाते हैं, तो दिमाग भ्रमित न हो जाए।
बड़ा विचार: ऊपर से काटना, बीच से नहीं
शोधकर्ताओं ने HARP (हाई-लेयर अटेंशन रीस्केल्ड प्रूनिंग) नामक एक नई विधि प्रस्तावित की है। उनकी मुख्य खोज यह है कि एक लार्ज लैंग्वेज मॉडल के "उच्च स्तर" (higher layers) वास्तव में निचले स्तरों की तुलना में कम महत्वपूर्ण होते हैं। इसे समझने के लिए, एक रिले रेस की कल्पना करें। शुरुआत में दौड़ने वाले धावक (निचले स्तर) भारी काम कर रहे होते हैं, शब्दों और वाक्यों का बुनियादी आकार तय कर रहे होते हैं। जैसे-जैसे बैटन ट्रैक पर ऊपर की ओर बढ़ता है, धावक इसे बस आगे बढ़ाते जाते हैं। जब तक बैटन ट्रैक के बिल्कुल शीर्ष पर पहुँचता है, तब तक धावक इतने तालमेल में होते हैं कि वे सभी बिल्कुल एक जैसा काम कर रहे होते हैं। यदि आप ट्रैक के शीर्ष से एक धावक को हटा देते हैं, तो दौड़ में कोई खास बदलाव नहीं आता क्योंकि वे वैसे भी नीचे वाले व्यक्ति की नकल ही कर रहे थे।
लेखकों ने पाया कि यदि आप इन उच्च स्तरों में अटेंशन हेड्स को काटते (प्रून करते) हैं, तो मॉडल वास्तव में अन्य जगहों से बेतरतीब ढंग से काटने की तुलना में बेहतर काम करता है। उन्होंने LLaMA3.1-8B, Mistral-7B, Qwen2-7B और Gemma2-9B जैसे कई प्रसिद्ध मॉडलों पर इसका परीक्षण किया। अपने प्रयोगों में, उन्होंने मॉडलों के उच्चतम 8 स्तरों से विशिष्ट अटेंशन हेड्स को हटाया।
"वॉल्यूम नॉब" (Volume Knob) वाली ट्रिक
हालाँकि, इसमें एक पेच था। जब आप उन ऊपरी स्तर के जासूसों को हटाते हैं, तो दिमाग द्वारा भेजा गया सिग्नल पहले की तुलना में थोड़ा धीमा या तेज़ हो जाता है। यह एक स्टीरियो सिस्टम से स्पीकर हटाने जैसा है; संगीत अभी भी बज सकता है, लेकिन वॉल्यूम गलत हो सकता है, और आवाज़ विकृत हो सकती है। इसे ठीक करने के लिए, लेखकों ने एक "रीस्केलिंग पैरामीटर" (rescaling parameter) पेश किया। इसे एक वॉल्यूम नॉब या डिमर स्विच की तरह समझें। उन ऊपरी स्तरों को काटने के बाद, उन्होंने सिग्नल के आकार को समायोजित करने के लिए इस नॉब को घुमाया, जिससे यह सुनिश्चित हुआ कि दिमाग के शेष हिस्से एक-दूसरे को स्पष्ट रूप से सुन सकें। उन्होंने केवल अंदाजे से सही सेटिंग नहीं लगाई; उन्होंने प्रत्येक स्तर के लिए सही वॉल्यूम स्तर खोजने के लिए एक स्मार्ट सर्च पद्धति का उपयोग किया, विभिन्न नंबरों का परीक्षण किया जब तक कि मॉडल सबसे अच्छा सुनाई न देने लगा।
उन्होंने क्या पाया
उनके परिणाम काफी प्रभावशाली थे। जब उन्होंने 2в (27) अलग-अलग कार्यों पर अपने HARP मेथड का परीक्षण किया—जिसमें सामान्य ज्ञान के प्रश्नों के उत्तर देने से लेकर जटिल गणितीय समस्याओं को हल करने और लंबे दस्तावेजों का सारांश बनाने तक शामिल थे—तो इसने लगातार अन्य लोकप्रिय प्रूनिंग विधियों को पछाड़ दिया।
- जेनरेशन टास्क (Generation Tasks): यह वह कार्य है जहाँ मॉडल को नई चीजें लिखनी होती हैं, जैसे गणित की समस्या को चरण-दर-चरण हल करना। यहाँ, HARP सबसे अधिक चमका। उदाहरण के लिए, LLaMA3.1-8B मॉडल पर, HARP ने जेनरेशन कार्यों पर औसतन 31.10% स्कोर प्राप्त किया, जबकि अगली सबसे अच्छी विधि ने केवल 20.58% प्राप्त किया। यह एक बहुत बड़ी छलांग है!
- लॉन्ग कॉन्टेक्स्ट (Long Context): पेपर ने यह भी देखा कि मॉडल लंबी कहानियों या दस्तावेजों (65,536 टोकन तक) को कितनी अच्छी तरह संभालता है। चूंकि अटेंशन मैकेनिज्म लंबे टेक्स्ट के साथ सबसे धीमा हो जाता है, इसलिए ऊपरी स्तरों को काटने से मॉडल काफी तेज़ हो गया। उन्होंने पाया कि 65,536 टोकन के अनुक्रम के लिए, उनका प्रून किया गया मॉडल मूल, अन-प्रून्ड मॉडल की तुलना में 16.7% तेज़ था, जबकि गुणवत्ता को उच्च बनाए रखा गया था।
- डिस्क्रिमिनेटिव टास्क (Discriminative Tasks): ये वे कार्य हैं जहाँ मॉडल बस एक सूची में से सही उत्तर चुनता है (जैसे बहुविकल्पीय प्रश्न)। यहाँ, सुधार छोटा था लेकिन सकारात्मक था। HARP ने अन्य विधियों के बराबर या उनसे बेहतर प्रदर्शन किया, जिससे पता चला कि ऊपरी स्तरों को काटने से मॉडल की तथ्यों को समझने की क्षमता नहीं टूटी।
यह क्यों मायने रखता है
लेखक सुझाव देते हैं कि यह विधि पूरे मॉडल को फिर से प्रशिक्षित किए बिना AI को तेज़ और सस्ता बनाने के लिए एक गेम-चेंजर है। यह महसूस करके कि AI इमारत के ऊपरी मंजिलें सबसे अधिक "रिडंडेंट" (कम अद्वितीय कार्य करने वाली) हैं, वे बिना मांसपेशियों को नुकसान पहुँचाए अतिरिक्त चर्बी को काट सकते हैं। "रीस्केलिंग" ट्रिक यह सुनिश्चित करती है कि उन हिस्सों को हटाने पर मॉडल चक्कर न खाए।
संक्षेप में, यह पेपर तर्क देता है कि हमें AI के सभी हिस्सों के साथ एक जैसा व्यवहार नहीं करना चाहिए। ठीक एक गगनचुंबी इमारत की तरह, ऊपरी मंजिलें आधार की तुलना में संरचना के लिए कम महत्वपूर्ण हो सकती हैं। ऊपर से सावधानीपूर्वक छंटाई करके और वॉल्यूम को समायोजित करके, हम इन विशाल AI दिमागों को छोटा, तेज़ और रोजमर्रा के उपयोग के लिए तैयार कर सकते हैं। इस विधि का कोड किसी के भी उपयोग के लिए उपलब्ध है, और लेखक आशा करते हैं कि यह लॉन्ग-कॉन्टेक्स्ट AI (जैसे सेकंडों में पूरी किताबें पढ़ना) को वास्तविक दुनिया के लिए बहुत अधिक व्यावहारिक बनाने में मदद करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।