When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning
यह शोध पत्र तर्क देता है कि मानक संपीड़न स्कोर अक्सर अनसुलझी सूचना सीमाओं के कारण समूह-मजबूती (group-robustness) के लिए इष्टतम प्रूनिंग उम्मीदवारों की पहचान करने में विफल रहते हैं, और इसके बजाय समूह-संकलित क्षणों (group-resolved moments) और मान्य चयन गारंटियों का उपयोग करने वाले एक ढांचे का प्रस्ताव देता है जो बड़े भाषा मॉडलों में सबसे खराब-समूह परप्लेक्सिटी (worst-group perplexity) को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-तकनीकी अंतरिक्ष यान के कप्तान हैं जिसे "लार्ज लैंग्वेज मॉडल" कहा जाता है। यह जहाज मानव भाषा को समझने और उत्पन्न करने के लिए बनाया गया है, लेकिन यह इतना भारी और जटिल है कि वास्तविक दुनिया के अनुप्रयोगों के संकीर्ण घाटियों से होकर उड़ने के लिए बहुत धीमा है। इसे उड़ने के योग्य बनाने के लिए, आपको "प्रूनिंग" (छंटाई) करनी होगी: जहाज के इंजन के हिस्सों को सावधानीपूर्वक हटाना ताकि इसे हल्का बनाया जा सके, बिना जहाज को क्रैश किए।
जटिलता यह है कि जहाज केवल एक ही प्रकार का कार्गो नहीं ले जाता है; इसमें यात्रियों के कई अलग-अलग समूह हैं, जैसे कि "सामान्य यात्री," "दुर्लभ-कोड विशेषज्ञ," और "सुरक्षा निरीक्षक।" यदि आप इंजन का वह हिस्सा काट देते हैं जिस पर "दुर्लभ-कोड विशेषज्ञ" निर्भर करते हैं, तो जहाज अन्य सभी के लिए ठीक से उड़ सकता है, लेकिन विशेषज्ञ बीच में ही फंस सकते हैं। कंप्यूटर विज्ञान के इस क्षेत्र में बड़ा सवाल यह है: आप यह कैसे जानते हैं कि किन हिस्सों को काटना है ताकि यात्रियों का हर समूह सुरक्षित रहे, भले ही आप हर एक संभावित कट का परीक्षण न कर सकें? वैज्ञानिक "कंप्रेशन स्टैटिस्टिक्स" (संपीड़न सांख्यिकी) का उपयोग करते हैं: गणितीय स्कोर जो यह अनुमान लगाने की कोशिश करते हैं कि कौन से हिस्से बेकार हैं। लेकिन यह शोध पत्र एक डरावना सवाल पूछता है: क्या होगा यदि स्कोर कहता है कि एक हिस्सा काटने के लिए सुरक्षित है, लेकिन वास्तव में वह यात्रियों के एक विशिष्ट समूह के लिए जहाज को नष्ट कर देता है?
"वेन कंप्रेशन स्कोर्स कैनॉट डिसाइड" (जब संपीड़न स्कोर निर्णय नहीं ले पाते) नामक यह शोध पत्र, इन भविष्यवाणी स्कोर की छिपी हुई सीमाओं की जांच करता है। लेखक, एंड्रयू झांग के नेतृत्व में, तर्क देते हैं कि एक एकल, औसत स्कोर एक धुंधले मानचित्र को देखने जैसा है: यह दिखा सकता है कि जहाज आम तौर पर ठीक है, लेकिन यह छिपा देता है कि एक विशिष्ट कोना जल रहा है। उन्होंने पाया कि ये स्कोर अक्सर यह बताने में विफल रहते हैं कि विशिष्ट समूहों के लिए सबसे खराब स्थिति क्या होगी। एक एकल "जादुई नंबर" पर निर्भर रहने के बजाय, यह पत्र एक नई रणनीति का सुझाव देता है: स्थानीय सुरागों का उपयोग करके उम्मीदवारों की एक छोटी सूची बनाएं, और फिर अंतिम कट लगाने से पहले यह देखने के लिए कि वे प्रत्येक समूह के लिए कैसा प्रदर्शन करते हैं, वास्तव में उन विशिष्ट उम्मीदवारों का परीक्षण करें।
"औसत" स्कोर के साथ समस्या
एक कंप्रेशन स्कोर को कक्षा को ग्रेड देने वाले शिक्षक के रूप में सोचें। यदि शिक्षक केवल कक्षा का औसत देखता है, तो उन्हें लग सकता है कि सभी बहुत अच्छा कर रहे हैं। लेकिन क्या होगा यदि एक छात्र बुरी तरह फेल हो रहा है जबकि बाकी सभी परीक्षा में उत्कृष्ट प्रदर्शन कर रहे हैं? औसत विफलता को छिपा देता है। AI की दुनिया में, शोधकर्ता यह तय करने के लिए प्रूनिंग स्कोर का उपयोग करते हैं कि किन न्यूरॉन्स (AI के भीतर छोटे प्रसंस्करण इकाइयाँ) को हटा दिया जाए। ये स्कोर अक्सर सभी डेटा पर AI के "औसत" व्यवहार को देखते हैं।
लेखक ने पाया कि यह दृष्टिकोण खतरनाक है। उन्होंने पाया कि एक विशिष्ट प्रूनिंग स्कोर बहुत विश्वसनीय था (जिसकी "स्प्लिट-हाफ रिलायबिलिटी" 0.906 थी, जिसका अर्थ है कि परीक्षण करने पर इसने लगातार एक ही उत्तर दिया)। इस स्कोर ने भविष्यवाणी की कि एक निश्चित कट AI के प्रदर्शन में 16.1% का सुधार करेगा। हालांकि, जब उन्होंने वास्तव में वह कट लगाया, तो परिणाम विनाशकारी था: AI का प्रदर्शन कंट्रोल ग्रुप्स की तुलना में 6.0% से 7.7% तक खराब हो गया। स्कोर औसत के बारे में सही था, लेकिन यह पूरी तरह से चूक गया कि यह उपयोगकर्ताओं के विशिष्ट समूहों के अनुभव को बर्बाद कर देगा।
"इन्फॉर्मेशन बाउंड्री" और छिपा हुआ अंतर
इसे समझाने के लिए, लेखक एक "इन्फॉर्मेशन बाउंड्री" (सूचना सीमा) नामक अवधारणा का उपयोग करते हैं। कल्पना करें कि आप एक छिपी हुई वस्तु के आकार का अनुमान लगाने की कोशिश कर रहे हैं और उसकी छाया देख रहे हैं। यदि छाया केवल एक साधारण औसत है, तो आप सोच सकते हैं कि वस्तु एक पूर्ण गोला है। लेकिन वस्तु वास्तव में एक घन (cube) हो सकती है जिसका एक नुकीला कोना बाहर निकला हुआ है जिसे छाया नहीं दिखा पा रही है।
यह शोध पत्र तर्क देता है कि मानक प्रूनिंग विधियाँ केवल "छाया" (एकत्रित औसत) देखती हैं। वे "नुकीले कोनों" (व्यक्तिगत समूहों को होने वाले विशिष्ट नुकसान) को मिस कर देती हैं। लेखक जिसे स्कोर देखता है और जो वास्तवक में होता है, उसके बीच के अंतर को "ऑब्जर्वेशन फाइबर" कहते हैं। यह एक धुंधली खिड़की की तरह है: आप सामान्य आकार देख सकते हैं, लेकिन आप उन विवरणों को नहीं देख सकते जो सबसे महत्वपूर्ण हैं।
उन्होंने गणितीय रूप से सिद्ध किया कि यदि आप केवल औसत देखते हैं, तो आप समूहों की संख्या के कारक (factor) से गलत हो सकते हैं। यदि आपके पास 4 समूह हैं, तो सबसे खराब स्थिति का नुकसान औसत की तुलना में 4 गुना अधिक हो सकता है। यह एक "कोनिक लॉ" (शंक्वाकार नियम) है जिसे उन्होंने निकाला है, जो AI प्रूनिंग के लिए भौतिकी के नियम की तरह कार्य करता है: औसत हमेशा सबसे खराब स्थिति को छिपा देता है जब तक कि आप समूहों को अलग-अलग देखने के लिए कुछ विशेष न करें।
समाधान: दो चरणों वाला नृत्य
तो, यदि औसत स्कोर एक झूठ बोलने वाला है, तो हमें क्या करना चाहिए? यह पत्र एक दो-चरणीय प्रक्रिया प्रस्तावित करता है, जिसे वे "प्रपोज" (प्रस्तावित करना) और "डिसाइड" (निर्णय लेना) कहते हैं।
चरण 1: प्रपोज (स्थानीय सुराग)
सबसे पहले, आप स्थानीय सुरागों का उपयोग करके उम्मीदवारों की एक छोटी सूची बनाते हैं। घने AI मॉडल (बड़े, भारी वाले) में, उन्होंने एक "ग्रुप-रिजॉल्व्ड डायगोनल" विधि का उपयोग किया। यह पूरे इंजन को देखने के बजाय प्रत्येक विशिष्ट यात्री समूह के लिए इंजन के हिस्सों की जाँच करने जैसा है। यह विधि विशिष्ट नुकसान की सामान्य गंभीरता को पहचानने में बहुत अच्छी थी (इसका वास्तविक सबसे खराब नुकसान के साथ सहसंबंध 0.923-0.9239 था)। यह आपको बता सकती थी, "हे, यदि हम इस हिस्से को काटते हैं तो इस समूह के यात्री बड़ी मुसीबत में पड़ सकते हैं।" हालांकि, यह ठीक से नहीं बता सकती थी कि जो कट ठीक लग रहे हैं, उनमें से सबसे अच्छा कौन सा है। यह खतरे को खोजने में अच्छा था, लेकिन विजेता चुनने में बुरा था।
चरण 2: डिसाइड (वास्तविक परीक्षण)
एक बार जब आपके पास उम्मीदवारों की एक छोटी सूची (एक सीमित मेनू) हो, तो आपको अनुमान लगाना बंद करना होगा और परीक्षण शुरू करना होगा। लेखक ने पाया कि आप इन उम्मीदवारों को रैंक करने के लिए एक एकल स्कोर पर भरोसा नहीं कर सकते। इसके बजाय, आपको विशिष्ट समूहों पर प्रत्येक उम्मीदवार के वास्तविक प्रदर्शन को मापना होगा।
उन्होंने इसका परीक्षण तीन अलग-अलग AI मॉडल (Llama, SmolLM3, और Qwen) पर किया। एक "टारगेट-मैच्ड" दृष्टिकोण का उपयोग करके—जहाँ उन्होंने विशिष्ट समूहों पर उम्मीदवारों के वास्तविक प्रदर्शन को मापा—उन्होंने वास्तविक सुधार देखे।
- Llama मॉडल पर, उन्होंने "वर्स्ट-ग्रुप परप्लेक्सिटी इन्फ्लेशन" (एक माप कि AI कितना भ्रमित होता है) को 7.96% कम किया।
- Qwen पर, उन्होंने इसे 2.80% कम किया।
- SmolLM3 पर, उन्होंने इसे 2.68% कम किया।
ये केवल अनुमान नहीं थे; ये मापे गए सुधार थे जो नए, अनदेखे डेटा पर भी टिके रहे।
MoE ट्विस्ट: राउटर का गुप्त मानचित्र
इस शोध पत्र ने "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) नामक एक अलग प्रकार के AI को भी देखा। कल्पना कीजिए कि ये मॉडल विशेषज्ञों की एक टीम हैं। एक विशाल मस्तिष्क के बजाय, आपके पास कई छोटे विशेषज्ञ होते हैं, और एक "राउटर" तय करता है कि प्रत्येक प्रश्न के लिए किस विशेषज्ञ का उपयोग किया जाए।
इस सेटअप में, राउटर एक "ट्रेस" या मानचित्र छोड़ता है जो दिखाता है कि कौन से विशेषज्ञ किन समूहों द्वारा उपयोग किए जाते हैं। लेखक ने पाया कि यह मानचित्र अविश्वसनीय रूप से उपयोगी था। यह रैंडम अनुमान लगाने की तुलना में बेहतर तरीके से भविष्यवाणी कर सकता था कि किस एकल विशेषज्ञ को हटाना है (मानक विधि के 81/192 के मुकाबले 114/192 बार सही होना)।
हालांकि, बड़े मॉडलों की तरह, यह मानचित्र भी पूर्ण नहीं था। यह बता सकता था कि कौन सा एकल विशेषज्ञ सबसे खतरनाक है, लेकिन यह नहीं बता सकता था कि विशेषज्ञों के सबसे अच्छे संयोजन को कैसे हटाया जाए। इसे हल करने के लिए, उन्हें पूर्ण संयोजनों का परीक्षण करना पड़ा। जब उन्होंने ऐसा किया, तो उन्होंने पाया कि दो विशिष्ट चालों ने सबसे खराब समूहों पर AI के प्रदर्शन में 13.7% और 7.2% का सुधार किया।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि आप AI समूहों के लिए जीवन-मरण के निर्णय लेने के लिए एक एकल, औसत संख्या पर भरोसा नहीं कर सकते। यदि आप एक ऐसा AI बनाना चाहते हैं जो सभी के लिए निष्पक्ष और मजबूत हो, तो आपको अधिक सावधान रहना होगा।
- स्थानीय सुराग खतरे को पहचानने के लिए अच्छे हैं: बड़े जोखिमों को खोजने के लिए समूह-विशिष्ट स्कोर का उपयोग करें।
- लेकिन विजेताओं का परीक्षण अवश्य करें: एक बार जब आपके पास विकल्पों की एक छोटी सूची हो, तो आपको वास्तव में यह मापना होगा कि वे उन विशिष्ट समूहों पर कैसा प्रदर्शन करते हैं जिनकी आप परवाह करते हैं।
- "एक ही आकार सबके लिए" (One-Size-Fits-All) दृष्टिकोण विफल होता है: एक प्रूनिंग रणनीति जो एक मॉडल या एक समूह के लिए काम करती है, वह दूसरे के लिए पूरी तरह विफल हो सकती है। लेखक ने पाया कि "फाइन डायरेक्शंस" (विशिष्ट कटिंग पैटर्न) जो एक मॉडल के लिए काम करते थे, वे दूसरे के लिए काम नहीं करते थे।
शोध पत्र निष्कर्ष निकालता है कि हालांकि हम बेहतर मानचित्र और उम्मीदवारों की सूची बना सकते हैं, लेकिन अंतिम निर्णय के लिए हमेशा परिणाम का सीधा मापन आवश्यक है। आप केवल गणना करके सुरक्षा तक नहीं पहुँच सकते; आपको हर कट के बाद इंजन की जाँच करनी ही होगी। यह सुनिश्चित करता है कि जब आप अपने AI अंतरिक्ष यान को उड़ाते हैं, तो यात्रियों का कोई भी समूह अंधेरे में पीछे न छूट जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।