Calibration-Preserving Pruning: Compression as a Reliability Contract
यह शोध पत्र कैलिब्रेशन-प्रिजर्विंग प्रूनिंग (CPP) को प्रस्तुत करता है, जो एक ऐसी विधि है जो कॉन्फॉर्मल प्रेडिक्शन में प्रेडिक्शन सेट के आकार को कम करने के लिए नॉनकॉन्फॉर्मिटी-ग्रेडिएंट सैलिएंसी को एकीकृत करके मॉडल संपीड़न को बढ़ाती है और साथ ही परिमित-नमूना कवरेज गारंटी बनाए रखती है, जो विश्वसनीयता से समझौता किए बिना बड़े-लेबल वर्गीकरण कार्यों पर महत्वपूर्ण दक्षता लाभ प्रदर्शित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली इंजन हैं जो पढ़ सकते हैं, लिख सकते हैं और तर्क कर सकते हैं, लेकिन इन्हें चलाना बेहद भारी और महंगा भी है। उन्हें रोजमर्रा के उपकरणों के लिए व्यावहारिक बनाने के लिए, शोधकर्ता अक्सर अनावश्यक हिस्सों को हटाकर उन्हें छोटा करने की कोशिश करते हैं, जिसे प्रूनिंग (pruning) कहा जाता है। हालांकि, इसमें एक पेंच है: जब आप मॉडल के हिस्सों को काटते हैं, तो आप इसकी यह बताने की क्षमता को बिगाड़ने का जोखिम उठाते हैं कि वह अपने उत्तरों के बारे में कितना आश्वस्त है। कई महत्वपूर्ण अनुप्रयोगों के लिए, जैसे चिकित्सा निदान या वित्तीय सलाह, यह जानना कि उत्तर कितना विश्वसनीय है, सही उत्तर प्राप्त करने जितना ही महत्वपूर्ण है। यदि कोई मॉडल आश्वस्त है लेकिन गलत है, या यदि वह दस संभावित उत्तरों की सूची देता है जबकि केवल दो ही संभावित हैं, तो वह कम उपयोगी हो जाता है। चुनौती इन मॉडलों को इस तरह छोटा करने की है कि उनकी विश्वसनीयता मापने की महत्वपूर्ण क्षमता बनी रहे।
आयोवा स्टेट यूनिवर्सिटी और इंडिपेंडेंट यूनिवर्सिटी ऑफ बांग्लादेश के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए एक नई विधि विकसित की है। वे इसे 'कैलिब्रेशन-प्रिजर्विंग प्रूनिंग' (Calibration-Preserving Pruning) कहते हैं। उनका काम 'कॉन्फ़ॉर्मल प्रेडिक्शन' (conformal prediction) नामक एक तकनीक पर केंद्रित है, जो कंप्यूटर के लिए संभावित उत्तरों की एक सूची उत्पन्न करने का एक तरीका है, जिसमें यह गारंटी होती है कि सही उत्तर एक निश्चित प्रतिशत समय में उस सूची के भीतर होगा। कल्पना कीजिए कि एक मौसम विज्ञानी कहता है, "60 से 70 डिग्री के बीच तापमान होने की 90% संभावना है।" लक्ष्य यह रखना है कि वह 90% की गारंटी बरकरार रहे, भले ही मॉडल को छोटा कर दिया गया हो, लेकिन साथ ही वह तापमान सीमा यथासंभव संकीर्ण (narrow) भी होनी चाहिए। 60 से 70 की सीमा 50 से 80 की तुलना में बहुत अधिक उपयोगी है, भले ही तकनीकी रूप से दोनों ही 90% समय सही हों।
शोधकर्ताओं ने पाया कि मॉडल को छोटा करना और फिर बाद में उसे पुन: कैलिब्रेट (recalibrate) करना पर्याप्त नहीं है। हालांकि 90% बार सही होने की गारंटी को बहाल किया जा सकता है, लेकिन संभावित उत्तरों की सूची अक्सर अनावश्यक रूप से लंबी और अस्पष्ट हो जाती है। ऐसा इसलिए होता है क्योंकि प्रूनिंग की प्रक्रिया विभिन्न संभावित उत्तरों के बीच के अंतर को धुंधला कर सकती है, जिससे मॉडल इस बारे में कम निश्चित हो जाता है कि कौन सा उत्तर सबसे अच्छा है। इसे ठीक करने के लिए, टीम ने यह तय करने का एक नया तरीका बनाया कि मॉडल के किन हिस्सों को काटा जाए। केवल यह देखने के बजाय कि कोई 'वेट' (weight) अंतिम उत्तर के लिए कितना महत्वपूर्ण है, उनकी विधि यह भी देखती है कि उस वेट को काटने से मॉडल की निश्चितता की समझ कितनी भ्रमित होगी। वे एक विशेष गणितीय संवेदनशीलता जांच (sensitivity check) का उपयोग करते हैं ताकि यह देखा जा सके कि यदि किसी विशिष्ट हिस्से को हटा दिया जाए तो मॉडल के कॉन्फिडेंस स्कोर में कितना उतार-चढ़ाव आएगा। उन हिस्सों को बनाए रखकर जो स्कोर को स्पष्ट रखने के लिए सबसे महत्वपूर्ण हैं, वे मॉडल को छोटा कर सकते हैं और उत्तरों की सूची को सटीक रख सकते हैं।
टीम ने Qwen2.5-1.5B जैसे कई लार्ज लैंग्वेज मॉडल्स पर समाचार लेखों के वर्गीकरण और बैंकिंग संबंधी प्रश्नों जैसे विभिन्न कार्यों के लिए इस दृष्टिकोण का परीक्षण किया। उन्होंने अपने नए तरीके की तुलना मॉडल्स को छोटा करने के मौजूदा तरीकों से की। परिणामों ने दिखाया कि उनका दृष्टिकोण सटीकता से समझौता किए बिना उत्तर सूचियों के आकार को सफलतापूर्वक कम करने में सफल रहा। उदाहरण के लिए, टेक्स्ट की चौदह श्रेणियों वाले एक डेटासेट पर, उनके तरीके ने उत्तरों की सूची के औसत आकार को 10.1 से घटाकर 8.6 कर दिया, जबकि वास्तव में एकल सही उत्तर चुनने की मॉडल की क्षमता में सुधार हुआ। एक अन्य मामले में, उन्होंने सूची का आकार 11.2 से घटाकर 9.0 कर दिया, हालांकि इसके साथ सटीकता में बहुत मामूली कमी आई। कई अलग-अलग परीक्षणों में, उनके तरीके ने मानक तकनीकों की तुलना में अधिकांश मामलों में छोटी और अधिक उपयोगी उत्तर सूचियाँ प्रदान कीं।
हालांकि, शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह कोई जादुई समाधान नहीं है जो सभी प्रूनिंग को बेहतर बना दे। उन्होंने पाया कि सुधार का एक महत्वपूर्ण हिस्सा केवल बेहतर जानकारी के उपयोग से आया, न कि केवल उनके विशिष्ट नए तरीके से। जब उन्होंने अपने तरीके की तुलना अन्य उन्नत तकनीकों से की जो लर्निंग सिग्नल का उपयोग करती हैं, तो लाभ कम हो गया, और कुछ मामलों में, परिणाम सांख्यिकीय रूप से समान थे। उनके तरीके के सबसे प्रभावी संस्करण के लिए मॉडल के प्रत्येक हिस्से की संवेदनशीलता की गणना करने के लिए अतिरिक्त कंप्यूटर समय की आवश्यकता थी, जो एक ऐसी लागत है जिसे उत्तर सूची के लाभ के विरुद्ध तौलना होगा। अध्ययन पुष्टि करता है कि यह संभव है कि एक संपीड़ित (compressed) मॉडल को विशेष रूप से विश्वसनीयता के लिए अनुकूलित किया जाए, लेकिन इसके लिए तैयारी की लागत और सटीकता के लाभ के बीच एक सावधानीपूर्ण संतुलन की आवश्यकता होती है।
उनका कार्य यह भी रेखांकित करता है कि प्रयोग कैसे आयोजित किए जाते हैं। शोधकर्ताओं ने एक सख्त प्रोटोकॉल का उपयोग किया जहाँ मॉडल को काटने के लिए उपयोग किए गए डेटा, सेटिंग्स को ट्यून करने के लिए उपयोग किए गए डेटा और अंतिम विश्वसनीयता की जाँच करने के लिए उपयोग किए गए डेटा को पूरी तरह से अलग रखा गया। यह सुनिश्चित करता है कि परिणाम ईमानदार हैं और केवल डेटा का कोई संयोग मात्र नहीं हैं। उन्होंने पाया कि जब इन नियमों का पालन किया जाता है, तो एक विश्वसनीय, संपीड़ित मॉडल का वादा कायम रहता है। अध्ययन यह दावा नहीं करता है कि यह आर्टिफिशियल इंटेलिजेंस की हर समस्या को हल कर देता है, न ही यह सुझाव देता है कि ये संपीड़ित मॉडल हर संभावित कार्य के लिए तैयार हैं। इसके बजाय, यह मॉडल्स को छोटा और अधिक कुशल बनाने के साथ-साथ उनकी "मैं निश्चित नहीं हूँ" कहने की क्षमता को उपयोगी बनाए रखने का एक स्पष्ट, प्रमाणित मार्ग प्रदान करता है। उन डेवलपर्स के लिए जो ऐसे सिस्टम बना रहे हैं जहाँ विश्वास आवश्यक है, यह सुनिश्चित करने के लिए एक ठोस उपकरण प्रदान करता है कि दक्षता विश्वसनीयता की कीमत पर न आए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।