← नवीनतम पेपर
💻 computer science

STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing

यह शोध पत्र STARFISH को पेश करता है, जो एक कुशल हीलिंग विधि है जो अनलेबल कैलिब्रेशन डेटा के एक बहुत छोटे सेट का उपयोग करके प्रून किए गए मॉडल के आंतरिक स्टेट रिप्रजेंटेशन को मूल मॉडल के साथ संरेखित करके न्यूरल नेटवर्क प्रूनिंग के दौरान खोई गई अधिकांश सटीकता को पुनः प्राप्त करती है, जो विशेष रूप से आक्रामक प्रूनिंग स्थितियों के तहत अत्याधुनिक तकनीकों से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Shir Maon, Odelia Melamed, Adi Shamir

प्रकाशित 2026-06-02
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Shir Maon, Odelia Melamed, Adi Shamir

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक न्यूरल नेटवर्क) है जो लाखों किताबों (वेट्स/weights) से भरा हुआ है। यह पुस्तकालय लगभग किसी भी सवाल का सटीक उत्तर दे सकता है। लेकिन, यह पुस्तकालय इतना बड़ा है कि इसे चलाने के लिए बहुत अधिक जगह चाहिए, बहुत अधिक लागत आती है, और इसे खोजने में बहुत समय लगता है।

इसे ठीक करने के लिए, आप 50%, 75%, या यहाँ तक कि 90% किताबें फेंक देते हैं। इसे प्रूनिंग (pruning) कहा जाता है।

समस्या:
जब आप इतनी सारी किताबें फेंक देते हैं, तो पुस्तकालय ठीक से काम करना बंद कर देता है। यह गलत उत्तर देने लगता है। आमतौर पर, इसे ठीक करने के लिए, आपको लाइब्रेरियन की एक टीम रखनी पड़ती है जो मूल संग्रह को फिर से पढ़ती है और बचे हुए हिस्सों को व्यवस्थित करना फिर से सीखती है। यह महंगा है, इसमें बहुत समय लगता है, और अक्सर, आपके पास मूल किताबें मौजूद भी नहीं होतीं (वे निजी या गोपनीय हो सकती हैं)।

समाधान: STARFISH
इस पेपर के लेखक एक नई विधि पेश करते हैं जिसे STARFISH कहा जाता है। उन्होंने इसका नाम समुद्री जीव के नाम पर रखा है जो अपने खोए हुए अंगों को फिर से उगा सकता है। ठीक वैसे ही जैसे एक स्टारफिश अपने अंगों के कट जाने के बाद भी खुद को ठीक कर सकती है, STARFISH एक "प्रून्ड" (क्षतिग्रस्त) नेटवर्क को खुद को ठीक करने और अपनी बुद्धिमत्ता वापस पाने में मदद करता है।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "भूत" बनाम "असली" (The "Ghost" vs. The "Real")

कल्पना कीजिए कि मूल, पूर्ण पुस्तकालय एक मास्टर शेफ (Master Chef) है जो जानता है कि एक आदर्श भोजन कैसे पकाया जाता है। प्रूनिंग के बाद, जब आप अधिकांश सामग्री फेंक देते हैं, तो आपके पास एक जूनियर शेफ (Junior Chef) बचता है जो भ्रमित है और अच्छा खाना नहीं बना पा रहा है।

आमतौर पर, जूनियर शेफ को ठीक करने के लिए, आप उसे मूल व्यंजनों को चखने और अंतिम स्वाद (आउटपुट) को याद करने की कोशिश करने के लिए कहेंगे। लेकिन यह पेपर कहता है कि जब क्षति गंभीर हो, तो यह पर्याप्त नहीं है।

इसके बजाय, STARFISH मास्टर शेफ के आंतरिक विचारों को देखता है।

  • यह मास्टर शेफ से पूछता है: "जब आप एक टमाटर देखते हैं, तो टमाटर तय करने से पहले आप उसके बारे में क्या सोचते हैं? जब आप सॉस के बारे में सोचते हैं तो क्या? और गर्मी के बारे में क्या?"
  • यह कुछ नमूना व्यंजनों के लिए इन आंतरिक "विचारों" (जिन्हें इंटरनल स्टेट्स या रिप्रेजेंटेशन्स कहा जाता है) को रिकॉर्ड करता है।
  • फिर, यह जूनियर शेफ को बताता है: "सिर्फ अंतिम स्वाद का अनुमान लगाने की कोशिश मत करो। प्रक्रिया के हर चरण में बिल्कुल वैसे ही सोचने की कोशिश करो जैसे मास्टर शेफ ने सोचा था।"

2. छोटा "कैलिब्रेशन" सेट (The Tiny "Calibration" Set)

STARFISH का जादू यह है कि इसे यह करने के लिए पूरे पुस्तकालय की किताबों की आवश्यकता नहीं है। इसे केवल उदाहरणों का एक छोटा सा समूह (जैसे 1,000 चित्र) चाहिए जो "कैलिब्रेशन सेट" के रूप में कार्य कर सके।

  • यह जूनियर शेफ को एक छोटी सी रेसिपी कार्ड देने जैसा है जिसमें कुछ नोट्स दिए गए हैं कि मास्टर शेफ ने कैसे सोचा था।
  • जूनियर शेफ इन कुछ उदाहरणों पर अभ्यास करता है, अपनी सोचने की प्रक्रिया को तब तक समायोजित करता है जब तक कि उसके आंतरिक "विचार" मास्टर शेफ के विचारों से पूरी तरह मेल न खा जाएं।

3. यह एक बड़ी बात क्यों है?

पेपर का दावा है कि यह विधि एक गेम-चेंजर है, विशेष रूप से जब आप नेटवर्क को बहुत अधिक काट देते हैं:

  • "50% कट" परिदृश्य: यदि आप आधे वेट्स हटा देते हैं, तो STARFISH नेटवर्क की सटीकता को लगभग पूरी तरह से (99.8% तक) वापस पा लेता है। यह वर्तमान सर्वोत्तम तरीकों को बहुत बड़े अंतर से पीछे छोड़ देता है।
  • "75% कट" परिदृश्य: यहाँ यह वास्तव में प्रभावशाली हो जाता है। यदि आप 75% वेट्स हटा देते हैं, तो अन्य तरीके आमतौर पर बुरी तरह विफल हो जाते हैं, जिससे नेटवर्क की बुद्धिमत्ता मूल का केवल 40% रह जाती है। हालाँकि, STARFISH मूल सटीकता का 82% रिकवर करने में सक्षम है।
  • "85% कट" परिदृश्य: यहाँ तक कि जब आप 85% वेट्स हटा देते हैं (लगभग कुछ भी नहीं छोड़ते), STARFISH अभी भी नेटवर्क को उसके मूल प्रदर्शन के लगभग 92% तक बहाल करने में सक्षम है।

4. "कोई मूल डेटा नहीं" की सुपरपावर

अधिकांश मरम्मत विधियों के लिए आपको नेटवर्क को फिर से सिखाने के लिए मूल प्रशिक्षण डेटा (लाखों किताबों) की आवश्यकता होती है।

  • STARFISH का लाभ: यह तब भी काम करता है जब आपके पास मूल प्रशिक्षण डेटा नहीं होता है। इसे केवल क्षतिग्रस्त नेटवर्क, हटाए गए हिस्सों की सूची (मास्क), और कुछ अनलेबल चित्रों के एक छोटे, यादृच्छिक सेट की आवश्यकता होती है। यह उन आधुनिक स्थितियों के लिए एकदम सही है जहाँ कंपनियाँ मॉडल साझा कर सकती हैं लेकिन अपना प्रशिक्षण डेटा गुप्त रखती हैं।

सारांश

STARFISH को एक "माइंड-मेल्ड" (मन का मिलन) तकनीक के रूप में समझें। क्षतिग्रस्त नेटवर्क को सही उत्तर का अनुमान लगाने के लिए मजबूर करने के बजाय, यह क्षतिग्रस्त नेटवर्क को बिल्कुल वैसा ही सोचने के लिए मजबूर करता है जैसा कि मूल, स्वस्थ नेटवर्क ने किया था। केवल कुछ उदाहरणों का उपयोग करके इन आंतरिक विचारों को संरेखित करके, यह सबसे गंभीर रूप से "अंग-विच्छेदित" (amputated) नेटवर्कों को भी ठीक कर सकता है, और उन्हें बिना मूल प्रशिक्षण डेटा के लगभग पूर्ण प्रदर्शन तक वापस ला सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →