तकनीकी सारांश: मशीन अनलर्निंग के मूल्यांकन के लिए मल्टीपल ट्रेनिंग सीड्स के महत्व पर

समस्या का विवरण (Problem Statement)

मशीन अनलर्निंग का लक्ष्य एक प्रशिक्षित मॉडल से विशिष्ट डेटा पॉइंट्स के प्रभाव को हटाना है, बिना पूर्ण पुन: प्रशिक्षण (full retraining) की अत्यधिक लागत के। जबकि सटीक अनलर्निंग (शून्य से पुन: प्रशिक्षण) "गोल्ड स्टैंडर्ड" है, यह अक्सर अव्यवहारिक होता है। फलस्वरूप, शोधकर्ता अनुमानित अनलर्निंग एल्गोरिदम (जैसे, Random Labels, UNSIR, Bad Teacher, SSD, LFSSD) पर निर्भर करते हैं। चूंकि इन एल्गोरिदम का गणितीय रूप से विश्लेषण करना अक्सर कठिन होता है, इसलिए उनके प्रदर्शन का मूल्यांकन अनुभवजन्य (empirically) रूप से किया जाना चाहिए।

साहित्य में एक प्रचलित अभ्यास यह है कि इन अनलर्निंग विधियों का मूल्यांकन एक ही पूर्व-प्रशिक्षित मॉडल (केवल एक ट्रेनिंग सीड का उपयोग करके) से शुरू होकर, अनलर्निंग एल्गोरिदम को कई बार स्वतंत्र रूप से (विभिन्न अनलर्निंग सीड्स का उपयोग करके) चलाकर किया जाता है। यह शोध पत्र तर्क देता है कि यह मूल्यांकन रणनीति त्रुटिपूर्ण है। विशेष रूप से, अनलर्निंग प्रदर्शन प्रारंभिक ट्रेनिंग सीड के प्रति अत्यधिक संवेदनशील हो सकता है। एकल ट्रेनिंग सीड पर निर्भर रहने से गैर-प्रतिनिधिक परिणाम मिल सकते हैं, जिससे किसी एल्गोरिदम की प्रभावकारिता या मजबूती के बारे में अविश्वसनीय निष्कर्ष निकलते हैं। यह मुद्दा नियतात्मक (deterministic) अनलर्निंग विधियों के लिए विशेष रूप से गंभीर है, जो एक ही मॉडल से शुरू होने पर समान परिणाम उत्पन्न करती हैं, जिससे कई अनलर्निंग सीड्स निरर्थक हो जाते हैं।

कार्यप्रणाली (Methodology)

लेखक एक कठोर अनुभवजन्य मूल्यांकन ढांचा प्रस्तावित करते हैं जो प्रशिक्षण चरण और अनलर्निंग चरण दोनों में परिवर्तनशीलता (variability) को ध्यान में रखता है।

1. सामान्य मूल्यांकन प्रक्रिया (Generic Evaluation Procedure)

शोध पत्र एक मूल्यांकन प्रक्रिया (एल्गोरिदम 1) को औपचारिक रूप देता है जिसमें शामिल हैं:

• $I$ ट्रेनिंग सीड्स: अलग-अलग रैंडम सीड्स का उपयोग करके $I$ स्वतंत्र मॉडलों को शून्य से प्रशिक्षित करना।
• $J$ अनलर्निंग सीड्स: प्रत्येक प्रशिक्षित मॉडल के लिए, विभिन्न अनलर्निंग सीड्स का उपयोग करके अनलर्निंग एल्गोरिदम को $J$ बार चलाना।
• मीट्रिक एकत्रीकरण (Metric Aggregation): सभी $I \times J$ परिणामी मॉडलों में अनलर्निंग मीट्रिक्स (जैसे, फॉरगेट एक्यूरेसी, रिटेन एक्यूरेसी) के औसत मान की गणना करना।

2. वेरिएंस-डिकंपोजिशन विश्लेषण (Variance-Decomposition Analysis)

मुख्य सैद्धांतिक योगदान अनलर्निंग मीट्रिक $Z$ का एक वेरिएंस डिकंपोजिशन है:
$$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$$
जहाँ:

• $\sigma^2_{\text{train}}$ ट्रेनिंग सीड के चयन के कारण होने वाला वेरिएंस है।
• $\sigma^2_{\text{unlearn}}$ अनलर्निंग सीड के चयन के कारण होने वाला वेरिएंस है।
• $ICC$(इंट्राक्लास कोरिलेशन कोएफिशिएंट) को$\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$ के रूप में परिभाषित किया गया है।

विश्लेषण प्रदर्शित करता है कि यदि $\sigma^2_{\text{train}} > 0$ (अर्थात, $ICC > 0$) है, तो अनलर्निंग सीड्स की संख्या ($J$) को बढ़ाने से अनलर्निंग प्रदर्शन का लगातार अनुमान नहीं लगाया जा सकता; इसके बजाय ट्रेनिंग सीड्स ($I$) की संख्या बढ़ानी होगी। यह पेपर वेरिएंस को कम करने या लक्षित कॉन्फिडेंस इंटरवल की चौड़ाई प्राप्त करने के लिए कम्प्यूटेशनल बजट के इष्टतम आवंटन रणनीतियों को व्युत्पन्न करता है, जो दिखाता है कि जब ट्रेनिंग वेरिएंस महत्वपूर्ण हो, तो$J$के बजाय$I$ को प्राथमिकता देना आम तौर पर अधिक प्रभावी है।

3. कार्यान्वयन सुधार (Implementation Corrections)

लेखकों ने SSD और LFSSD के संदर्भ कोड में एक कार्यान्वयन संबंधी समस्या की पहचान की और उसे सुधारा। मूल कार्यान्वयन वर्ग (squaring) करने से पहले बैच-स्तरीय औसत का उपयोग करता था, जो पैरामीटर महत्व स्कोर को पक्षपाती बनाता था और अनलर्निंग सीड्स के बीच गैर-नियतात्मकता (non-determinism) पेश करता था। लेखकों ने एक "नियतात्मक" (det.) संस्करण पेश किया जो निष्पक्ष, सैंपल-स्तरीय महत्व गणना का उपयोग करता है, जिससे यह सुनिश्चित होता है कि ये विधियाँ एक निश्चित ट्रेनिंग सीड के लिए समान परिणाम उत्पन्न करती हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डोमेन में व्यापक प्रयोग किए: इमेज क्लासिफिकेशन, फेडरेटेड ऑनलाइन लर्निंग-टू-रैंक (FOLTR), और लार्ज लैंग्वेज मॉडल्स (LLMs)।

इमेज क्लासिफिकेशन (CIFAR-100, CIFAR-20)

• वेरियेंस विश्लेषण: 75 ट्रेनिंग सीड्स और 10 अनलर्निंग सीड्स का उपयोग करते हुए, अध्ययन में पाया गया कि अधिकांश विधियों (SSD, LFSSD, Bad Teacher, और UNSIR सहित) के लिए, ट्रेनिंग सीड्स के कारण होने वाला वेरिएंस ($\sigma^2_{\text{train}}$), अनलर्निंग सीड्स से होने वाले वेरिएस ($\sigma^2_{\text{unlearn}}$) की तुलना में काफी बड़ा था।
• नियतात्मक विधियाँ: सुधारा गया SSD (det.) और LFSSD (det.) कार्यान्वयन, $\sigma^2_{\text{unlearn}}$ प्रभावी रूप से शून्य था, जो पुष्टि करता है कि यदि ट्रेनिंग सीड स्थिर है, तो कई अनलर्निंग सीड्स कोई अतिरिक्त अंतर्दृष्टि प्रदान नहीं करते हैं।
• कॉन्फिडेंस इंटरवल: समीकरण 2 के आधार पर गणना दर्शाती है कि संकीर्ण कॉन्फिडेंस इंटरवल (जैसे, चौड़ाई $W=1$) प्राप्त करने के लिए अक्सर सैकड़ों या हजारों ट्रेनिंग सीड्स की आवश्यकता होती है, जबकि अनलर्निंग सीड्स बढ़ाने से मिलने वाला लाभ घटता जाता है।

फेडरेटेड लर्निंग-टू-रैंक (FOLTR)

• 10 क्लाइंट्स के साथ MQ2007 डेटासेट पर प्रयोगों ने दिखाया कि एक ही ट्रेनिंग सीड ($I=1, J=10$) के साथ मूल्यांकन करने से ऐसे प्रक्षेपवक्र (trajectories) प्राप्त होते हैं जो वास्तविक क्रॉस-सीड परिवर्तनशीलता का प्रतिनिधित्व नहीं करते हैं।
• कई ट्रेनिंग सीड्स ($I=10, J=1$) के माध्यम से मूल्यांकन करने पर अनलर्निंग के बाद के प्रदर्शन में काफी अधिक वेरिएंस प्रकट हुआ, जो पुष्टि करता है कि यह समस्या फेडरेटेड रैंकिंग कार्यों तक भी फैली हुई है।

लार्ज लैंग्वेज मॉडल्स (LLMs)

• TOFU डेटासेट पर Llama-3.2-1B-Instruct का उपयोग करते हुए, अध्ययन ने GradAscent और Runlearning जैसी विधियों के लिए मॉडल यूटिलिटी और फॉरगेट क्वालिटी दोनों में पर्याप्त क्रॉस-सीड वेरिएंस देखा।
• व्यक्तिगत ट्रेनिंग सीड्स परिणामों की पूरी रेंज को कवर करते हैं, जो इस बात को पुख्ता करता है कि LLM अनलर्निंग व्यवहार को चित्रित करने के लिए सिंगल-सीड मूल्यांकन अपर्याप्त हैं।

मुख्य योगदान (Key Contributions)

1. ट्रेनिंग सीड संवेदनशीलता का अनुभवजन्य प्रदर्शन: शोध पत्र संख्यात्मक रूप से प्रदर्शित करता है कि सिंगल-ट्रेनिंग-सीड मूल्यांकन इमेज क्लासिफिकेशन में गैर-प्रतिनिधिक परिणाम दे सकते हैं, जो FOLTR और LLMs तक विस्तृत है।
2. सैद्धांतिक औचित्य: यह एक वेरिएंस-डिकंपोजिशन विश्लेषण प्रदान करता है जो सिद्ध करता है कि जब $\sigma^2_{\text{train}} > 0$ हो, तो अनलर्निंग सीड्स की संख्या बढ़ाना ट्रेनिंग सीड्स की कमी की भरपाई नहीं कर सकता।
3. व्यावहारिक मार्गदर्शन: लेखक वांछित सांख्यिकीय विश्वास प्राप्त करने के लिए ट्रेनिंग और अनलर्निंग दोहराव के बीच कम्प्यूटेशनल संसाधनों को आवंटित करने के लिए सूत्र और तालिकाएं (तालिका 1 और 2) प्रदान करते हैं।
4. कार्यान्वयन सुधार: शोध पत्र SSD और LFSSD के संदर्भ कार्यान्वयन में गैर-नियतात्मक व्यवहार को ठीक करता है, जो मूल ("orig.") और अपडेटेड नियतात्मक ("det.") संस्करणों के बीच अंतर करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि एक ही ट्रेनिंग सीड के साथ कई अनलर्निंग सीड्स का उपयोग करने की सामान्य प्रथा मशीन अनलर्निंग विधियों के अविश्वसनीय मूल्यांकन की ओर ले जाती है। लेखक तर्क देते हैं कि:

• विश्वसनीयता: सटीक मूल्यांकन के लिए कई ट्रेनिंग सीड्स के माध्यम से औसत निकालना आवश्यक है, क्योंकि ट्रेनिंग इनिशियलाइजेशन द्वारा उत्पन्न परिवर्तनशीलता अक्सर अनलर्निंग प्रक्रिया द्वारा उत्पन्न परिवर्तनशीलता से अधिक होती है।
• सामान्यीकरण: यह सीमा केवल इमेज क्लासिफिकेशन तक सीमित नहीं है, बल्कि यह मूल्यांकन ढांचे का एक सामान्य गुण है, जिसे फेडरेटेड लर्निंग और LLMs में भी देखा गया है।
• व्यवहार्यता: ट्रेनिंग की उच्च लागत के बावजूद, LLMs (जैसे, एक Llama-3.2-1B मॉडल को प्रशिक्षित करने में लगभग दस मिनट लगते हैं) के लिए भी कई ट्रेनिंग सीड्स का उपयोग करना व्यवहार्य है, जो प्रस्तावित कठोर मूल्यांकन को व्यावहारिक बनाता है।

यह कार्य (Cadet et al., Triantafillou et al.) के पिछले निष्कर्षों का विस्तार करता है, जिसमें उपयोग किए गए ट्रेनिंग सीड्स के पैमाने को बढ़ाया गया है (75 बनाम 10), स्पष्ट रूप से समझाया गया है कि क्यों कई अनलर्निंग सीड्स सिंगल ट्रेनिंग सीड्स की भरपाई करने में विफल रहते हैं, और प्रयोगात्मक डिजाइन के लिए ठोस दिशा-निर्देश प्रदान किए गए हैं।