I-CARE: Analysis of interference-related phenomena in a controllable, diverse and representative unlearning setting for text-to-image models
यह शोधपत्र I-CARE प्रस्तुत करता है, जो एक व्यापक कार्यप्रणाली है जो टेक्स्ट-टू-इमेज मॉडल अनलर्निंग में हस्तक्षेप-संबंधी घटनाओं का विश्लेषण करने के लिए मानकीकृत उपकरण और औपचारिक रूप प्रदान करता है, जिससे विविध सेटिंग्स में अनपेक्षित ज्ञान क्षरण का व्यवस्थित और पुनरुत्पादक मूल्यांकन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पिछले कुछ वर्षों में, आर्टिफिशियल इंटेलिजेंस ने शब्दों से चित्र बनाना सीख लिया है। आप "एक टोपी पहने हुए बिल्ली" जैसा एक वाक्य टाइप कर सकते हैं, और एक कंप्यूटर प्रोग्राम उस विवरण से मेल खाती एक अद्वितीय छवि तैयार कर देगा। ये सिस्टम, जिन्हें जेनेरेटिव मॉडल कहा जाता है, छवियों और टेक्स्ट के विशाल संग्रहों पर प्रशिक्षित होते हैं, जिससे वे शब्दों को दृश्य पैटर्न के साथ जोड़ना सीखते हैं। लेकिन जैसे-जैसे ये उपकरण अधिक शक्तिशाली होते जा रहे हैं, एक नई समस्या उभर कर आई है: क्या होता है जब आप चाहते हैं कि वे भूल जाएं?
कल्पना कीजिए कि एक मॉडल ने किसी विशिष्ट सेलिब्रिटी का चित्र बनाना सीख लिया है, लेकिन बाद में वह व्यक्ति अपनी छवि को सिस्टम से हटाने के लिए कहता है, शायद गोपनीयता संबंधी चिंताओं या अपने डिजिटल फुटप्रिंट पर नियंत्रण रखने की इच्छा के कारण। यह प्रक्रिया, जिसे 'मशीन अनलर्निंग' (machine unlearning) कहा जाता है, एक AI सिस्टम को अन्य चीजों को चित्रित करने की अपनी क्षमता को नुकसान पहुँचाए बिना एक विशिष्ट अवधारणा को "भूलने" का प्रयास है। यह एक नाजुक ऑपरेशन है। यदि आप किसी एक चीज़ को बहुत आक्रामक तरीके से मिटाने की कोशिश करते हैं, तो मॉडल गलती से अन्य असंबंधित चीजों के अपने ज्ञान को नुकसान पहुँचा सकता है। एक मॉडल जो एक विशिष्ट कुत्ते की नस्ल को भूलने की कोशिश कर रहा है, वह कुत्तों के सभी चित्रों को खराब तरीके से बनाना शुरू कर सकता है, या एक मॉडल जो किसी राजनेता को हटाने की कोशिश कर रहा है, वह अन्य सार्वजनिक हस्तियों की विकृत छवियां बनाने लग सकता है। संबंधित अवधारणाओं को होने वाले इस अनपेक्षित नुकसान को 'इंटरफेरेंस' (interference) कहा जाता है, और अब तक, वैज्ञानिकों के पास यह मापने का कोई विश्वसनीय तरीका नहीं था कि यह कितना बुरा है या क्यों होता है।
शोधकर्ताओं की एक टीम ने इस समस्या का अध्ययन करने के लिए I-CARE नामक एक नया ढांचा पेश किया है। डेटा मिटाने का कोई नया तरीका या नया AI मॉडल बनाने के बजाय, उन्होंने यह परीक्षण करने के लिए एक मानकीकृत विधि बनाई कि विभिन्न मिटाने की तकनीकें शेष प्रणाली को कैसे प्रभावित करती हैं। इसे क्षति मापने के लिए एक नए पैमाने के रूप में समझें। इस कार्य से पहले, अनलर्निंग पर किए गए अध्ययन अक्सर असंगत थे; एक टीम किसी व्यक्ति को भूलने का परीक्षण कर सकती थी जबकि दूसरी टीम किसी परिदृश्य (landscape) को भूलने का परीक्षण कर रही थी, जिससे परिणामों की निष्पक्ष तुलना करना असंभव था। I-CARE फ्रेमवर्क इन प्रयोगों को स्थापित करने के लिए एक सामान्य भाषा और सख्त नियमों का एक सेट प्रदान करता है। यह स्पष्ट रूप से परिभाषित करता है कि किसी चीज़ को "भूलने" का क्या अर्थ है, शेष छवियों की गुणवत्ता को कैसे मापा जाए, और यह कैसे ट्रैक किया जाए कि कौन सी असंबंधित अवधारणाएं इस प्रक्रिया में प्रभावित हुईं। शोधकर्ताओं ने 'Forgety' नामक एक मुफ्त, ओपन-सोर्स सॉफ्टवेयर टूल भी बनाया है, जो किसी को भी कोड लिखे बिना या जटिल गणित समझे बिना इन परिणामों को खोजने की अनुमति देता है।
अपने तरीके को सिद्ध करने के लिए, शोधकर्ताओं ने एक बड़ा प्रयोग चलाया। उन्होंने परीक्षण के लिए तीन अलग-अलग श्रेणियां चुनीं: प्रसिद्ध लोग, कुत्तों की विशिष्ट नस्लें, और जंगलों या स्टेडियमों जैसे विभिन्न दृश्य। प्रत्येक श्रेणी के लिए, उन्होंने एक सौ विशिष्ट संस्थाओं (entities) का चयन किया, जैसे कि एक विशेष अभिनेता, टेरियर का एक विशिष्ट प्रकार, या एक विशेष प्रकार का पुल। फिर उन्होंने एक अत्याधुनिक इमेज जनरेटर लिया और एक समय में एक इकाई को हटाने के लिए तीन अलग-अलग अनलर्निंग तकनीकों को लागू किया। कुल मिलाकर, उन्हें 900 अलग-अलग अवधारणाओं को मिटाना पड़ा और यह देखने के लिए 360,000 नई छवियां उत्पन्न करनी पड़ीं कि क्या हुआ। उन्होंने यह केवल यह देखने के लिए नहीं किया कि लक्ष्य गायब हो गया है या नहीं, बल्कि यह देखने के लिए भी किया कि उस श्रेणी की अन्य 99 संस्थाओं को चित्रित करने की मॉडल की क्षमता में कोई बदलाव आया है या नहीं।
परिणामों से पता चला कि इंटरफेरेंस वैज्ञानिकों की पिछली धारणा से कहीं अधिक जटिल है। एक सामान्य धारणा यह थी कि मॉडल केवल उन अवधारणाओं को नुकसान पहुँचाएगा जो मिटाए जाने वाले विषय के बहुत समान हैं। उदाहरण के लिए, यदि आप एक गोल्डन रिट्रीवर को मिटाते हैं, तो आप उम्मीद कर सकते हैं कि लैब्राडोर प्रभावित होगा, लेकिन एक पूडल ठीक रहेगा। अध्ययन में पाया गया कि यह हमेशा सच नहीं होता है। कभी-कभी, एक इकाई को मिटाने से उन संस्थाओं को महत्वपूर्ण नुकसान हुआ जो पूरी तरह से असंबंधित लगती थीं, जबकि बहुत समान संस्थाओं को अप्रभावित छोड़ दिया गया। कुछ मामलों में, नुकसान इतना अप्रत्याशित था कि शोधकर्ता इसे समझाने के लिए कोई सरल नियम नहीं ढूंढ सके। उन्होंने पाया कि होने वाला नुकसान डेटा को मिटाने के लिए उपयोग की जाने वाली विशिष्ट विधि पर बहुत अधिक निर्भर करता है। एक विधि, जो गेम-थ्योरी दृष्टिकोण पर आधारित थी, ने परीक्षण की गई अन्य दो विधियों की तुलना में काफी अधिक 'कोलेटरल डैमेज' (collateral damage) पहुँचाया। दूसरी विधि, जिसे काम करने के लिए अतिरिक्त डेटा की आवश्यकता नहीं थी, उसने कुल मिलाकर कम नुकसान पहुँचाया लेकिन वह अधिक कठिन से अनुमान लगाने योग्य थी।
शोधकर्ताओं ने यह भी देखा कि शेष अवधारणाओं की रक्षा करने के लिए उपयोग किए गए डेटा ने परिणाम को कैसे प्रभावित किया। उन्होंने पाया कि यदि मॉडल को मिटाने की प्रक्रिया के दौरान समान चीजों के उदाहरण दिखाए गए, तो वह उन समान चीजों की रक्षा करने में बहुत बेहतर था। उदाहरण के लिए, फुटबॉल के मैदान को मिटाने के प्रयास में, मॉडल अन्य खेल स्थलों को सुरक्षित तभी रख सका जब उसे मिटाने की प्रक्रिया के दौरान सक्रिय रूप से अन्य खेलों की तस्वीरें दिखाई गईं। यदि वे उदाहरण गायब थे, तो मॉडल ने अनजाने में सभी खेल स्थलों की छवियों को खराब कर दिया। यह सुझाव देता है कि मॉडल को "भूलने" के दौरान "याद रखने" के लिए प्रशिक्षित करने का तरीका मिटाने की तकनीक जितना ही महत्वपूर्ण है।
शायद सबसे आश्चर्यजनक खोज यह थी कि इंटरफेरेंस हमेशा विनाशकारी नहीं होता है। लगभग 2.7% मामलों में, शोधकर्ताओं ने देखा कि एक अवधारणा को मिटाने से वास्तव में एक समान अवधारणा की छवियां थोड़ी बेहतर हो गईं। उदाहरण के लिए, जब उन्होंने एक प्रसिद्ध रेस कार ड्राइवर की छवि को मिटाया, तो एक प्रसिद्ध तैराक को चित्रित करने की मॉडल की क्षमता में थोड़ा सुधार हुआ। शोधकर्ता इसे "कंस्ट्रक्टिव इंटरफेरेंस" (constructive interference) कहते हैं। हालांकि यह दुर्लभ था, लेकिन यह साबित करता है कि AI मॉडल में अवधारणाओं के बीच का संबंध एक साधारण एकतरफा रास्ता नहीं है जहाँ एक चीज़ को मिटाने से हमेशा दूसरी चीज़ को नुकसान पहुँचता है। कभी-कभी, एक विशिष्ट पैटर्न को हटाने से मॉडल को एक संबंधित पैटर्न की अपनी समझ को परिष्कृत करने में मदद मिलती है।
अध्ययन ने यह भी रेखांकित किया कि इन परिणामों की भविष्यवाणी करना कितना कठिन है। शोधकर्ताओं ने एक ऐसा सिस्टम बनाने की कोशिश की जो यह अनुमान लगा सके कि कौन सी अवधारणाएं एक-दूसरे के साथ हस्तक्षेप करेंगी, यह उनके बीच की समानता के आधार पर। उन्होंने पाया कि ये भविष्यवाणियां अक्सर गलत थीं। दो संस्थाएं जो मनुष्यों को बहुत समान दिखती थीं, वे मॉडल में एक-दूसरे के साथ हस्तक्षेप नहीं करती थीं, जबकि दो जो अलग दिखती थीं, वे भारी नुकसान पहुंचा सकती थीं। यह सुझाव देता है कि इन AI मॉडलों का आंतरिक तर्क अभी भी काफी हद तक एक रहस्य है। हम क्षति को देख सकते हैं, लेकिन हम अभी तक यह विश्वसनीय रूप से अनुमान नहीं लगा सकते कि मिटाने से पहले यह कहाँ होगी।
इन निष्कर्षों को सुलभ बनाने के लिए, टीम ने 'Forgety' नामक एक वेब-आधारित इंटरफेस बनाया। यह टूल उपयोगकर्ताओं को उनके प्रयोगों के परिणामों को ब्राउज़ करने, यह देखने के लिए कि कौन सी अवधारणाओं ने एक-दूसरे के साथ हस्तक्षेप किया, और बिना प्रोग्रामर बने डेटा का पता लगाने की अनुमति देता है। यह हजारों जटिल डेटा बिंदुओं को सरल चार्ट और सूचियों में बदल देता है जिसे कोई भी समझ सकता है। यह पारदर्शिता उनके कार्य का एक प्रमुख हिस्सा है, क्योंकि यह नीति निर्माताओं, नैतिकतावादियों और जनता को AI सिस्टम को भुलाने के वास्तविक दुनिया के परिणामों को देखने की अनुमति देती है।
पेपर यह निष्कर्ष निकालता है कि हालांकि हमने मशीन अनलर्निंग को समझने में प्रगति की है, लेकिन अभी तक इसका कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। मिटाने के तरीके की प्रभावशीलता पूरी तरह से विशिष्ट कार्य और उपयोग किए गए डेटा पर निर्भर करती है। शोधकर्ता इस बात पर जोर देते हैं कि उनका ढांचा विकसित होने के लिए डिज़ाइन किया गया है। जैसे-जैसे नए AI मॉडल बनाए जाते हैं और डेटा मिटाने के नए तरीके आविष्कार किए जाते हैं, I-CARE पद्धति को उन्हें परीक्षण करने के लिए लागू किया जा सकता है, जिससे यह सुनिश्चित होता है कि यह क्षेत्र स्पष्ट, तुलनीय और पुनरुत्पादक (reproducible) परिणामों के साथ आगे बढ़े। अंतिम लक्ष्य केवल AI को भूलना नहीं है, बल्कि ऐसा करना है कि इसके बाकी दिमाग को नुकसान न पहुँचे, जिससे यह सुनिश्चित हो सके कि ये शक्तिशाली उपकरण सभी के लिए सुरक्षित और विश्वसनीय बने रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।