Representational change under post-hoc edits mostly reflects relocation rather than destruction of information
यह शोध पत्र यह प्रदर्शित करता है कि पोस्ट-हॉक संपादन (post-hoc edits) के कारण होने वाले निरूपणात्मक परिवर्तन मुख्य रूप से सूचना के स्थायी विनाश के बजाय उसे नए निर्देशांकों (coordinates) में पुनर्स्थापित करने को दर्शाते हैं, क्योंकि नए प्रोब (probes) अक्सर उन कारकों को पुनः प्राप्त कर सकते हैं जो मूल रीडआउट्स के लिए लुप्त प्रतीत होते हैं, जबकि कुल सूचना हानि केवल 'रिप्रेजेंटेशनल कोलैप्स' (representational collapse) जैसी चरम स्थितियों में ही होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर दुनिया के आंतरिक मानचित्र (internal maps) बनाकर सीखते हैं। जब किसी सिस्टम को बिल्ली या किसी संख्या को पहचानने के लिए प्रशिक्षित किया जाता है, तो वह उस वस्तु का एक जटिल, बहु-आयामी प्रतिनिधित्व बनाता है, और विवरणों को संख्याओं के एक विशिष्ट क्रम में संग्रहीत करता है। वैज्ञानिकों को लंबे समय से यह चिंता रही है कि जब इन सिस्टम्स को कुछ नया सीखने के लिए कहा जाता है, या जब शोधकर्ता किसी विशिष्ट तथ्य या पूर्वाग्रह को हटाने के लिए उनकी यादों को संपादित करने की कोशिश करते हैं, तो पुराना डेटा नष्ट हो सकता है। प्रचलित भय यह रहा है कि यदि आंतरिक मानचित्र महत्वपूर्ण रूप से बदल जाता है, तो मूल डेटा नष्ट हो जाता है, जो अपडेट के शोर-शराबे में हमेशा के लिए खो जाता है। यह चिंता "मशीन अनलर्निंग" (machine unlearning) और "कंटीन्यूअल लर्निंग" (continual learning) के शोध को प्रेरित करती है, जो उन क्षेत्रों को समर्पित हैं जो एआई को अपने अतीत को भूले बिना अनुकूल होने में मदद करने या इसे हानिकारक जुड़ावों से पूरी तरह साफ करने में मदद करते हैं। केंद्रीय प्रश्न हमेशा से यही रहा है: जब मानचित्र बदलता है, तो क्या खजाना अभी भी वहीं है, या वह दफन हो गया है?
नॉर्थ साउथ यूनिवर्सिटी के साजिब होसैन द्वारा किया गया एक हालिया अध्ययन एक सावधानीपूर्वक, नियंत्रित जांच के माध्यम से इस धारणा को चुनौती देता है। शोधकर्ता यह परीक्षण करने के लिए आगे बढ़े कि क्या कंप्यूटर के आंतरिक मानचित्र में बड़ा बदलाव वास्तव में सूचना के विनाश का अर्थ है, या क्या इसे केवल एक नए स्थान पर स्थानांतरित कर दिया गया है। उत्तर खोजने के लिए, टीम ने डिजिटल टेस्टबेड के एक सेट का उपयोग किया जहाँ 'ग्राउंड ट्रुथ' (ground truth) ज्ञात था। उन्होंने एक मॉडल से शुरू किया जिसे सरल, उत्पन्न आकृतियों के डेटासेट पर प्रशिक्षित किया गया था, जहाँ आकार, स्थिति और रूप जैसे प्रत्येक चर (variable) को पूरी तरह से परिभाषित किया गया था। फिर उन्होंने दो अलग-अलग प्रकार के संपादन लागू किए: एक जिसने मॉडल को उसके एक गलत विश्वास को संशोधित करने के लिए मजबूर किया, और दूसरा जिसने एक विशिष्ट अवधारणा को पूरी तरह से मिटाने का प्रयास किया। दोनों ही मामलों में, शोधकर्ताओं ने एक चतुर नैदानिक उपकरण (diagnostic tool) का उपयोग करके सूचना के साथ क्या हुआ, इस पर नज़र रखी। उन्होंने एक "फ्रोजन" रीडआउट (एक परीक्षण जो पुराने मानचित्र पर प्रशिक्षित था और अपरिवर्तित छोड़ दिया गया था) के प्रदर्शन की तुलना एक "फ्रेश" रीडआउट (जो नए, स्थानांतरित मानचित्र पर शून्य से पुन: प्रशिक्षित किया गया था) से की।
परिणामों ने उस सामान्य अंतर्ज्ञान का खंडन किया कि बड़े बदलाव का अर्थ बड़ी हानि है। अधिकांश मामलों में, फ्रोजन रीडआउट विफल रहा, जिससे संकेत मिला कि सूचना चली गई थी। हालांकि, फ्रेश रीडआउट, जो नए निर्देशांकों (coordinates) पर प्रशिक्षित था, ने सूचना को लगभग पूरी तरह से पुनः प्राप्त कर लिया। डेटा नष्ट नहीं हुआ था; इसे केवल स्थानांतरित कर दिया गया था। आंतरिक मानचित्र बदल गया था, सूचना को संख्याओं के एक अलग सेट में स्थानांतरित कर दिया गया था, लेकिन सूचना स्वयं बरकरार और पूरी तरह से सुलभ बनी रही। यह घटना तब भी सत्य रही जब शोधकर्ताओं ने अधिक जटिल, वास्तविक दुनिया की छवियों, जैसे हस्तलिखित अंकों और वस्तुओं की तस्वीरों पर इस अवधारणा का परीक्षण किया। इन कठिन परीक्षणों में, आंतरिक मानचित्र और भी अधिक विस्थापित हुआ, और पुराना रीडआउट अधिक गंभीर रूप से टूट गया, फिर भी एक फ्रेश रीडआउट मूल सटीकता को पुनः प्राप्त करने में सफल रहा। सूचना ने यात्रा को सफलतापूर्वक पूरा किया, भले ही उसे खोजने का मार्ग बदल गया हो।
हालाँकि, अध्ययन ने उन सटीक स्थितियों की भी पहचान की जिनमें सूचना वास्तव में खो जाती है। शोधकर्ताओं ने पाया कि कुल विनाश केवल इसलिए नहीं होता क्योंकि मानचित्र बदलता है या क्योंकि सिस्टम को कई विरोधाभासों को सीखने के लिए कहा जाता है। इसके बजाय, सूचना केवल तभी खो जाती है जब आंतरिक मानचित्र स्वयं ढह (collapse) जाता है। यह पतन तब होता है जब सिस्टम को अत्यधिक 'लर्निंग रेट' के साथ धकेला जाता है, जिससे इसके आंतरिक नंबरों की विविधता और प्रसार सिकुड़कर लुप्त हो जाता है। इन विशिष्ट, उच्च-दबाव वाले परिदृश्यों में, सूचना वास्तव में गायब हो जाती है। लेकिन जब तक आंतरिक संरचना स्वस्थ और विविध बनी रहती है, सूचना सुरक्षित रहती है, बस अपने नए स्थान पर मिलने की प्रतीक्षा करती है।
अध्ययन ने यह भी उजागर किया कि सूचना को कैसे मिटाया जाता है। जब शोधकर्ताओं ने एक विशिष्ट अवधारणा को हटाने के लिए एक गणितीय तकनीक का उपयोग किया, तो उन्होंने पाया कि जबकि अवधारणा एक साधारण, रैखिक (linear) परीक्षण के साथ पता लगाने में असंभव हो गई थी, फिर भी यह अक्सर एक अधिक जटिल, गैर-रैखिक (non-linear) परीक्षण द्वारा पुनः प्राप्त करने योग्य बनी रही। यह सुझाव देता है कि सूचना को मिटाया नहीं गया था बल्कि इसे एक अधिक जटिल व्यवस्था में छिपा दिया गया था। दिलचस्प बात यह है कि यह आंशिक नुकसान एक समान नहीं था; यह काफी हद तक लक्षित सूचना के प्रकार पर निर्भर था। उदाहरण के लिए, उनके प्रयोगों में, किसी वस्तु के आकार के बारे में जानकारी, वस्तु के आकार या स्थिति की तुलना में इस आंशिक नुकसान के प्रति अधिक संवेदनशील थी। शोधकर्ताओं ने यह भी पाया कि मानचित्र में बदलाव का आकार इस बात का खराब संकेतक है कि कितनी सूचना खो गई है। एक विशाल बदलाव सूचना को पूरी तरह से बरकरार रख सकता है, जबकि एक छोटा सा बदलाव कभी-कभी पूर्ण पतन के साथ भी हो सकता है, जो सिस्टम की आंतरिक संरचना के स्वास्थ्य पर निर्भर करता है।
ये निष्कर्ष आर्टिफिशियल इंटेलिजेंस सिस्टम के विकास और उन्हें कैसे संपादित किया जा सकता है, इसे समझने का एक नया तरीका प्रदान करते हैं। अध्ययन सुझाव देता है कि जब किसी सिस्टम का आंतरिक प्रतिनिधित्व बदलता है, तो यह मान लेना चाहिए कि पुराना ज्ञान चला गया है। इसके बजाय, ध्यान सिस्टम की आंतरिक संरचना के स्वास्थ्य की जाँच करने और यह परीक्षण करने पर केंद्रित होना चाहिए कि क्या नई दृष्टि के साथ सूचना को पुनः प्राप्त किया जा सकता है। शोध का तात्पर्य है कि "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) या अनलर्निंग की कठिनाई के बारे में कई डर बढ़ा-चढ़ाकर बताए गए हो सकते हैं, बशर्ते कि सिस्टम को पतन के बिंदु तक न धकेला जाए। यह उन लोगों के लिए एक चेतावनी के रूप में भी कार्य करता है जो एआई मॉडल से संवेदनशील डेटा को हटाने का प्रयास कर रहे हैं: केवल इसलिए कि एक सरल परीक्षण अब किसी अवधारणा का पता नहीं लगा सकता, इसका मतलब यह नहीं है कि उसे हटा दिया गया है। सूचना अभी भी वहीं हो सकती है, स्थानांतरित और एक अधिक परिष्कृत प्रोब (probe) द्वारा पुनः खोजे जाने की प्रतीक्षा कर रही है। अंततः, यह कार्य स्पष्ट करता है कि गति का अर्थ हानि नहीं है, और एआई की स्मृति की स्थिरता इस बात पर कम निर्भर करती है कि वह कितना बदलता है और इस बात पर अधिक कि क्या उसका आंतरिक आधार सुदृढ़ बना रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।