← नवीनतम पेपर
🤖 AI

Look But Don't Touch with Sparse Autoencoders for Unlearning in Diffusion Models

यह शोध पत्र यह प्रदर्शित करता है कि जबकि स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) डिफ्यूजन मॉडल्स में सिमेंटिक अवधारणाओं का प्रभावी ढंग से पता लगाते हैं, इन फीचर्स का उपयोग करके किया गया प्रत्यक्ष लेटेंट हस्तक्षेप (direct latent intervention) दृश्य विसंगतियों (visual artifacts) का कारण बनता है, जो एक डिटेक्शन-आधारित प्रतिस्थापन रणनीति (detection-based replacement strategy) को प्रेरित करता है जो मॉडल के एक्टिवेशन सांख्यिकी (activation statistics) को संरक्षित करके बेहतर ऑब्जेक्ट इरेज़र (object erasure) प्राप्त करती है।

मूल लेखक: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

प्रकाशित 2026-07-01
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई पेंटब्रश है (एक डिफ्यूजन मॉडल) जो आपके द्वारा वर्णित किसी भी चित्र को बना सकता है। लेकिन कभी-कभी, आप इस ब्रश को कुछ विशिष्ट चीजों को बनाना भूलने के लिए सिखाना चाहते हैं, जैसे कि घोड़े या कॉपीराइट वाले पात्र, बिना पूरे कलाकार को फिर से प्रशिक्षित किए। इस प्रक्रिया को "अनलर्निंग" (unlearning) कहा जाता है।

हाल ही में, शोधकर्ताओं ने एक विशेष उपकरण जिसे स्पार्स ऑटोएनकोडर (SAE) कहा जाता है, का उपयोग करने की कोशिश की। सोचिए कि SAE एक अत्यधिक व्यवस्थित लाइब्रेरियन की तरह है जो कलाकार के मस्तिष्क (मॉडल के आंतरिक डेटा) को देख सकता है और ठीक से उन विशिष्ट "विचारों" या "न्यूरॉन्स" की ओर इशारा कर सकता है जो एक घोड़े को बनाने के लिए जिम्मेदार हैं।

समस्या: "देखो पर छुओ मत" (Look But Don't Touch)

शोधकर्ताओं ने एक रणनीति आजमाई जहाँ उन्होंने कलाकार से कहा: "हे, मैं देख रहा हूँ कि तुम घोड़े के बारे में सोच रहे हो। इसके बारे में सोचना बंद करो!" उन्होंने यह करने की कोशिश की कि कलाकार के मस्तिष्क के भीतर उन विशिष्ट "घोड़े के विचारों" की आवाज़ को सीधे कम कर दिया जाए।

परिणाम एक आपदा था।

पेपर इसे "लुक बट डोंट टच" कहता है।

  • लुक (Look): SAE घोड़े के विचारों को खोजने में उत्कृष्ट था। उसे पता था कि वे कहाँ थे।
  • डोंट टच (Don't Touch): जब उन्होंने कलाकार के मस्तिष्क के भीतर उन विचारों को बदलने की कोशिश की, तो कलाकार का मस्तिष्क भ्रमित हो गया। "घोड़े के विचार" अजीब और आउट-ऑफ-डिस्ट्रीब्यूशन शोर (noise) से बदल गए।

उपमा (Analogy): कल्पना कीजिए कि आप एक फिल्म को एडिट कर रहे हैं। आप ठीक उस फ्रेम को ढूंढ लेते हैं जहाँ एक घोड़ा दिखाई देता है। घोड़े को काटने के बजाय, आप पूरी फिल्म रील से घोड़े का रंग "घटाने" (subtract) की कोशिश करते हैं। परिणाम एक साफ दृश्य नहीं होता जिसमें घोड़ा न हो; बल्कि यह एक ग्लिच वाला, विकृत दृश्य बन जाता है जहाँ आकाश बैंगनी हो जाता है और घास स्टैटिक (static) जैसी दिखने लगती है। कलाकार का मस्तिष्क ऐसी स्थिति में पहुँच गया जिसे उसने पहले कभी नहीं देखा था, जिससे गंभीर विजुअल आर्टिफैक्ट्स (ग्लिच) पैदा हुए।

समाधान: पैच एम्बेडिंग रिप्लेसमेंट (PER)

लेखकों को एहसास हुआ कि जबकि SAE एक बुरा "इरेज़र" (मिटाने वाला) है, वह एक शानदार "स्पॉटर" (ढूंढने वाला) है। इसलिए, उन्होंने रणनीति को पूरी तरह से बदल दिया।

कलाकार के आंतरिक विचारों में हेरफेर करने के बजाय, उन्होंने SAE का उपयोग केवल घोड़े को ढूंढने के लिए किया। एक बार जब SAE ने कहा, "इस छवि के इस विशिष्ट पैच में एक घोड़ा है," तो शोधकर्ताओं ने बस उस पैच को उसी छवि के एक साफ पैच से बदल (swap) दिया जिसमें घोड़ा नहीं था।

उपमा:
कल्पना कीजिए कि आप एक भीड़भाड़ वाले पार्क की फोटो एडिट कर रहे हैं, और आप एक विशिष्ट व्यक्ति (घोड़े) को हटाना चाहते हैं।

  • पुराना तरीका (Steering): आप एक जादू की छड़ी का उपयोग करके उस व्यक्ति को "अस्तित्वहीन" करने की कोशिश करते हैं। छड़ी ग्लिच करती है, और व्यक्ति का चेहरा बैकग्राउंड में पिघल जाता है, जिससे पूरी फोटो खराब हो जाती है।
  • नया तरीका (PER): आप SAE का उपयोग व्यक्ति की ओर उंगली दिखाने के लिए करते हैं। फिर, आप उसी फोटो के दूसरे हिस्से से घास का एक साफ, खाली टुकड़ा लेते हैं और उसे व्यक्ति के ऊपर लगा देते हैं। क्योंकि आप फोटो के ही एक ऐसे हिस्से का उपयोग कर रहे हैं जो पहले से मौजूद है और पूरी तरह फिट बैठता है, इसलिए परिणाम स्वाभाविक दिखता है। कोई ग्लिच नहीं, कोई अजीब रंग नहीं।

मुख्य निष्कर्ष

  1. डिटेक्शन आसान है, मैनिपुलेशन कठिन है: पेपर यह सिद्ध करता है कि जबकि SAE छवियों में क्या है इसकी पहचान करने में बहुत अच्छा है, यह सीधे तौर पर उसे हटाने के लिए मॉडल को नियंत्रित करने में बहुत खराब है। सीधा हेरफेर मॉडल के आंतरिक तर्क को तोड़ देता है।
  2. "स्वैप" (Swap) बेहतर काम करता है: SAE का उपयोग केवल लक्ष्य को खोजने के लिए करने और गणित को बदलने के बजाय छवि के टुकड़ों (पैच) को बदलने से, परिणाम बहुत अधिक साफ आते हैं।
  3. अब अंदाज़ा लगाने की ज़रूरत नहीं: पुराने तरीकों में एक थकाऊ "ग्रिड सर्च" (दर्जनों अलग-अलग स्ट्रेंथ सेटिंग्स को आज़माना) की आवश्यकता होती थी ताकि यह देखा जा सके कि "घोड़े के विचारों" को कितना कम किया जाए। नया तरीका बिना किसी परीक्षण-और-त्रुटि (trial-and-error) के स्वचालित रूप से काम करता है।
  4. बेहतर परिणाम: "अनलर्नकैनवस" (UnlearnCanvas) नामक एक टेस्ट पर, उनके नए तरीके ने पुराने तरीकों की तुलना में बहुत कम ग्लिच (कम आर्टिफैक्ट्स) वाले चित्र बनाए और अन्य हिस्सों (जैसे स्टाइल या बैकग्राउंड) को बहुत बेहतर तरीके से बरकरार रखा।

सारांश

यह पेपर हमें AI नियंत्रण के बारे में एक मूल्यवान सबक सिखाता है: सिर्फ इसलिए कि आप मॉडल के अंदर किसी अवधारणा (concept) को ढूंढ सकते हैं, इसका मतलब यह नहीं है कि आपको सीधे उसे एडिट करने की कोशिश करनी चाहिए। कभी-कभी, किसी चीज़ को हटाने का सबसे अच्छा तरीका यह है कि AI को अपना काम करने दें, अनचाही चीज़ को पहचानें, और फिर उस विशिष्ट भाग को पहले से मौजूद किसी ऐसी चीज़ से बदल दें जो वहां फिट बैठती हो, बजाय इसके कि AI के मस्तिष्क को उस अवधारणा को "अन-थिंक" (un-think) करने के लिए मजबूर किया जाए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →