तकनीकी सारांश: डिफ्यूजन मॉडल्स के लिए ऑर्थोगोनल कॉन्सेप्ट इरेज़र (Orthogonal Concept Erasure - OCE)

समस्या विवरण (Problem Statement)

टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल्स में अद्भुत जनरेटिव क्षमताएं हैं, लेकिन वे अवांछित, असुरक्षित या कॉपीराइट वाली सामग्री उत्पन्न करने के प्रति संवेदनशील होते हैं। जबकि कॉन्सेप्ट इरेज़र (अवधारणा विलोपन) इन जोखिमों को कम करने के लिए एक महत्वपूर्ण समाधान के रूप में उभरा है, मौजूदा दृष्टिकोण प्रभावशीलता, दक्षता और सामान्य जनरेटिव क्षमता के संरक्षण के बीच महत्वपूर्ण समझौतों (trade-offs) का सामना करते हैं।

वर्तमान विधियाँ आम तौर पर तीन श्रेणियों में आती हैं:

1. इन्फरेंस-टाइम इंटरवेंशन (Inference-time intervention): ये पैरामीटर्स को संशोधित किए बिना सैंपलिंग प्रक्षेपवक्र (trajectories) को समायोजित करते हैं। ये बाईपास होने के प्रति संवेदनशील होते हैं।
2. ट्रेनिंग-आधारित विधियाँ (Training-based methods): ये मॉडल के पैरामीटर्स को फाइन-ट्यून करके अवधारणाओं को हटाती हैं। हालांकि प्रभावी, लेकिन इनमें उच्च कम्प्यूटेशनल लागत लगती है और कई अनुकूलन दौरों (optimization rounds) की आवश्यकता होती है, जो स्केलेबिलिटी को सीमित करती है।
3. एडिटिंग-आधारित विधियाँ (Editing-based methods): ये क्लोज्ड-फॉर्म समाधानों का उपयोग करके मॉडल पैरामीटर्स को सीधे संशोधित करती हैं। हालांकि कुशल, मौजूदा एडिटिंग विधियाँ आमतौर पर एडिटिव पैरामीटर अपडेट्स ($W + \Delta$) पर निर्भर करती हैं। लेखक इस प्रतिमान (paradigm) में एक मुख्य सीमा की पहचान करते हैं: एडिटिव अपडेट्स स्वाभाविक रूप से न्यूरॉन दिशा (direction), परिमाण (magnitude) और कोणीय ज्यामिति (angular geometry) में परिवर्तनों को उलझा देते हैं। चूंकि कॉन्सेप्ट सिमेंटिक्स (अर्थ विज्ञान) न्यूरॉन दिशा पर बहुत अधिक निर्भर करते हैं जबकि समग्र जनरेटिव क्षमता को कोणीय ज्यामिति के संरक्षण पर निर्भर करती है, इसलिए एडिटिव अपडेट अक्सर अस्थिर इरेज़र और गैर-लक्ष्य अवधारणाओं के क्षरण का कारण बनते हैं।

कार्यप्रणाली: ऑर्थोगोनल कॉन्सेप्ट इरेज़र (OCE)

यह शोध पत्र ऑर्थोगोनल कॉन्सेप्ट इरेज़र (OCE) का प्रस्ताव करता है, जो एक ज्यामिति-संचालित, एडिटिंग-आधारित विधि है जो कॉन्सेप्ट इरेज़र को एडिटिव परटर्बेशन के बजाय एक मल्टीप्लिकेटिव ऑर्थोगोनल ट्रांसफॉर्मेशन के रूप में पुनर्गठित करती है।

1. ज्यामितीय विश्लेषण (Geometric Analysis)

लेखक नियंत्रित प्रयोगों के माध्यम से दो प्रमुख अनुभवजन्य दावों को स्थापित करते हैं:

• दावा 1 (C1): डिफ्यूजन मॉडल्स में कॉन्सेप्ट सिमेंटिक्स मुख्य रूप से न्यूरॉन दिशाओं में एनकोड होते हैं, जबकि न्यूरॉन परिमाण का अर्थ अभिव्यक्ति पर नगण्य प्रभाव होता है।
• दावा 2 (C2): मॉडल की समग्र जनरेटिव गुणवत्ता को बनाए रखने के लिए कोणीय ज्यामिति (इंटर-न्यूरॉन कोण और सहसंबंध) को संरक्षित करना महत्वपूर्ण है।

इसके आधार पर, OCE एडिटिव अपडेट्स से बचता है जो दिशा और परिमाण दोनों को बाधित करते हैं। इसके बजाय, यह प्रोजेक्शन मैट्रिसेस $W$ (विशेष रूप से क्रॉस-अटेंशन लेयर्स में की (key) और वैल्यू (value) मैट्रिसेस) पर एक लेयर-वाइज ऑर्थोगोनल ट्रांसफॉर्मेशन $P$ लागू करता है, ताकि $W^* = PW$ हो सके। यह ऑपरेशन लक्षित अवधारणाओं को मिटाने के लिए न्यूरॉन दिशाओं को घुमाता है (rotate करता है) जबकि न्यूरॉन परिमाण और इंटर-न्यूरॉन कोणीय ज्यामिति को सख्ती से सुरक्षित रखता है।

2. समस्या का सूत्रकरण (Problem Formulation)

यह विधि इरेज़र को एक अनुकूलन समस्या के रूप में सूत्रित करती है ताकि एक ऑर्थोगोनल मैट्रिक्स $P$ ($P^\top P = I$) प्राप्त किया जा सके जो रूपांतरित लक्षित अवधारणाओं और उनके एंकर्स (anchors) के बीच की दूरी को कम करता है, और रूपांतरित गैर-लक्ष्य अवधारणाओं और उनके मूल निरूपणों के बीच की दूरी को न्यूनतम करता है।

• वेक्टर-वाइज ऑब्जेक्टिव (Vector-wise Objective): सिंगल-कॉसेप्ट इरेज़र के लिए, उद्देश्य लक्षित एम्बेडिंग्स $C_1$ को एंकर एम्बेडिंग्स $C^*$ के साथ संरेखित करना और रिटेन सेट $C_0$ को संरक्षित करना है। इसे SVD का उपयोग करके एक क्लासिकल ऑर्थोगोनल प्रोक्रस्टेस समस्या (Orthogonal Procrustes problem) के माध्यम से हल किया जाता है ताकि क्लोज्ड-फॉर्म समाधान $P = UV^\top$ प्राप्त हो सके।
• सबस्पेस-लेवल ऑब्जेक्टिव (Subspace-level Objective): मल्टी-कॉसेप्ट इरेज़र के लिए, कई लक्ष्यों के लिए सख्त वेक्टर-वाइज एलाइनमेंट लागू करने से विरोधाभासी बाधाएं उत्पन्न होती हैं। OCE ऑब्जेक्टिव को सबस्पेस-लेवल प्रोजेक्शन तक विस्तारित करता है। यह लक्षित और एंकर सबस्पेस को परिभाषित करता है और एंकर के ऑर्थोगोनल कॉम्प्लीमेंट में स्थित लक्षित सबस्पेस के घटकों को दबाने का प्रयास करता है। यह एंकर के ऑर्थोगोनल कॉम्प्लीमेंट के बाहर लक्षित सबस्पेस की ऊर्जा को कम करने के साथ-साथ रिटेन सेट के लिए वेक्टर-वाइज संरक्षण के माध्यम से प्राप्त किया जाता है।

3. कार्यान्वयन विवरण (Implementation Details)

• ग्लोबल प्रिजर्वेशन प्रायर ($K_0$): वैश्विक स्थिरता सुनिश्चित करने के लिए, यह विधि एक बड़े डेटासेट (COCO-30k) से एक जेनेरिक प्रिजर्वेशन प्रायर $K_0$ प्रीकंप्यूट करती है, जिसे विभिन्न इरेज़र कार्यों के लिए पुन: उपयोग किया जाता है।
• एसिमेट्रिक डिज़ाइन (Asymmetric Design): विधि एक एसिमेट्रिक फॉर्मूलेशन का उपयोग करती है: सबस्पेस-लेवल इरेज़र (मल्टी-कॉसेप्ट परिदृश्यों में संघर्षों को संभालने के लिए) और वेक्टर-वाइज प्रिजर्वेशन (गैर-लक्ष्य अवधारणाओं के सूक्ष्म प्रतिधारण को सुनिश्चित करने के लिए) का संयोजन।
• एडवर्सरियल रोबस्टनेस (Adversarial Robustness): इस फ्रेमवर्क को एडवर्सरियल हमलों के खिलाफ मजबूती में सुधार के लिए एडवर्सरियल एडिटिंग रणनीतियों के साथ सहजता से एकीकृत किया जा सकता है।

मुख्य योगदान (Key Contributions)

1. ज्यामितीय पुनर्गठन (Geometric Reformulation): OCE एडिटिव से मल्टीप्लिकेटिव ऑर्थोगोनल एडिटिंग की ओर एक प्रतिमान बदलाव (paradigm shift) पेश करता है, जो इस अवलोकन पर आधारित है कि कॉन्सेप्ट सिमेंटिक्स दिशा पर निर्भर करते हैं जबकि जनरेटिव क्षमता कोणीय ज्यामिति पर निर्भर करती है।
2. क्लोज्ड-फॉर्म समाधान (Closed-Form Solution): यह विधि SVD के माध्यम से सिंगल- और मल्टी-कॉसेप्ट इरेज़र के लिए एक सिद्धांतपूर्ण, कुशल क्लोज्ड-फॉर्म समाधान प्रदान करती है, जिससे पुनरावृत्ति अनुकूलन (iterative optimization) की आवश्यकता समाप्त हो जाती है।
3. स्केलेबल सबस्पेस इरेज़र (Scalable Subspace Erasure): वेक्टर-वाइज इरेज़र को एक संरचित सबस्पेस-लेवल ऑब्जेक्टिव तक विस्तारित करके, OCE बड़े पैमाने पर मल्टी-कॉसेप्ट इरेज़र (जैसे, एक साथ 100 अवधारणाओं को मिटाना) में प्रभावी रूप से विरोधाभासी बाधाओं को हल करता है।
4. व्यापक प्रयोज्यता (Broad Applicability): यह विधि U-Net-आधारित मॉडल्स (Stable Diffusion v1.4) और DiT-आधारित मॉडल्स (FLUX.1 dev) दोनों के लिए हस्तांतरणीयता प्रदर्शित करती है।

प्रयोगात्मक परिणाम (Experimental Results)

ऑब्जेक्ट इरेज़र, आर्टिस्टिक स्टाइल इरेज़र, सेलिब्रिटी इरेज़र और इम्प्लिसिट कॉन्सेप्ट इरेज़र (एडवर्सरियल हमलों सहित) पर व्यापक प्रयोग किए गए।

• सिंगल-कॉसेप्ट इरेज़र: CIFAR-10 ऑब्जेक्ट इरेज़र पर, OCE ने उच्चतम हार्मोनिक मीन स्कोर ($H_o$) प्राप्त किया, जिससे औसत इरेज़र फेलियर रेट ($A_{cce}$) घटकर 4.61% रह गया, जबकि गैर-लक्ष्य अवधारणाओं का लगभग पूर्ण संरक्षण ($A_{ccs} \approx 98.68\%$) बना रहा। इसने UCE, MACE और SPEED जैसे स्टेट-ऑफ-द-आर्ट तरीकों को पछाड़ दिया।
• मल्टी-कॉसेप्ट इरेज़र: OCE ने एक ही चरण में 100 सेलिब्रिटी कॉन्सेप्ट्स को सफलतापूर्वक मिटाया, जिसे एक सिंगल A100 GPU पर 4.3 सेकंड में पूरा किया गया। इसने मिटाए गए कॉन्सेप्ट्स की संख्या बढ़ने के साथ स्थिर प्रदर्शन बनाए रखा, जबकि अन्य विधियाँ जनरेशन कोलैप्स या गैर-लक्षत संरक्षण में महत्वपूर्ण गिरावट का शिकार हुईं।
• इम्प्लिसिट इरेज़र और रोबस्टनेस: इम्प्लिसिट कॉन्सेप्ट इरेज़र (जैसे, NSFW कंटेंट) और एडवर्सरियल हमलों (Ring-A-Bell, MMA-Diffusion) के तहत, OCE ने मजबूत रोबस्टनेस दिखाई, विशेष रूप से एडवर्सरियल एडिटिंग के साथ एकीकृत होने पर, जो उच्च CLIP स्कोर और कम FID के साथ कम अटैक सक्सेस रेट (ASR) प्राप्त करता है।
• हस्तांतरणीयता (Transferability): यह विधि FLUX.1 dev मॉडल तक प्रभावी ढंग से विस्तारित हुई, जिसने कोर एडिटिंग लॉजिक में आर्किटेक्चरल बदलाव के बिना ऑब्जेक्ट्स, स्टाइल्स और सेलिब्रिटीज का प्रभावी इरेज़र हासिल किया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि OCE कॉन्सेप्ट इरेज़र के लिए एक सिद्धांतपूर्ण, कुशल और स्केलेबल समाधान प्रदान करता है। एडिटिव अपडेट्स की ज्यामितीय सीमाओं को संबोधित करके, OCE सटीक कॉन्सेप्ट रिमूवल और मॉडल की अंतर्निहित जनरेटिव क्षमताओं के संरक्षण के बीच एक बेहतर संतुलन बनाता है।

लेखक इस बात पर जोर देते हैं कि OCE जनरेटिव AI मॉडल्स की सुरक्षा और विश्वसनीयता में सुधार के लिए एक नियंत्रणीय तंत्र (controllable mechanism) प्रदान करता है। यह असंबंधित अवधारणाओं में न्यूनतम हस्तक्षेप के साथ सिंगल- और मल्टी-कॉसेप्ट इरेज़र का समर्थन करता है, जो कंटेंट क्रिएशन, शिक्षा और सार्वजनिक प्लेटफार्मों में सुरक्षित AI को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है। यह कार्य सुझाव देता है कि पैरामीटर स्पेस पर ज्यामितीय दृष्टिकोण डिफ्यूजन मॉडल्स के लिए अधिक प्रभावी और स्थिर एडिटिंग प्रतिमानों की ओर ले जा सकते हैं।

स्वीकृत सीमाएँ (Limitations Acknowledged):
लेखक नोट करते हैं कि बहुत बड़े मॉडल्स के लिए SVD-आधारित सबस्पेस इरेज़र कम्प्यूटेशनल ओवरहेड पेश कर सकता है। इसके अतिरिक्त, क्योंकि यह विधि सबस्पेस स्तर पर काम करती है, उत्पन्न आउटपुट मध्यवर्ती सिमेंटिक क्षेत्रों में गिर सकते हैं न कि सटीक रूप से फाइन-ग्रेन्ड एंकर कॉन्सेप्ट्स से मेल खा सकते हैं, जो विशिष्ट एडिटिंग कार्यों में इसकी प्रयोज्यता को सीमित कर सकता है। जटिल रिलेशनल या कंपोजिशनल कॉन्सेप्ट्स को मिटाने के लिए और अधिक अन्वेषण की आवश्यकता है।