💻 computer science

Closing the Safety Gap: Surgical Concept Erasure in Visual Autoregressive Models

यह शोध पत्र VARE और S-VARE को प्रस्तुत करता है, जो नवीन फ्रेमवर्क हैं जो सहायक विजुअल टोकन और विशिष्ट लॉस फंक्शन्स का लाभ उठाकर विजुअल ऑटोरेग्रेसिव मॉडल्स में सर्जिकल कॉन्सेप्ट इरेज़र (surgical concept erasure) को सक्षम करते हैं ताकि जनरेशन की गुणवत्ता और सिमेंटिक फिडेलिटी को बनाए रखते हुए असुरक्षित कॉन्सेप्ट्स को हटाया जा सके।

मूल लेखक: Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

प्रकाशित 2026-02-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, अति-यथार्थवादी (hyper-realistic) रोबोट कलाकार है। यह कलाकार कैनवास पर रंग मिला कर पेंटिंग नहीं करता; इसके बजाय, यह पिक्सेल दर पिक्सेल चित्र बनाता है, जैसे लेगो (LEGO) ब्लॉक्स को एक के ऊपर एक रखा जा रहा हो। लेकिन इसमें एक पेच है: यह चित्रों को परतों (layers) में बनाता है, एक धुंधले, कम-रिज़ॉल्यूशन वाले स्केच से शुरू करके धीरे-धीरे और अधिक विवरण जोड़ता जाता है जब तक कि चित्र स्पष्ट न हो जाए। एक विजुअल ऑटोरेग्रेसिव (Visual Autoregressive - VAR) मॉडल इसी तरह काम करते हैं। वे टेक्स्ट से चित्र बनाने में अद्भुत हैं, लेकिन उनमें एक खतरनाक दोष है: यदि आप उनसे कुछ अनुपयुक्त बनाने के लिए कहते हैं (जैसे कि कोई हिंसक दृश्य या नग्न आकृति), तो वे खुशी-खुशी ऐसा करेंगे।

समस्या यह है कि अन्य प्रकार के AI कलाकारों (जिन्हें डिफ्यूजन मॉडल कहा जाता है) के लिए हमारे पास जो "सुरक्षा उपकरण" हैं, वे इस लेगो-स्टैकिंग वाले रोबोट पर काम नहीं करते हैं। इन पुराने उपकरणों को जबरदस्ती इस नए रोबोट पर थोपना वैसा ही है जैसे किसी मैकेनिकल घड़ी के लिए बने हथौड़े से डिजिटल घड़ी को ठीक करने की कोशिश करना—इससे पूरी चीज़ ही टूट जाती है।

यह पेपर इस रोबोट को बिना उसकी चित्र बनाने की क्षमता को बिगाड़े, इसे ठीक करने का एक नया, "सर्जिकल" तरीका पेश करता है। उन्होंने इसे कैसे किया, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:

1. समस्या: गलतियों का "डोमिनो प्रभाव" (The "Domino Effect" of Mistakes)

पुराने तरीकों में, जब किसी चीज़ को बुरा (जैसे कि एक "चर्च") बनाने से रोकने की कोशिश की जाती थी, तो इंजीनियर रोबोट को कहते थे: "चर्च मत बनाओ; इसके बजाय एक सामान्य इमारत बनाओ।"

हालाँकि, क्योंकि रोबोट परतों में चित्र बनाता है (धुंधले से लेकर स्पष्ट तक), पहली परत में होने वाली एक छोटी सी गलती दूसरी परत में बढ़ जाती है, और फिर तीसरी परत में विस्फोट कर देती है। जब तक चित्र पूरा होता है, रोबोट सही ढंग से कुछ भी बनाना भूल चुका होता है। चित्र एक पिघले हुए ढेर जैसा दिखने लगता है। इसे त्रुटि संचय (error accumulation) कहा जाता है।

2. समाधान: "स्थिरीकरण मार्गदर्शक" (The "Stabilizing Guide" - VARE)

रोबोट को बिखरने से रोकने के लिए, लेखकों ने उसे एक स्थिरीकरण मार्गदर्शक दिया।

कल्पना कीजिए कि आप एक छात्र को पेड़ बनाना सिखा रहे हैं। केवल यह कहने के बजाय कि, "पेड़ मत बनाओ," आप उसके सामने एक सामान्य पेड़ का चित्र रखते हैं और कहते हैं, "इस चित्र को देखो। अब, कुछ ऐसा बनाने की कोशिश करो जो लगभग इसके जैसा हो, लेकिन बिना उन विशिष्ट शाखाओं के जो इसे एक पेड़ बनाती हैं।"

लेखकों ने रोबोट के प्रशिक्षण में "सहायक दृश्य टोकन" (ये मार्गदर्शक चित्र हैं) जोड़े। यह रोबोट की परतों को संरेखित (aligned) रखता है। यह त्रुटियों के "डोमिनो प्रभाव" को रोकता है, जिससे यह सुनिश्चित होता है कि रोबोट एक सुसंगत चित्र बनाने की क्षमता बनाए रखे, भले ही वह एक बुरे विचार को हटाने की कोशिश कर रहा हो।

3. स्कैल्पल (Scalpel): "फिल्टर्ड क्रॉस-एंट्रॉपी" (Filtered Cross-Entropy - S-VARE)

एक बार जब रोबोट स्थिर हो गया, तो उन्हें बाकी चित्र को खराब किए बिना किसी बुरे विचार को सटीक रूप से हटाने की आवश्यकता थी।

पुराना तरीका: इसे एक फाँस (splinter) निकालने के लिए हथौड़े का उपयोग करने जैसा समझें। आप विचार को मिटाने के लिए रोबבות के गणित को एक "सुरक्षित" संस्करण के साथ पूरी तरह से मिलाने के लिए मजबूर करते हैं। लेकिन चूंकि रोबोट डिजिटल "बिट्स" (ऑन/ऑफ स्विच) के साथ काम करता है न कि स्मूथ ग्रेडिएंट्स के साथ, यह हथौड़े वाला दृष्टिकोण अक्सर पूरे चित्र को ही नष्ट कर देता है।
नया तरीका (S-VARE): लेखकों ने एक स्कैल्पल (शल्य चिकित्सा चाकू) का आविष्कार किया। उन्होंने महसूस किया कि रोबोट कभी-कभी छोटी गलतियाँ करता है, लेकिन वह मुख्य विचार के बारे में आमतौर पर सही होता है। इसलिए, उन्होंने एक "फ़िल्टर" बनाया।
- यदि रोबोट पहले से ही चित्र को काफी हद तक सही पहचान रहा है (उदाहरण के लिए, उसने आकाश और ज़मीन को सही ढंग से पहचान लिया है), तो स्कैल्पल उन हिस्सों को अनदेखा कर देता है।
- यह केवल उन विशिष्ट हिस्सों को काटता (समायोजित करता) है जहाँ रोबोट "बुरे" विचार (जैसे नग्नता या विशिष्ट वस्तु) को बनाने की कोशिश कर रहा है।
- यह एक ऐसे सर्जन की तरह है जो केवल ट्यूमर पर ऑपरेशन करता है और स्वस्थ ऊतकों को वैसे ही छोड़ देता है।

4. सुरक्षा जाल: "प्रिजर्वेशन लॉस" (Preservation Loss)

कभी-कभी, जब आप किसी विशिष्ट समस्या को ठीक करने की कोशिश करते हैं, तो आप अनजाने में अन्य चीजों को भी बिगाड़ देते हैं। उदाहरण के लिए, यदि आप रोबोट को कहते हैं "चर्च मत बनाओ," तो हो सकता है कि वह कोई भी इमारत बनाना भूल जाए, या वह "आकाश" शब्द को समझना बंद कर दे। इसे "लैंग्वेज ड्रिफ्ट" (language drift) कहा जाता है।

इसे रोकने के लिए, लेखकों ने एक सुरक्षा जाल जोड़ा। वे लगातार रोबोट को याद दिलाते रहते हैं: "जब आप चर्च को हटा रहे हों, तो सुनिश्चित करें कि आप आकाश, घास और रोशनी को बिल्कुल उसी तरह से बनाएं जैसे आपने पहले बनाया था।" यह सुनिश्चित करता है कि रोबोट अपनी सामान्य कलात्मक क्षमताओं को बरकरार रखते हुए केवल विशिष्ट प्रतिबंधित वस्तु को बनाने की क्षमता खोए।

परिणाम

पेपर का परीक्षण "इन्फिनिटी" (Infinity) नामक मॉडल पर किया गया। परिणाम प्रभावशाली थे:

97% सफलता: वे संवेदनशील सामग्री (जैसे नग्नता या चर्च जैसी विशिष्ट वस्तुएं) को बनाने से रोबोट को सफलतापूर्वक रोक पाए।
न्यूनतम क्षति: अन्य चीजों को बनाने की रोबोट की क्षमता में 2% से भी कम की गिरावट आई। यह अभी भी सुंदर, उच्च-गुणवत्ता वाले चित्र बनाता है।
मजबूती (Robustness): यहाँ तक कि जब लोगों ने भ्रमित करने वाले या "एडवर्सरियल" प्रॉम्प्ट्स (बुरे विचार को चुपके से शामिल करने की कोशिश) के साथ रोबोट को धोखा देने की कोशिश की, तब भी रोबोट ने उसे बनाने से इनकार कर दिया।

संक्षेप में: लेखकों ने एक ऐसा ढांचा तैयार किया है जो एक स्थिर मार्गदर्शक, एक सर्जिकल स्कैल्पल और एक सुरक्षा जाल तीनों का काम करता है। यह उन्हें इस नई पीढ़ी के इमेज-जेनरेटिंग AI से खतरनाक विचारों को सर्जिकल तरीके से हटाने की अनुमति देता है, बिना AI की कला बनाने की क्षमता को नष्ट किए।

तकनीकी सारांश: सुरक्षा अंतराल को भरना: विजुअल ऑटोरेग्रेसिव मॉडल्स में सर्जिकल कॉन्सेप्ट इरेज़र (Surgical Concept Erasure)

समस्या विवरण

विजुअल ऑटोरेग्रेसिव (VAR) मॉडल्स, जैसे कि Infinity, की तीव्र प्रगति ने प्रोग्रेसिव रूप से बड़े स्केल्स पर विजुअल टोकन्स का अनुमान लगाकर टेक्स्ट-टू-इमेज जनरेशन की गुणवत्ता और गति में महत्वपूर्ण सुधार किया है। हालांकि, इन मॉडल्स में प्रभावी सुरक्षा तंत्रों (safety mechanisms) की कमी है, जिससे ये अनुचित प्रॉम्प्ट्स के जवाब में असुरक्षित सामग्री (जैसे, NSFW चित्र, हिंसा, या कॉपीराइट उल्लंघन वाली सामग्री) उत्पन्न करने के प्रति संवेदनशील हो जाते हैं।

मौजूदा कॉन्सेप्ट इरेज़र (CE) तकनीकें, जो मुख्य रूप से डिफ्यूजन मॉडल्स (जैसे, U-Net या FLUX आर्किटेक्चर) के लिए डिज़ाइन की गई हैं, VAR मॉडल्स पर सामान्य रूप से लागू नहीं होती हैं क्योंकि इनमें मौलिक संरचनात्मक अंतर हैं:

प्रेडिक्शन पैराडाइम (Prediction Paradigm): डिफ्यूजन मॉडल्स निरंतर स्थान (continuous space) में शोर (noise) का अनुमान लगाते हैं, जबकि VAR मॉडल्स पदानुक्रमित (hierarchical), ऑटोरेग्रेसिव तरीके से डिस्क्रीट विजुअल टोकन्स का अनुमान लगाते हैं।
त्रुटि संचय (Error Accumulation): डिफ्यूसन-आधारित CE विधियों को (जो व्यक्तिगत स्केल्स पर अनुमानों को अलाइन करती हैं) यदि अनौपचारिक रूप से VARs पर लागू किया जाता है, तो यह स्केल्स के बीच संचयी त्रुटियों (cumulative errors) का कारण बनता है। क्योंकि VAR जनरेशन अत्यधिक ऑटोरेग्रेसिव है (प्रत्येक टोकन पिछले मोटे-स्तर के टोकन्स पर निर्भर करता है), स्वतंत्र एलाइनमेंट से गंभीर इमेज क्वालिटी कोलैप्स और सिमेंटिक डिस्टॉर्शन होता है।
ऑप्टिमाइज़ेशन मिसमैच (Optimization Mismatch): डिफ्यूजन इरेज़र में उपयोग किए जाने वाले मानक रिग्रेशन लॉस (जैसे, मीन स्क्वेयर्ड एरर) VARs के डिस्क्रीट प्रोबेबिलिटी स्पेस में टोकन प्रेडिक्शन के लिए उपयुक्त नहीं हैं, जिससे अस्थिर ऑप्टिमाइज़ेशन होता है।

कार्यप्रणाली (Methodology)

लेखक इन चुनौतियोंों को संबोधित करने के लिए एक दो-चरणीय फ्रेमवर्क प्रस्तावित करते हैं: VARErasure (एक फाउंडेशनल फ्रेमवर्क) और S-VARE (एक सर्जिकल इरेज़र विधि)।

1. VARErasure फ्रेमवर्क: ऑक्जिलरी विजुअल टोकन्स (Auxiliary Visual Tokens)

स्केल्स के बीच त्रुटियों के संचय को रोकने के लिए, लेखक एक फ्रेमवर्क पेश करते हैं जो ऑक्जिलरी विजुअल टोकन्स का लाभ उठाता है।

तंत्र (Mechanism): मॉडल को न्यूट्रल प्रॉम्प्ट $c$ या मूल प्रॉम्प्ट $c^*$ का उपयोग करके शून्य से टोकन उत्पन्न करने के लिए प्रशिक्षित करने के बजाय, यह फ्रेमवर्क विजुअल ट्रांसफार्मर को अतिरिक्त इनपुट के रूप में मूल मॉडल से उत्पन्न ऑक्जिलरी टोकन्स प्रदान करता है।
प्रभाव: यह फाइन-ट्यून किए गए मॉडल को समग्र जनरेशन व्यवहार (संरचना और सिमेंटिक्स) को काफी हद तक बरकरार रखते हुए, टारगेट कॉन्सेप्ट के हिसाब से क्रॉस-अटेंशन रिस्पॉन्स को एडजस्ट करने पर ध्यान केंद्रित करने की अनुमति देता है। यह "कोलैप्स" को कम करता है जो अनौपचारिक फाइन-ट्यूनिंग में देखा जाता है।

2. S-VARE: सर्जिकल कॉन्सेप्ट इरेज़र (Surgical Concept Erasure)

VARE पर आधारित, लेखक S-VARE पेश करते हैं, जो मानक रिग्रेशन लॉस को डिस्क्रीट टोकन प्रेडिक्शन के लिए तैयार किए गए कस्टम लॉस फंक्शन से बदल देता है।

फिल्टर्ड क्रॉस-एन्ट्रॉपी लॉस ( $L_{FCE}$ ):
- यह पहचानते हुए कि VAR मॉडल्स (जैसे, Infinity) प्रोबेबिलिटी स्पेस में भविष्यवाणियों को प्रोजेक्ट करने के लिए बाइनरी स्फेरिकल क्वांटाइजेशन (BSQ) का उपयोग करते हैं, लेखक MSE के स्थान पर क्रॉस-एन्ट्रॉपी का उपयोग करते हैं।
- फिल्टरिंग रणनीति: ओवर-ऑप्टिमाइज़ेशन (जहाँ मॉडल सही टोकन्स को भी खराब कर देता है) से बचने के लिए, एक दो-स्तरीय फिल्टरिंग रणनीति लागू की जाती है:
  1. बिट लेवल (Bit Level): बाइनरी क्लासिफिकेशन एक्यूरेसी के आधार पर एक थ्रेशोल्ड $\gamma$ का उपयोग करता है।
  2. टोकन लेवल (Token Level): यदि गलत बिट्स का प्रतिशत थ्रेशोल्ड $\alpha$ (25% पर सेट, जो मॉडल के सेल्फ-करेक्शन रेंज के अनुरूप है) से कम है, तो उन टोकन्स को लॉस कैलकुलेशन से बाहर रखा जाता है।
- यह सुनिश्चित करता है कि केवल वे टोकन्स जिनमें महत्वपूर्ण सिमेंटिक विसंगतियां हैं, ही ग्रेडिएंट में योगदान दें, जिससे "सर्जिकल" निष्कासन संभव हो सके।
प्रिजर्वेशन लॉस ( $L_{Pre}$ ):
- फाइन-ट्यूनिंग के साइड इफेक्ट्स जैसे लैंग्वेज ड्रिफ्ट और कम हुई विविधता का मुकाबला करने के लिए, एक प्रिजर्वेशन लॉस पेश किया गया है।
- तंत्र: यह फाइन-ट्यून किए गए मॉडल के आउटपुट (न्यूट्रल प्रॉम्प्ट $c$ का उपयोग करके) को मूल प्री-ट्रेन्ड मॉडल के आउटपुट के साथ कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करके अलाइन करता है।
- लक्ष्य: यह सुनिश्चित करता है कि फाइन-ट्यून किया गया मॉडल हटाए गए टारगेट से संबंधित कॉन्सेप्ट्स के लिए मूल मॉडल की जेनेरेटिव क्षमताओं और विविधता को बनाए रखे।

प्रमुख योगदान (Key Contributions)

व्यवस्थित विश्लेषण: यह पेपर डिफ्यूजन-आधारित CE विधियों को VAR मॉडल्स पर लागू करने की सीमाओं का व्यवस्थित रूप से विश्लेषण करने वाला पहला पेपर है, जिसमें एरर एक्यूमुलेशन और ऑप्टिमाइज़ेशन मिसमैच को प्राथमिक विफलता बिंदुओं के रूप में पहचाना गया है।
VARE फ्रेमवर्क: जनरेशन को स्थिर करने और ऑप्टिमाइज़ेशन सर्च स्पेस को कम करने के लिए ऑक्जिलरी विजुअल टोकन्स का उपयोग करने वाला एक नया फ्रेमवर्क प्रस्तावित करता है, जो इमेज क्वालिटी कोलैप्स को रोकता है।
S-VARE विधि: एक सर्जिकल इरेज़र विधि पेश करता है जिसमें शामिल हैं:
- एक फिल्टर्ड क्रॉस-एन्ट्रॉपी लॉस ( $L_{FCE}$ ) जो VAR प्रेडिक्शंस की डिस्क्रीट प्रकृति का सम्मान करते हुए सटीक रूप से असुरक्षित टोकन्स को लक्षित करता है।
- एक प्रिजर्वेशन लॉस ( $L_{Pre}$ ) जो सिमेंटिक फिडेलिटी और आउटपुट विविधता को बनाए रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि यह दृष्टिकोण न्यूनतम जनरेशन क्वालिटी गिरावट (CLIP स्कोर में 2% से कम की गिरावट) के साथ उच्च इरेज़र रेट (97% संवेदनशील कॉन्सेप्ट्स) प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन इरेज़र श्रेणियों में Infinity-2B मॉडल पर S-VARE का मूल्यांकन किया: NSFW (नग्नता), ऑब्जेक्ट (जैसे, "चर्च"), और स्टाइल (जैसे, "वैन गॉग")।

NSFW इरेज़र: विधि ने नग्नता की अवधारणाओं का लगभग पूर्ण निष्कासन प्राप्त किया (संवेदनशील सामग्री का पता लगाने को काफी कम कर दिया) जबकि सामान्य शरीर के अंगों के जनरेशन को सुरक्षित रखा। इसने ESD, UCE और FMN जैसे बेसलाइन्स को पीछे छोड़ दिया, जो या तो प्रभावी ढंग से हटाने में विफल रहे या इमेज क्वालिटी को गंभीर रूप से खराब कर दिया।
ऑब्जेक्ट और स्टाइल इरेज़र: विधि ने अप्रासंगिक क्लासेज के लिए उच्च वर्गीकरण सटीकता बनाए रखते हुए और विविध, उच्च-गुणवत्ता वाली छवियां उत्पन्न करने की मॉडल की क्षमता को संरक्षित करते हुए, लक्षित ऑब्जेक्ट्स और स्टाइल्स को सफलतापूर्वक हटा दिया।
मजबूती (Robustness): नग्नता को प्रेरित करने के लिए डिज़ाइन किए गए एडवरसैरियल प्रॉम्प्ट डेटासेट्स (Ring-A-Bell, MMA, I2P) के विरुद्ध परीक्षण करते समय, S-AVE ने मूल मॉडल और अन्य बेसलाइन्स की तुलना में एडवरसैरियल सक्सेस रेट (ASR) को काफी कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि की कि फिल्टर्ड क्रॉस-एन्ट्रॉपी लॉस इरेज़र प्रभावशीलता के लिए महत्वपूर्ण है, जबकि प्रिजर्वेशन लॉस जनरेशन क्वालिटी और इंस्ट्रक्शन फिडेलिटी बनाए रखने के लिए आवश्यक है।

महत्व और दावे (Significance and Claims)

यह पेपर ऑटोरेग्रेसिव टेक्स्ट-टू-इमेज जनरेशन में सुरक्षा अंतराल को भरने का दावा करता है। जबकि पिछली विधियाँ डिफ्यूजन मॉडल्स के लिए प्रभावी थीं, वे उभरते हुए VAR मॉडल्स के लिए अनुपयुक्त थीं। VARE और S-VARE पेश करके, लेखक VARs के लिए पहला प्रभावी, सर्जिकल कॉन्सेप्ट इरेज़र समाधान प्रदान करते हैं।

यह कार्य प्रदर्शित करता है कि बड़े पैमाने के ऑटोरेग्रेसिव मॉडल्स से अवांछित कॉन्सेप्ट्स को हटाना संभव है, बिना स्क्रैच से रिट्रेनिंग के भारी कंप्यूटेशनल बोझ या अनौपचारिक फाइन-ट्यूनिंग से जुड़ी गंभीर गुणवत्ता गिरावट के। यह वास्तविक दुनिया के अनुप्रयोगों में VAR-आधारित जनरेशन सिस्टम के सुरक्षित और स्केलेबल परिनियोजन (deployment) को सुगम बनाता है।