Conditioned Activation Transport for T2I Safety Steering

यहाँ शोध पत्र "Conditioned Activation Transport for T2I Safety Steering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टेक्स्ट-टू-इमेज (T2I) मॉडल, अपनी जनरेटिव क्षमताओं के बावजूद, असुरक्षित, विषाक्त या हानिकारक सामग्री (जैसे कि घृणास्पद भाषण, हिंसा, नग्नता) उत्पन्न करने के प्रति संवेदनशील बने रहते हैं। जबकि एक्टिवेशन स्टीयरिंग (इन्फरेंस के समय आंतरिक मॉडल एक्टिवेशन को संशोधित करना) एक आशाजनक प्रशिक्षण-मुक्त हस्तक्षेप (training-free intervention) प्रदान करता है, वर्तमान विधियाँ एक महत्वपूर्ण समझौते (trade-off) से जूझ रही हैं:

• रैखिक स्टीयरिंग विफलता (Linear Steering Failure): मानक दृष्टिकोण जैसे Activation Addition (ActAdd) और Linear Activation Transport (Linear-ACT) यह मान लेते हैं कि सुरक्षा और विषाक्तता सरल रैखिक मैनिफोल्ड्स (linear manifolds) पर स्थित हैं। जब इन्हें सौहार्दपूर्ण (benign) प्रॉम्प्ट्स पर लागू किया जाता है, तो ये वैश्विक रैखिक बदलाव अक्सर छवि की गुणवत्ता को खराब कर देते हैं, सिमेंटिक ड्रिफ्ट (semantic drift) का कारण बनते हैं, या जटिल विषाक्त अवधारणाओं को हटाने में विफल रहते हैं।
• सिमेंटिक संरेखण का अभाव (Lack of Semantic Alignment): मौजूदा सुरक्षा डेटासेट ऐसे जोड़े (pairs) प्रदान नहीं करते हैं जो विषाक्त तत्व को छोड़कर सिमेंटिक रूप से समान हों। यह विशिष्ट "विषाक्त मैनिफोल्ड" को बिना किसी असंबंधित सिमेंटिक फीचर को पकड़े अलग करने में कठिन बनाता है।
• गतिशील विषाक्तता (Dynamic Toxicity): T2I मॉडल में असुरक्षित रिप्रजेंटेशन अक्सर शुरुआती एम्बेडिंग के बजाय गहरे नेटवर्क लेयर्स में गतिशील रूप से उभरते हैं, जिससे शुरुआती-लेयर कंडीशनिंग अप्रभावी हो जाती है।

2. कार्यप्रणाली (Methodology)

लेखक Conditioned Activation Transport (CAT) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे केवल आवश्यकता होने पर ही एक्टिवेशन को स्टीयर करने के लिए डिज़ाइन किया गया है, जिससे सौहार्दपूर्ण प्रश्नों के लिए इमेज फिडेलिटी (image fidelity) सुरक्षित रहती है।

A. SafeSteerDataset

सटीक स्टीयरिंग वेक्टर्स को प्रशिक्षित करने के लिए, लेखकों ने एक नया कंट्रास्टिव डेटासेट बनाया:

• संरचना: 6 उच्च-जोखिम वाले डोमेन (Hate, Violence, Sexual, Illegal, Humiliation, Disturbing) के तहत 23 उप-श्रेणियों में व्यवस्थित 2,300 सुरक्षित और असुरक्षित प्रॉम्प्ट जोड़े।
• निर्माण: Gemini 2.5-Pro का उपयोग करके जनरेट किया गया और Qwen-8b एम्बेडिंग्स का उपयोग करके फ़िल्टर किया गया।
• मुख्य बाधा (Key Constraint): जोड़ों को उच्च कोसाइन समानता ($>0.7$) सुनिश्चित करने के लिए फ़िल्टर किया गया है, जिससे यह सुनिश्चित होता है कि जोड़े के बीच एकमात्र अंतर विशिष्ट विषाक्त तत्व है। यह मॉडल को सिमेंटिक ड्रिफ्ट के बिना सटीक ज्यामितीय दिशा (geometric direction) सीखने की अनुमति देता है।

B. Conditioned Activation Transport (CAT) Framework

CAT स्टीयरिंग को दो घटकों में विभाजित करता है: एक Non-Linear Transport Map और एक Geometry-Aware Conditioning Mechanism।

1. Non-Linear Transport Map ($T_\theta$):

   • एक रैखिक शिफ्ट के बजाय, CAT असुरक्षित एक्टिवेशन से सुरक्षित मैनिफोल्ड तक एक नॉन-लीनियर मैपिंग सीखने के लिए मल्टी-लेयर पर्सेप्ट्रॉन (MLP) का उपयोग करता है।
   • आर्किटेक्चर: RMSNorm और GELU एक्टिवेशन के साथ एक सिंगल हिडन लेयर।
   • इनिशियलाइजेशन: अंतिम प्रोजेक्शन लेयर को शून्य (zero) से इनिशियलाइज़ किया गया है, जिससे यह सुनिश्चित होता है कि अनट्रेन्ड मैप एक आइडेंटिटी फंक्शन ($T(z)=z$) के रूप में कार्य करे, जिससे प्रारंभिक गिरावट को रोका जा सके।
   • ट्रेनिंग ऑब्जेक्टिव: एक डुअल-लॉस फंक्शन असुरक्षित इनपुट और सुरक्षित लक्ष्यों के बीच की दूरी को कम करता है और साथ ही सुरक्षित इनपुट के लिए एक आइडेंटिटी मैपिंग (रेगुलराइजेशन) को लागू करता है। यह MLP को यह सीखने में सक्षम बनाता है कि बदलाव कब लागू करना है।

2. Geometry-Aware Conditioning ($C$):

   • सौहार्दपूर्ण छवियों को खराब होने से बचाने के लिए, स्टीयरिंग तभी लागू की जाती है जब वर्तमान एक्टिवेशन को असुरक्षित पहचाना जाता है।
   • प्रिसिजन मैट्रिक्स अनुमान (Precision Matrix Estimation): उच्च-आयामी लेटेंट स्पेस ($d > 1000$) और सीमित नमूनों के कारण, लेखक कोवेरियंस इनवर्जन के लिए एक स्थिर प्रिसिजन मैट्रिक्स की गणना करने हेतु रेगुलराइज्ड श्रिंकेज एस्टीमेटर का उपयोग करते हैं।
   • कंडीशनिंग रणनीतियाँ:
     • प्रोबेबिलिस्टिक (GDA): सुरक्षित और असुरक्षित गाऊसी वितरणों के बीच एक रैखिक निर्णय सीमा (decision boundary) सीखता है।
     • आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) मॉडलिंग: असुरक्षित उदाहरणों को बैकग्राउंड के रूप में और सुरक्षित उदाहरणों को OOD के रूप में मानता है। यह असुरक्षित सेंट्रॉइड (centroid) से महालानोबिस दूरी (Mahalanobis distance) की गणना करता है। स्टीयरिंग केवल तभी सक्रिय होती है जब इनपुट एक असुरक्षित मैनिफोल्ड के उच्च-घनत्व क्षेत्र (एक क्वांटाइल थ्रेशोल्ड द्वारा परिभाषित) में आता है। यह एक दीर्घवृत्ताकार (ellipsoidal) निर्णय सीमा बनाता है जो विषाक्त अवधारणा की विशिष्ट कोवेरियेंस संरचना के अनुरूप होती है, जो साधारण बाउंडिंग बॉक्स की तुलना में अधिक सटीक नियंत्रण प्रदान करती है।

3. Steering Equation:
   स्टीयर्ड स्टेट $z'$ की गणना इस प्रकार की जाती है:
   $$z' = z + \alpha \cdot C(\bar{z}) \cdot (T_\theta(\bar{z}) - \bar{z})$$
   जहाँ $\alpha$ स्ट्रेंथ है, $\bar{z}$ मीन-पूल किया गया एक्टिवेशन है, और $C(\bar{z})$ एक बाइनरी गेट (0 या 1) है। यदि $C=0$ (सौहार्दपूर्ण), तो आउटपुट अपरिवर्तित रहता है।

3. मुख्य योगदान (Key Contributions)

1. SafeSteerDataset: 23 विषाक्त उप-श्रेणियों में 2,300 प्रॉम्प्ट जोड़ों का एक उच्च-फिडेलिटी, सिमेंटिक रूप से संरेखित कंट्रास्टिव डेटासेट, जो सटीक सुरक्षा मैनिफोल्ड आइसोलेशन को सक्षम बनाता है।
2. Conditioned Activation Transport (CAT): एक नया फ्रेमवर्क जो नॉन-लीनियर MLP ट्रांसपोर्ट मैप्स को ज्योमेट्री-अवेयर कंडीशनिंग के साथ जोड़ता है। यह सुरक्षा-गुणवत्ता के समझौते को हल करता है क्योंकि यह केवल असुरक्षित क्षेत्रों में ही स्टीयरिंग लागू करता है।
3. व्यापक सत्यापन (Comprehensive Validation): दो अलग-अलग अत्याधुनिक आर्किटेक्चर: Z-Image (डिफ्यूजन ट्रांसफार्मर) और Infinity (ऑटोरेग्रेसिव) पर सुरक्षा स्टीयरिंग का पहला मूल्यांकन।
4. ज्यामितीय अंतर्दृष्टि (Geometric Insight): यह अनुभवजन्य प्रमाण कि T2I मॉडल में सुरक्षा मैनिफोल्ड्स नॉन-लीनियर और जटिल (जैसे कि नॉन-कॉन्वेक्स, मल्टी-मोडल) हैं, जो वैश्विक रैखिक विधियों को अपर्याप्त बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Z-Image और Infinity पर बेसलाइन (ActAdd, Linear-ACT, Affine Transport) के विरुद्ध CAT का मूल्यांकन किया।

• सुरक्षा बनाम गुणवत्ता समझौता (Safety vs. Quality Trade-off):
  • रैखिक विधियाँ (Linear Methods): केवल छवि की गुणवत्ता को गंभीर रूप से खराब करके ही कम अटैक सक्सेस रेट (ASR) प्राप्त किया (जैसे, Infinity पर Linear-ACT का CLIP स्कोर 0.33 से गिरकर 0.16 हो गया, जो प्रभावी रूप से शोर/नॉइज़ उत्पन्न करता है)।
  • CAT: उच्च इमेज फिडेलिटी बनाए रखते हुए ASR को काफी कम कर दिया।
    • Z-Image: CLIP स्कोर के 0.33 को बनाए रखते हुए ASR को 33.91% से घटाकर 6.96% कर दिया।
    • Infinity: CLIP स्कोर के 0.32 के साथ ASR को 31.74% से घटाकर 4.78% कर दिया।
• कंडीशनिंग प्रभाव (Conditioning Effect): ज्योमेट्री-अवेयर (महालानोबिस) कंडीशनिंग लागू करना महत्वपूर्ण था। रैखिक विधियों के लिए, कंडीशनिंग ने इमेज क्वालिटी को वापस पाया लेकिन ASR को थोड़ा बढ़ा दिया। CAT के लिए, इसने इष्टतम संतुलन बनाने में मदद की।
• मोडैलिटी स्टीयरिंग (Modality Steering): टेक्स्ट और विजन दोनों घटकों को एक साथ स्टीयर करने से सबसे अच्छे परिणाम मिले, जो पुष्टि करता है कि सुरक्षा अवधारणाएं पूर्ण मल्टीमॉडल पाइपलाइन में एनकोडेड हैं।
• फाइन-ग्रेन्ड सेफ्टी (Fine-Grained Safety): यहाँ तक कि जब केवल "Sexual" श्रेणी पर प्रशिक्षित किया गया, तो रैखिक विधियाँ छवि की गुणवत्ता को नष्ट किए बिना ASR को कम करने में विफल रहीं, जबकि CAT ने विशिष्ट असुरक्षित अवधारणा को सफलतापूर्वक अलग (disentangle) कर लिया।

5. महत्व (Significance)

यह कार्य T2I सुरक्षा स्टीयरिंग के प्रतिरेक (paradigm) को ग्लोबल लीनियर इंटरवेंशन से लोकल, नॉन-लीनियर और कंडिशनल ट्रांसपोर्ट की ओर मौलिक रूप से बदल देता है।

• व्यावहारिक प्रभाव: यह सौहार्दपूर्ण इमेज जनरेशन को खराब करने वाले "कोलेटरल डैमेज" के बिना हानिकारक सामग्री को दबाने का एक तरीका प्रदान करता है, जो इसे वास्तविक दुनिया में तैनाती के लिए व्यवहार्य बनाता है।
• सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि जनरेटिव मॉडल में विषाक्तता जटिल, नॉन-कॉन्वेक्स मैनिफोल्ड्स में निवास करती है जिसके लिए नॉन-लीनियर ट्रांसफॉर्मेशन और सटीक ज्यामितीय गेटिंग की आवश्यकता होती है।
• पुनरुत्पादकता (Reproducibility): लेखक SafeSteerDataset और कोड को ओपन-सोर्स करते हैं, जो भविष्य के T2I सुरक्षा और अलाइनमेंट अनुसंधान को सुगम बनाता है।

निष्कर्षतः, CAT सिद्ध करता है कि T2I मॉडल में सुरक्षा एक ज्यामितीय रूप से जटिल समस्या है जिसे सरल वेक्टर एडिशन से हल नहीं किया जा सकता, बल्कि इसके लिए सटीक ज्यामितीय स्थितियों द्वारा गेट किए गए अनुकूल, नॉन-लीनियर ट्रांसपोर्ट मैप्स की आवश्यकता होती है।