💬 NLP

Test-Time Detoxification without Training or Learning Anything

यह शोध पत्र एक प्रशिक्षण-मुक्त, टेस्ट-टाइम डिटॉक्सिफिकेशन विधि प्रस्तुत करता है जो इनपुट एम्बेडिंग्स पर ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन का उपयोग करके बड़े भाषा मॉडलों को बिना मॉडल रिट्रेनिंग, ग्रेडिएंट्स, या आंतरिक गणनाओं तक पहुँच के, कम विषाक्त आउटपुट की ओर निर्देशित करती है।

मूल लेखक: Baturay Saglam, Dionysis Kalogerias

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Baturay Saglam, Dionysis Kalogerias

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, लेकिन कभी-कभी शरारती, कहानीकार (एक लार्ज लैंग्वेज मॉडल) है। इस कहानीकार ने इंटरनेट पर लगभग सब कुछ पढ़ा है, जिसका अर्थ है कि वह बेहतरीन कहानियाँ तो जान सकता है, लेकिन वह बदतमीजी, अपमानजनक या खतरनाक कहानियाँ भी जानता है। कभी-कभी, भले ही आप उससे एक बहुत ही अच्छा सवाल पूछें, वह अनजाने में कुछ बुरा कह सकता है।

आमतौर पर, इसे ठीक करने के लिए, लोग कहानीकार को "पुनः प्रशिक्षित" (retrain) करने की कोशिश करते हैं। यह उसे वापस स्कूल भेजने जैसा है जहाँ उसे महीनों तक बुरी आदतें भुलाने के लिए भेजा जाता है। यह महंगा है, धीमा है, और आप ऐसा तब नहीं कर सकते जब कहानीकार किसी और का हो (एक "ब्लैक बॉक्स")।

यह पेपर एक चतुर, त्वरित तकनीक पेश करता है जिसे TIDE (एम्बेडिंग्स के माध्यम से टेस्ट-टाइम इटरेटिव डिटॉक्सिफिकेशन) कहा जाता है। इसके लिए कहानीकार को वापस स्कूल भेजने की आवश्यकता नहीं है। इसके बजाय, यह उनके द्वारा बोलने से ठीक पहले उन्हें दिए जाने वाले निर्देशों में थोड़ा सा बदलाव करता है, ताकि उन्हें बिना उनकी बात बदले, मुसीबत से दूर ले जाया जा सके।

यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. "अदृश्य धक्का" (एम्बेडिंग्स)

जब आप एक AI को प्रॉम्प्ट टाइप करते हैं, तो कंप्यूटर "बिल्ली" या "कुत्ता" जैसे शब्दों को नहीं देखता। वह उन्हें एक विशाल, बहु-आयामी मानचित्र में संख्याओं के रूप में देखता है जिसे एम्बेडिंग्स कहा जाता है। इस मानचित्र को एक विशाल परिदृश्य के रूप में सोचें जहाँ हर बिंदु एक अलग विचार का प्रतिनिधित्व करता है।

लेखकों ने महसूस किया कि यदि आप इन संख्याओं को थोड़ा सा भी हिला देते हैं—जैसे कि दिशा-सूचक यंत्र (कम्पास) की सुई को थोड़ा सा खिसकाना—तो आप कहानीकार की दिशा बदल सकते हैं, भले ही आपके द्वारा टाइप किए गए शब्द मनुष्यों के लिए बिल्कुल समान दिखते हों।

2. "अंधा हाइकर" (ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन)

कठिन हिस्सा यह है: आप यह कैसे जानेंगे कि संख्याओं को किस दिशा में धकेलना है ताकि कहानी सुरक्षित बन सके? आप "ग्रेडिएंट" (पहाड़ी का ढलान) नहीं देख सकते क्योंकि AI और सुरक्षा जांचकर्ता "ब्लैक बॉक्स" हैं (आप उनके गणित के अंदर नहीं देख सकते)।

लेखक ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि आप एक अंधे हाइकर (हाइकर) हैं जो एक घाटी (सबसे सुरक्षित, कम जहरीली कहानी) की तलाश में है। आप ढलान नहीं देख सकते, इसलिए आप कुछ यादृच्छिक दिशाओं में कुछ छोटे कदम उठाते हैं, अपने एक दोस्त से पूछते हैं, "क्या वह कदम सुरक्षित था या अधिक खतरनाक?" और फिर उस दिशा में कदम उठाते हैं जो अधिक सुरक्षित महसूस होती है।

पेपर की विधि में:

कंप्यूटर प्रॉम्प्ट की "संख्याओं" को लेता है।
यह मूल प्रॉम्प्ट में थोड़ा सा यादृच्छिक "शोर" (noise) जोड़ता है (जैसे कम्पास को थोड़ा हिलाना) ताकि उसके कुछ थोड़े अलग संस्करण बनाए जा सकें।
यह AI को प्रत्येक संस्करण के लिए कहानी बनाने के लिए कहता है।
यह एक सुरक्षा जांचकर्ता (जैसे पर्सपेक्टिव API) से पूछता है कि प्रत्येक कहानी कितनी विषाक्त (toxic) है।
स्कोर के आधार पर, यह गणना करता है कि अगली कहानी को सुरक्षित बनाने के लिए मूल संख्याओं को किस दिशा में धकेलने का "सबसे अच्छा अनुमान" है।

3. "सुरक्षा वाल्व" (अर्ली स्टॉपिंग)

यह "धक्का और जाँच" चक्र केवल कुछ बार (आमतौर पर 4 से कम) दोहराया जाता है। यह प्रक्रिया तब रुक जाती है जब सुरक्षा स्कोर 0.5 के सुरक्षित थ्रेशोल्ड से नीचे गिर जाता है। यह एक थर्मोस्टेट की तरह है जो कमरे के आरामदायक तापमान तक पहुँचते ही हीटर को बंद कर देता है, बजाय इसके कि कमरे को बहुत ठंडा कर दे।

4. जादुई परिणाम

इस पेपर का सबसे आश्चर्यजनक हिस्सा यह है कि आपके द्वारा टाइप किए गए शब्द कभी नहीं बदलते।

यदि आप टाइप करते हैं "मुझे एक बिल्ली के बारे में एक कहानी सुनाओ," तो कंप्यूटर "बिल्ली" के पीछे की अदृश्य संख्याओं को बस इतना बदल देता है कि AI को जहरीले विचारों से दूर ले जाया जा सके।
जब AI बोलता है, तो वह अभी भी कहता है "मुझे एक बिल्ली के बारे में एक कहानी सुनाओ," लेकिन जो अर्थ वह महसूस करता है, वह थोड़ा अलग होता है, जिससे वह एक सुरक्षित, गैर-विषाक्त कहानी बनाता है।
पेपर का दावा है कि यह अन्य तरीकों से बेहतर काम करता है जो AI के आंतरिक नियमों को बदलने या उसे पुनः प्रशिक्षित करने की कोशिश करते हैं, और यह बिना किसी अतिरिक्त प्रशिक्षण डेटा या AI के आंतरिक मस्तिष्क तक पहुँच के किया जाता है।

सारांश के दावे

कोई प्रशिक्षण नहीं: आपको मॉडल को पुनः प्रशिक्षित करने की आवश्यकता नहीं है। यह किसी भी मॉडल पर काम करता है जिससे आप बात कर सकते हैं।
ब्लैक बॉक्स एक्सेस की आवश्यकता नहीं: आपको AI के आंतरिक गणित या ग्रेडिएंट को देखने की आवश्यकता नहीं है। आपको बस उसे प्रॉम्प्ट भेजने और उत्तर प्राप्त करने की आवश्यकता है।
गुणवत्ता संरक्षित: कहानियाँ प्रवाहपूर्ण और उपयोगी बनी रहती हैं; वे बस कम विषाक्त हो जाती हैं।
गति: यह प्रतिक्रिया उत्पन्न करने में बहुत कम समय (कुछ सेकंड) जोड़ता है, जो मॉडल को पुनः प्रशिक्षित करने की तुलना में बहुत तेज़ है।

संक्षेप में, पेपर दिखाता है कि शब्दों के पीछे की "संख्याओं" को स्टीयरिंग व्हील की तरह मानकर, आप एक शरारती AI को भी धीरे से सुरक्षित क्षेत्र की ओर निर्देशित कर सकते हैं, और यह बिना कार को बदले, तुरंत किया जा सकता है।

तकनीकी सारांश: बिना प्रशिक्षण या कुछ भी सीखे परीक्षण-समय विषहरण (Test-Time Detoxification)

1. समस्या विवरण

विशाल वेब कॉर्पोरा पर पूर्व-प्रशिक्षित (pretrained) बड़े भाषा मॉडल (LLMs), स्वाभाविक रूप से विषाक्त (toxic), पक्षपाती या अनुपयुक्त टेक्स्ट उत्पन्न करने का जोखिम रखते हैं, भले ही उन्हें सौम्य प्रॉम्प्ट दिए गए हों। यह बड़े पैमाने पर तैनाती के लिए महत्वपूर्ण सुरक्षा जोखिम पैदा करता है। विषहरण (detoxification) का उद्देश्य मॉडल-जनित पाठ की अपेक्षित विषाक्तता को कम करना है जबकि पीढ़ी की गुणवत्ता (प्रवाह और उपयोगिता) को बनाए रखना है।

मौजूदा दृष्टिकोण कई सीमाओं का सामना करते हैं:

पुनः प्रशिक्षण-आधारित विधियाँ (जैसे, सुपरवाइज्ड फाइन-ट्यूनिंग, RLHF) के लिए अतिरिक्त डेटा, कंप्यूटिंग इंफ्रास्ट्रक्चर और मॉडल या सुरक्षा लक्ष्यों के विकसित होने के साथ बार-बार पुनः प्रशिक्षण की आवश्यकता होती है।
अनुमान-समय नियंत्रण विधियाँ (Inference-time control methods) अक्सर मॉडल ग्रेडिएंट्स, आंतरिक आर्किटेक्चरल हुक्स, या सीखे गए सहायक घटकों (जैसे, रिवॉर्ड मॉडल, क्लासिफायर, या प्रोब्स) तक पहुंच की आवश्यकता होती है। ये निर्भरताएं उन्हें महंगा, मॉडल परिवारों के बीच गैर-पोर्टेबल, या ब्लैक-बॉक्स सेटिंग्स में अप्रभावी बनाती हैं जहाँ केवल फॉरवर्ड पास उपलब्ध होते हैं।
लेटेंट-स्पेस स्टीयरिंग (Latent-space steering) विधियाँ आमतौर पर सीमित उदाहरणों से "डिटॉक्सिफिकेशन दिशाओं" का अनुमान लगाने पर निर्भर करती हैं, जिनमें अक्सर मॉडल-विशिष्ट ट्यूनिंग या विशेष हस्तक्षेप बिंदुओं की आवश्यकता होती है।

यह शोध पत्र प्रस्तावित करता है कि इनपुट एम्बेडिंग्स (input embeddings) प्रभावी नियंत्रण चर (control variables) के रूप में कार्य कर सकते हैं। एम्बेडिंग स्पेस में छोटे परिवर्तन पीढ़ी में व्यवस्थित परिवर्तन ला सकते हैं। हालाँकि, इन एम्बेडिंग्स को अनुकूलित करना गैर-तुच्छ है क्योंकि विषाक्तता का मूल्यांकन आमतौर पर ब्लैक-बॉक्स पाइपलाइनों (जैसे, पर्सपेक्टिव AI जैसे बाहरी API) द्वारा किया जाता है जो ग्रेडिएंट प्रदान नहीं करते हैं, जिससे मानक बैकप्रोपैगेशन असंभव हो जाता है।

2. कार्यप्रणाली: TIDE

लेखक टेस्ट-टाइम इटरेटिव डिटॉक्सिफिकेशन वाया एम्बेडिंग्स (TIDE) का प्रस्ताव करते हैं, जो एक शुद्ध टेस्ट-टाइम प्रक्रिया है जो केवल प्रॉम्प्ट एम्बेडिंग्स को अपडेट करके पीढ़ी को निर्देशित करती है। यह विधि मॉडल पूर्णता (completion) की विषाक्तता को इनपुट एम्बेडिंग्स के एक ब्लैक-बॉक्स फलन के रूप में मानती है और ग्रेडिएंट को अनुमानित करने के लिए जीरोथ-ऑर्डर ऑप्टिमाइज़ेशन (zeroth-order optimization) का उपयोग करती है।

मुख्य एल्गोरिदम

प्रक्रिया संयुक्त उद्देश्य $\Phi(X) = h(f(X))$ को कम करती है, जहाँ $f$ एक भाषा मॉडल है, $h$ एक विषाक्तता स्कोरिंग फंक्शन है, और $X$ प्रॉम्प्ट एम्बेडिंग मैट्रिक्स है।

जीरोथ-ऑर्डर ग्रेडिएंट अनुमान:
चूंकि $\Phi$ डिफरेंशिएबल नहीं है (या इसका ग्रेडिएंट सुलभ नहीं है), यह विधि नेस्टरोव और स्पोकोइन (2017) पर आधारित एक रैंडमाइज्ड फाइनाइट-डिफरेंस एस्टिमेटर का उपयोग करती है।
- इटरेशन $k$ पर, वर्तमान एम्बेडिंग $X_k$ को Gaussian शोर जोड़कर विचलित किया जाता है: $X_k + \mu U$ , जहाँ $U$ एक नॉइज़ मैट्रिक्स है जिसकी पंक्तियाँ $\mathcal{N}(0, I)$ से सैंपल की गई हैं।
- ग्रेडिएंट का अनुमान मोंटे कार्लो एवरेजिंग के माध्यम से लगाया जाता है:
  $g_k = \frac{1}{N} \sum_{i=1}^N \frac{\Phi(X_k + \mu U_i) - \Phi(X_k)}{\mu} U_i$
- यह एस्टिमेटर उद्देश्य के एक स्मूदन संस्करण, $\nabla \Phi_\mu(X)$ का अनुमान लगाता है, जिसके लिए केवल मॉडल और विषाक्तता फंक्शन के फॉरवर्ड इवैल्यूएशन की आवश्यकता होती है।
एम्बेडिंग अपडेट:
एम्बेडिंग्स को ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है:
$X_{k+1} \leftarrow X_k - \eta \hat{g}_k$
जहाँ $\hat{g}_k$ सामान्यीकृत (normalized) ग्रेडिएंट दिशा है।
रेगुलराइजेशन और बाधाएं:
स्थिरता और मूल प्रॉम्प्ट के प्रति निष्ठा सुनिश्चित करने के लिए:
- ग्रेडिएंट नॉर्मलाइजेशन: उच्च-आयामी स्थानों में अस्थिर स्टेप साइज को रोकने के लिए ग्रेडिएंट दिशा को सामान्यीकृत किया जाता है।
- कोसाइन सिमिलरिटी कंस्ट्रेंट: यदि अपडेट किया गया एम्बेडिंग मूल से बहुत दूर चला जाता है (कोसाइन सिमिलरिटी द्वारा मापा गया), तो इसे एक थ्रेशोल्ड $\kappa$ द्वारा परिभाषित सीमा पर वापस प्रोजेक्ट किया जाता है।
- अर्ली स्टॉपिंग: ऑप्टिमाइज़ेशन तब तक समाप्त हो जाता है जब तक कि विषाक्तता स्कोर एक थ्रेशोल्ड $\tau$ (आमतौर पर 0.5) से नीचे न गिर जाए, जिससे ओवर-ऑप्टिमाइज़ेशन और अत्यधिक कंप्यूटेशनल लागत को रोका जा सके।

प्रमुख विशेषताएँ

मॉडल-अग्नोस्टिक (Model-Agnostic): इसके लिए केवल इनपुट एम्बेडिंग्स, एक विषाक्तता फंक्शन और फॉरवर्ड पास तक पहुंच की आवश्यकता होती है। किसी मॉडल पैरामीटर्स, ग्रेडिएंट्स, या आंतरिक एक्टिवेशन्स की आवश्यकता नहीं है।
कोई प्रशिक्षण नहीं (No Training): यह मॉडल वेट्स को संशोधित किए बिना या सहायक मॉड्यूल को प्रशिक्षित किए बिना पूरी तरह से इन्फरेंस के समय संचालित होता है।
सब-लेक्सिकल परटर्बेशन (Sub-lexical Perturbation): अनुकूलित एम्बेडिंग्स मूल टोकन में वापस डिकोड होते हैं। परटर्बेशन निरंतर एम्बेडिंग स्पेस के भीतर होता है, जो मानव-पठनीय इनपुट को बदले बिना मॉडल की आंतरिक स्थिति को बदल देता है।

3. मुख्य योगदान

एक नवीन टेस्ट-टाइम फ्रेमवर्क: जीरोथ-ऑर्डर ऑप्टिमाइज़ेशन का उपयोग करके इनपुट एम्बेडिंग्स को अनुकूलित करके LLMs को विषमुक्त करने की एक विधि पेश करता है, जो पुनः प्रशिक्षण या ग्रेडिएंट एक्सेस की आवश्यकता को दरकिनार करती है।
ब्लैक-बॉक्स कम्पैटिबिलिटी: यह प्रदर्शित करता है कि केवल फॉरवर्ड इवैल्यूएशन और एक विषाक्तता ओरेकल (oracle) का उपयोग करके प्रभावी स्टीयरिंग संभव है, जिससे यह मालिकाना या क्लोज्ड-सोर्स मॉडल के लिए भी लागू करने योग्य बन जाता है।
ऑप्टिमलिटी परिप्रेक्ष्य: यह दृष्टिकोण को हल्के रेगुलरिटी मान्यताओं (Lipschitz निरंतरता और स्मूथनेस) के तहत एम्बेडिंग स्पेस में एक निकट-इष्टतम स्टीयरिंग दिशा के रूप में सैद्धांतिक रूप से फ्रेम करता है, जो पिछले कार्यों में उपयोग किए जाने वाले हेयुरिस्टिक स्टीयरिंग दिशाओं के विपरीत है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न मॉडल परिवारों (GPT-2, Llama 3.1, Qwen, Gemma) और बेंचमार्क (AttaQ, BOLD, RealToxicityPrompts) में व्यापक मूल्यांकन प्रदान करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तापमान 0.1 (उच्च तापमान के विस्तार के साथ) का उपयोग करते हुए ओपन-एंडेड जनरेशन कार्यों पर किया गया।

विषाक्तता में कमी: TIDE लगातार DExperts, GeDi, RAD, और SASA जैसे बेसलाइन्स की तुलना में कम विषाक्तता (अधिकतम और औसत दोनों) प्राप्त करता है।
- GPT-2 Large के लिए "चुनौतीपूर्ण" (challenging) सबसेट पर, TIDE ने विषाक्तता दर (विषाक्तता > 0.5 वाले प्रॉम्प्ट का अंश) को 0.003 तक कम कर दिया, जबकि सर्वश्रेष्ठ प्रदर्शन करने वाले बेसलाइन (RAD $\beta=100$ ) के लिए यह 0.046 था और बेस मॉडल के लिए 0.639 था।
- TIDE ने सभी मॉडलों और बेंचमार्क में सबसे कम विषाक्तता दर हासिल की, जो अक्सर शून्य के करीब पहुँच जाती है।
फ्लुएंसी ट्रेड-ऑफ (Fluency Trade-off): TIDE एक अनुकूल विषाक्तता-प्रवाह (toxicity-fluency) ट्रेड-ऑफ बनाए रखता है। यह बेसलाइन्स की तुलना में तुलनीय परप्लेक्सिटी (प्रवाह) पर कम विषाक्तता प्राप्त करता है या तुलनीय विषाक्तता स्तरों पर कम परप्लेक्सिटी प्राप्त करता है।
दक्षता (Efficiency):
- ऑप्टिमाइज़ेशन लूप को आमतौर पर बहुत कम इटरेशन की आवश्यकता होती है (मॉडल और कठिनाई के आधार पर औसत $\bar{K} \approx 1.0$ से $3.17$)।
- वॉल-क्लॉक टाइम मामूली है (जैसे, RTP पर GPT-2 के लिए ~9 सेकंड), और बैच इन्फरेंस (जैसे, vLLM) का उपयोग करने पर इसका ओवरहेड मानक डिकोडिंग के सापेक्ष एक लगभग स्थिर कारक है।
मजबूती (Robustness): विधि विभिन्न विषाक्तता मूल्यांकनकर्ताओं (Perspective API बनाम Detoxify) में सामान्य होती है और कम मोंटे कार्लो सैंपल्स ( $N$ ) के साथ भी प्रभावी रहती है, जो बताता है कि प्रभावी विषहरण के लिए सटीक ग्रेडिएंट अनुमान अनिवार्य नहीं है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि TIDE बिना प्रशिक्षण या सीखने के ओवरहेड के स्केलेबल, सुरक्षित टेक्स्ट जनरेशन की ओर एक महत्वपूर्ण कदम है।

पैराडाइम शिफ्ट: यह कार्य शब्द एम्बेडिंग्स को प्रभावी नियंत्रण चर के रूप में स्थापित करता है, जो ऑटोरेग्रेसिव मॉडलों को निर्देशित करने के लिए ब्लैक-बॉक्स और जीरोथ-ऑर्डर ऑप्टिमाइज़ेशन के व्यापक उपयोग को प्रोत्साहित करता है।
व्यावहारिकता: चूंकि इसके लिए मॉडल इंटरनल या अतिरिक्त डेटासेट तक पहुंच की आवश्यकता नहीं है, इसलिए यह विधि मौजूदा इन्फरेंस स्टैक के साथ उत्पादन वातावरण (production environments) में तुरंत तैनात करने योग्य है।
सैद्धांतिक अंतर्दृष्टि: लेखक तर्क देते हैं कि एम्बेडिंग-स्पेस स्टीयरिंग के भीतर, विषहरण काफी हद तक विषाक्तता उद्देश्य के अनुमानित डिसेंट दिशा (descent direction) का पालन करके हल हो जाता है, न कि अप्रत्यक्ष हेयुरिस्टिक्स या सीखे गए सबस्पेस पर निर्भर होकर।
सीमाएँ: लेखक स्वीकार करते हैं कि विधि के कारण इटरेटिव फॉरवर्ड पास के कारण विलंबता (latency) लागत आती है (कुछ बेसलाइन्स के 1 सेकंड के मुकाबले लगभग 9 सेकंड) और स्थिरता बनाए रखने के लिए उच्च-तापमान सेटिंग्स के लिए वेरिएंस रिडक्शन तकनीकों (कई पूर्णताओं का औसत लेना) की आवश्यकता होती है। हालांकि, वे इस बात पर जोर देते हैं कि ये लागतें एक प्रशिक्षण-मुक्त, ब्लैक-बॉक्स संगत समाधान के लिए स्वीकार्य ट्रेड-ऑफ हैं।

यह शोध पत्र निष्कर्ष निकालता है कि यह दृष्टिकोण पैरामीटर एक्सेस या मध्यवर्ती गणनाओं की आवश्यकता को समाप्त करता है, जो मजबूत सुरक्षा सुधार प्राप्त करने के लिए केवल एक प्रॉक्सी ऑब्जेक्ट के मूल्यांकन पर निर्भर करता है।