💬 NLP

Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study

यह व्यापक प्रतिकृति अध्ययन (replication study) DExperts इन्फरेंस-टाइम मिटिगेशन तकनीक का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि यह स्पष्ट विषाक्तता (explicit toxicity) के विरुद्ध लगभग पूर्ण सुरक्षा प्राप्त करता है, लेकिन यह निहित घृणास्पद भाषण (implicit hate speech) के विरुद्ध भंगुर बना रहता है और इसमें 10 गुना अत्यधिक विलंबता दंड (latency penalty) का सामना करना पड़ता है, जो वास्तविक दुनिया की एआई सुरक्षा तैनाती के लिए मजबूती और दक्षता में महत्वपूर्ण अंतराल को उजागर करता है।

मूल लेखक: Mokshit Surana, Archit Rathod, Akshaj Satishkumar

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mokshit Surana, Archit Rathod, Akshaj Satishkumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास "GPT-2" नाम का एक बहुत ही प्रतिभाशाली लेकिन अप्रशिक्षित लेखक है। इस लेखक ने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। क्योंकि इंटरनेट में सुंदर कहानियाँ और भयानक, घृणास्पद भड़ास दोनों मौजूद हैं, इसलिए इस लेखक ने अनजाने में दोनों तरह से बोलना सीख लिया है। कभी-कभी, यदि आप उनसे एक हानिरहित प्रश्न पूछते हैं जैसे "पुरुषों ने शुरू किया...", तो वे उस वाक्य को हिंसक या घृणास्पद चीज़ों के साथ पूरा कर सकते हैं, भले ही आपने ऐसा करने के लिए नहीं कहा हो। इसे "टॉक्सिक डिजनरेशन" (विषैला क्षरण) कहा जाता है।

यह शोध पत्र एक टीम की तरह है जो सुरक्षा निरीक्षकों ने एक विशिष्ट "गार्डरेल" (सुरक्षा घेरा) प्रणाली को टेस्ट करने का निर्णय लिया जिसे DExperts कहा जाता है, यह देखने के लिए कि क्या यह इस लेखक को बुरा बनने से रोक सकता है, बिना उसे रोबोटिक या मूर्ख बनाए।

यहाँ उनके शोध की कहानी है, जिसे सरल भागों में विभाजित किया गया है:

1. समस्या: अप्रशिक्षित लेखक

सबसे पहले, टीम ने अप्रशिक्षित लेखक (GPT-2) को 100 वाक्य पूरे करने के लिए कहा।

परिणाम: लगभग 100 में से 96 बार, लेखक सुरक्षित था। लेकिन लगभग 100 में से 4 बार, लेखक ने कुछ विषैला (toxic) कहा।
उपमा: कल्पना कीजिए कि एक कार 96% समय बिल्कुल सही चलती है, लेकिन कभी-कभार, वह अचानक से दीवार से टकरा जाती है। हाईवे पर चलाने के लिए वह 4% का जोखिम बहुत अधिक है।

2. समाधान: "DExperts" गार्डरेल

टीम ने DExperts नामक एक चतुर तकनीक का उपयोग किया। लेखक को फिर से प्रशिक्षित करने के बजाय (जो उन्हें वर्षों तक स्कूल वापस भेजने जैसा है), उन्होंने लेखक के बगल में दो "संपादक" (editors) बिठा दिए:

अच्छा संपादक (विशेषज्ञ/Expert): एक मॉडल जिसे केवल अच्छी, विनम्र टेक्स्ट पर प्रशिक्षित किया गया है। यह कहता है, "अरे, यह शब्द बुरा लग रहा है! चलिए एक बेहतर शब्द चुनते हैं।"
बुरा संपादक (एंटी-एक्सपर्ट/Anti-Expert): एक मॉडल जिसे केवल बुरे, विषैले टेक्स्ट पर प्रशिक्षित किया गया है। यह कहता है, "ओह, यह ठीक वही शब्द है जो एक नफरत करने वाला इस्तेमाल करेगा! इसे इस्तेमाल मत करो!"

लेखक दोनों की बात सुनता है। यदि बुरा संपादक चिल्लाकर "नहीं!" कहता है और अच्छा संपादक "हाँ!" कहता है, तो लेखक शब्द को बदलकर सुरक्षित बना देता है।

सामान्य परीक्षणों पर परिणाम:
जब उन्होंने इस परीक्षण को मानक, स्पष्ट घृणा भाषण (जैसे अपशब्द या धमकियाँ) पर किया, तो यह सिस्टम पूरी तरह से काम कर गया।

सुरक्षा स्कोर: 100%। लेखक ने कभी भी कुछ विषैला नहीं कहा।
कमी: यह धीमा था।
- संपादकों के बिना, लेखक को एक वाक्य पूरा करने में 0.2 सेकंड लगे।
- संपादकों के साथ, इसमें 2.0 सेकंड लगे।
- उपमा: यह एक सुपर-फास्ट रेस कार की तरह है, लेकिन आपको हर रेड लाइट पर रुककर तीन अलग-अलग लोगों के साथ मैप चेक करना पड़ता है। यह सुरक्षित है, लेकिन आप कभी रेस नहीं जीत पाएंगे।

3. स्ट्रेस टेस्ट: "छिपी हुई" नफरत

टीम जानती थी कि वास्तविक दुनिया की नफरत हमेशा स्पष्ट नहीं होती। कभी-कभी, लोग "कोडेड भाषा" या सूक्ष्म रूढ़ियों (stereotypes) का उपयोग करते हैं जो सुनने में सभ्य लगती हैं लेकिन वास्तव में हानिकारक होती हैं। वे देखना चाहते थे कि क्या DExperts इस "छिपी हुई" नफरत को पकड़ सकता है।

उन्होंने ToxiGen नामक एक विशेष डेटासेट का उपयोग किया, जो उन वाक्यों से भरा है जो सुरक्षा फिल्टर को धोखा देने के लिए बनाए गए हैं। इन वाक्यों में बुरे शब्दों का उपयोग नहीं होता है; वे विशिष्ट समूहों के बारे में बुरी बातें कहने के लिए "अच्छे" शब्दों का उपयोग करते हैं।

छिपी हुई नफरत पर परिणाम:
गार्डरेल सिस्टम टूटने लगा।

सुरक्षा स्कोर: 100% से गिरकर 98.5% हो गया।
उपमा: संपादक उस व्यक्ति को पकड़ने में माहिर थे जो "मैं तुमसे नफरत करता हूँ!" चिल्ला रहा था, लेकिन वे उस व्यक्ति को नहीं पकड़ पाए जो सूक्ष्म अपमान फुसफुसा रहा था जो एक प्रशंसा की तरह सुनाई दे रहा था। सिस्टम ने लगभग 1.5% छिपी हुई नफरत को फिसलने दिया।
"दोहरा दंड" (Double Penalty): जब लेखक ने इन चालाकी भरे, छिपी हुई नफरत वाले वाक्यों को बनाने की कोशिश की, तो सिस्टम और भी धीमा हो गया (3 सेकंड से अधिक का समय लगा) और फिर भी नफरत को रोकने में विफल रहा। यह कड़ी मेहनत कर रहा था लेकिन काम खराब कर रहा था।

4. मुख्य निष्कर्ष

शोध पत्र तीन मुख्य बिंदुओं के साथ समाप्त होता है:

यह स्पष्ट चीजों पर काम करता है: DExperts शोर मचाने वाली, स्पष्ट नफरत को रोकने में अद्भुत है।
यह चालाकी भरी चीजों पर विफल रहता है: यह सूक्ष्म, कोडेड नफरत के साथ संघर्ष करता है जो छिपने की कोशिश करती है।
यह वास्तविक समय के उपयोग के लिए बहुत धीमा है: क्योंकि इसे एक साथ तीन अलग-अलग मॉडल चलाने पड़ते हैं, यह कंप्यूटर को 10 गुना धीमा कर देता है। यह इसे लाइव चैटबॉट्स जैसी चीजों के लिए कठिन बनाता है जहाँ लोग तुरंत जवाब की उम्मीद करते हैं।

संक्षेप में: टीम ने पाया कि एक सुरक्षा गार्डरेल जो चिल्लाने वाले बुली (धौंस दिखाने वाले) को रोकने के लिए तो उत्तम है, लेकिन वह उन बुली से भ्रमित हो जाता है जो फुसफुसाते हैं, और यह पूरी प्रक्रिया को इतना धीमा बना देता है कि शायद यह रोजमर्रा के उपयोग के लिए व्यावहारिक नहीं है। वे सुझाव देते हैं कि भविष्य में "फुसफुसाने वाले" बुली को पकड़ने के लिए हमें अधिक स्मार्ट और तेज़ तरीकों की आवश्यकता है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स में विषाक्तता (Toxicity) का मापन और शमन

समस्या विवरण

वेब-स्केल कॉर्पोरा पर प्रशिक्षित लार्ज लैंग्वेज मॉडल्स (LLMs), अपने प्रशिक्षण डेटा में मौजूद विषाक्त पैटर्न, पूर्वाग्रह और घृणास्पद भाषण को स्वाभाविक रूप से आत्मसात और पुनरुत्पादित करते हैं। यह घटना, जिसे "विषाक्त अपभ्रंश" (toxic degeneration) कहा जाता है, मॉडल्स को निर्दोष या तटस्थ प्रॉम्प्ट से भी हानिकारक सामग्री उत्पन्न करने की अनुमति देती है। जबकि स्पष्ट विषाक्तता (गालियाँ, धमकियाँ) का पता लगाना अपेक्षाकृत सरल है, वास्तविक दुनिया का घृणास्पद भाषण अक्सर अंतर्निहित विषाक्तता (implicit toxicity) के रूप में प्रकट होता है: सूक्ष्म रूढ़ियाँ (stereotypes), कूट भाषा (coded language), और सूक्ष्म आक्रामकता (microaggressions) जो सरल कीवर्ड-आधारित फिल्टरों से बच निकलती है।

वर्तमान शमन रणनीतियाँ महत्वपूर्ण ट्रेड-ऑफ का सामना करती हैं:

कंटेंट मॉडरेशन: कीवर्ड फ़िल्टरिंग संदर्भ-अंध (context-blind) होती है और इसे आसानी से दरकिनार किया जा सकता है।
रिट्यूनिंग/रिट्रेनिंग: RLHF (मानवीय फीडबैक से सुदृढीकरण शिक्षण) या फाइन-ट्यूनिंग जैसे दृष्टिकोण अत्यधिक कम्प्यूटेशनल लागत और पर्यावरणीय प्रभाव डालते हैं, बिना प्रतिकूल इनपुट के विरुद्ध सुरक्षा की गारंटी दिए।
इन्फरेंस-टाइम कंट्रोल: जनरेशन को बिना रिट्रेनिंग के नियंत्रित करने वाले तरीके एक संभावित मध्य मार्ग प्रदान करते है, लेकिन उन्हें स्पष्ट और अंतर्निहित दोनों प्रकार की विषाक्तता के विरुद्ध कठोर मूल्यांकन की आवश्यकता होती है।

कार्यप्रणाली

यह अध्ययन DExperts (डिकोडिंग-टाइम एक्सपर्ट्स) के व्यापक प्रतिकृति (replication) और स्ट्रेस-टेस्टिंग का संचालन करता है, जो एक इन्फरेंस-टाइम शमन तकनीक है। अनुसंधान को तीन व्यवस्थित चरणों में संरचित किया गया है:

चरण 1: बेसलाइन विषाक्तता मापन

मॉडल: GPT-2 Small (117M पैरामीटर्स)।
डेटासेट: RealToxicityPrompts (99,442 स्वाभाविक रूप से उत्पन्न वाक्य खंड)।
प्रक्रिया: 20 टोकन के लिए न्यूक्लियस सैंपलिंग ( $p=0.9$ , $T=1.0$ ) का उपयोग करके निरंतरता (continuations) उत्पन्न की गईं।
मूल्यांकन: गूगल के पर्सपेक्टिव API (Perspective API) का उपयोग करके स्कोर दिए गए। एक "डेंजर ज़ोन" को किसी भी ऐसे आउटपुट के रूप में परिभाषित किया गया जिसका विषाक्तता स्कोर $\ge 0.5$ था।

चरण 2: शमन प्रभावकारिता (स्पष्ट विषाक्तता)

तकनीक: DExperts प्रत्येक डिकोडिंग स्टेप पर तीन मॉडल्स के अनुमानों को जोड़कर जनरेशन को निर्देशित करता है:
- $P_{base}$ : मूल GPT-2 मॉडल।
- $P_{expert}$ : गैर-विषाक्त टेक्स्ट पर फाइन-ट्यून किया गया मॉडल।
- $P_{anti}$ : विषाक्त टेक्स्ट पर फाइन-ट्यून किया गया मॉडल।
तंत्र: संभाव्यता वितरण को इस प्रकार संशोधित किया जाता है:
$P(x_t|x_{<t}) \propto P_{base}(x_t|x_{<t}) \cdot \left(\frac{P_{expert}(x_t|x_{<t})}{P_{anti}(x_t|x_{<t})}\right)^\alpha$
जहाँ $\alpha=1.5$ स्टीयरिंग स्ट्रेंथ (steering strength) को नियंत्रित करता है।
मूल्यांकन: सुरक्षा दरों और इन्फरेंस लेटेंसी को मापने के लिए उसी RealToxicityPrompts सबसेट पर परीक्षण किया गया।

चरण 3: प्रतिकूल मजबूती (अंतर्निहित विषाक्तता)

डेटासेट: ToxiGen, एक मशीन-जनरेटेड डेटासेट जिसमें 13 अल्पसंख्यक समूहों को लक्षित करने वाले अंतर्निहित घृणास्पद भाषण वाले 274,000 बयान शामिल हैं। ये प्रॉम्प्ट्स स्पष्ट गालियों से बचने और हानिकारक रूढ़ियों को बनाए रखने के लिए डिज़ाइन किए गए हैं।
प्रक्रिया: सूक्ष्म वाक्यांशों के लिए स्थान बनाने हेतु (सूक्ष्मता के लिए 20 से बढ़ाकर) 30-टोकन की निरंतरता (continuations) का उपयोग करके DExperts के साथ जनरेशन की गई।
मूल्यांकन: स्पष्ट विषाक्तता शमन के मुकाबले चरण 2 के विरुद्ध सुरक्षा दरों और लेटेंसी की तुलना करने के लिए, ताकि "रोबस्टनेस गैप" (robustness gap) को मापा जा सके।

मुख्य परिणाम

1. बेसलाइन जोखिम (RQ1)

अनमिटिगेटेड (unmitigated) GPT-2 विषाक्त आउटपुट की ओर एक निरंतर प्रवृत्ति प्रदर्शित करता है।

सुरक्षा दर: 95.8% जनरेशन सुरक्षित थे (विषाक्तता < 0.5)।
विफलता दर: 4.2% जनरेशन "डेंजर ज़ोन" (विषाक्तता $\ge 0.5$ ) में गिरे, जो प्रोडक्शन डिप्लॉयमेंट के लिए एक गैर-मामूली जोखिम स्थापित करता है।

2. स्पष्ट विषाक्तता पर शमन सफलता (RQ2)

मानक बेंचमार्क (RealToxicityPrompts) पर, DExperts ने लगभग पूर्ण प्रभावकारिता प्रदर्शित की।

सुरक्षा दर: 100% सुरक्षा प्राप्त की, जिससे 4.2% बेसलाइन विफलता दर पूरी तरह समाप्त हो गई।
डिस्ट्रीब्यूशन शिफ्ट: विषाक्तता वितरण एक लॉन्ग-टेल आकार से बदलकर शून्य के पास एक तीव्र संकेंद्रण में बदल गया।
कम्प्यूटेशनल लागत: इन्फरेंस लेटेंसी में लगभग 10 गुना की वृद्धि हुई, जो तीन मॉडल्स को चलाने और लॉजिट्स (logits) को संयोजित करने के ओवरहेड के कारण 0.2s (बेसलाइन) से बढ़कर 2.0s प्रति जनरेशन हो गई।

3. रोबस्टनेस गैप (RQ3)

जब प्रतिकूल अंतर्निहित घृणा भाषण (ToxiGen) के विरुद्ध स्ट्रेस-टेस्ट किया गया, तो DExperts में भंगुरता (brittleness) देखी गई।

सुरक्षा दर: 100% से गिरकर 98.5% रह गई। हालांकि यह पूर्ण संख्या में उच्च है, लेकिन यह 1.5% विफलता दर स्पष्ट विषाक्तता प्रदर्शन की तुलना में महत्वपूर्ण गिरावट का प्रतिनिधित्व करती है।
विफलता मोड: मॉडल "तथ्यात्मक" रूढ़ियों, कूट भाषा और सूक्ष्म आक्रामकता वाले आउटपुट को रोकने में विफल रहा। एंटी-एक्सपर्ट मॉडल, जो मुख्य रूप से स्पष्ट Jigsaw कमेंट्स पर प्रशिक्षित था, इन अंतर्निहित पैटर्न के संपर्क में आने में असमर्थ रहा।
डबल पेनल्टी: प्रतिकूल प्रॉम्प्ट्स ने "दोहरी सजा" (double penalty) का सामना किया:
1. उच्च लेटेंसी: औसत लेटेंसी बढ़कर 3.2s (मानक DExperts लेटेंसी से 60% अधिक) हो गई क्योंकि मॉडल सुरक्षित निरंतरता खोजने के लिए संघर्ष कर रहा था।
2. उच्च विषाक्तता: बढ़ी हुई कम्प्यूटेशनल मेहनत के बावजूद, विषाक्तता का रिसाव (leakage) हुआ।

महत्व और दावे

यह अध्ययन AI सुरक्षा के क्षेत्र में स्पष्ट और अंतर्निहित विषाक्तता शमन के बीच एक महत्वपूर्ण रोबस्टनेस गैप को उजागर करके योगदान देता है।

बेंचमार्क की सीमाएं: पेपर का दावा है कि मानक बेंचमार्क (जैसे RealToxicityPromps) पर पूर्ण प्रदर्शन वास्तविक दुनिया के डिप्लॉयमेंट परिदृश्यों की गारंटी नहीं देता है जहाँ अंतर्निहित घृणा भाषण प्रचलित है।
ट्रेड-ऑफ क्वांटिफिकेशन: यह सुरक्षा और लेटेंसी के बीच के ट्रेड-ऑफ का अनुभवजन्य प्रमाण प्रदान करता है, यह नोट करते हुए कि 10x लेटेंसी पेनल्टी वास्तविक समय के अनुप्रयोगों (जैसे चैटबॉट्स, ऑटो-कंप्लीट) के लिए निषेधात्मक हो सकती है।
सामान्यीकरण विफलता (Generalization Failure): अध्ययन पहचानता है कि स्पष्ट विषाक्तता प्रशिक्षण डेटा पर निर्भर इन्फरेंस-टाइम स्टीयरिंग विधियां सूक्ष्म, प्रतिकूल घृणा भाषण के लिए सामान्यीकरण करने में विफल हो सकती हैं, जो अत्यधिक कम्प्यूटेशनल लागत के बिना विविध घृणा पैटर्न को संभालने के लिए अधिक परिष्कृत दृष्टिकोण की आवश्यकता का सुझाव देती है।

लेखक इस बात पर जोर देते हैं कि हालांकि DExperts स्पष्ट विषाक्तता के लिए प्रभावी है, लेकिन अंतर्निहित घृणा भाषण के विरुद्ध इसकी भंगुरता उन भविष्य के कार्यों की आवश्यकता को रेखांकित करती है जो कम्प्यूटेशनल रूप से व्यावहारिक और प्रतिकूल, कूट भाषा के विरुद्ध मजबूत हो सकें।