💬 NLP

Mimicking How Humans Interpret Out-of-Context Sentences Through Controlled Toxicity Decoding

यह शोध पत्र एक नियंत्रित विषाक्तता डिकोडिंग रणनीति प्रस्तावित करता है जो मानवीय धारणा के विभिन्न विषाक्तता स्तरों का अनुकरण करने के लिए संदर्भ-रहित वाक्यों की विविध व्याख्याएँ उत्पन्न करती है, जिससे मानव-लिखित व्याख्याओं के साथ संरेखण में सुधार होता है और मॉडल अनिश्चितता कम होती है।

मूल लेखक: Maria Mihaela Trusca, Liesbeth Allein

प्रकाशित 2026-04-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maria Mihaela Trusca, Liesbeth Allein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पार्टी में हैं और कोई जोक सुनाता है। यदि आप उस जोक के पीछे की पूरी कहानी के साथ उसे सुनते हैं, तो शायद आप हंसेंगे। लेकिन अगर आप बिना सेटअप के सिर्फ पंचलाइन सुनते हैं, तो आपको बुरा लग सकता है, या लग सकता है कि वह व्यक्ति बदतमीज है। ऑनलाइन हमेशा ऐसा ही होता है: वाक्यों को उनके संदर्भ (context) से अलग कर दिया जाता है, और लोग उनकी व्याख्या बिल्कुल अलग-अलग तरीकों से करते हैं।

यह पेपर कंप्यूटर के लिए एक मनोवैज्ञानिक सिम्युलेटर (psychological simulator) की तरह है। शोधकर्ताओं ने AI को यह सिखाने की कोशिश की है कि केवल एक अर्थ का अनुमान न लगाए, बल्कि कई संभावित अर्थों का अनुमान लगाना शुरू करे, ठीक वैसे ही जैसे असली इंसान किसी भ्रमित करने वाले या संभावित रूप से अपमानजनक वाक्य को पढ़ते समय करते हैं जब उन्हें पूरी कहानी का पता नहीं होता।

यहाँ कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करके उनके "नुस्खे" का विवरण दिया गया है:

समस्या: "खोया हुआ संदर्भ" का रहस्य

जब किसी वाक्य को संदर्भ से बाहर निकाला जाता है (जैसे कि बिना थ्रेड के शेयर किया गया ट्वीट), तो लोगों का दिमाग बहुत तेजी से सोचने लगता है। कुछ सोचते हैं, "ओह, यह तो बस एक मजाक है!" जबकि अन्य सोचते हैं, "यह नफरत भरी भाषा (hate speech) है!"

शोधकर्ता एक ऐसा AI चाहते थे जो इस मानवीय उथल-पुथल की नकल कर सके। वे केवल यह नहीं चाहते थे कि AI कहे, "यह बुरा है।" वे चाहते थे कि यह व्याख्याओं का एक पूरा मेनू तैयार करे: कुछ मासूम, कुछ व्यंग्यात्मक और कुछ वास्तव में जहरीले (toxic), ताकि यह देखा जा सके कि AI कैसे प्रतिक्रिया देता है।

समाधान: "टॉक्सिसिटी थर्मोस्टेट"

टीम ने AI के लिए एक विशेष कंट्रोल नॉब बनाया जिसे डिकोडिंग स्ट्रैटेजी (Decoding Strategy) कहा जाता है। इसे ऐसे समझें कि AI एक शेफ है जो खाना बना रहा है (टेक्स्ट जनरेट कर रहा है)। आमतौर पर, शेफ बस रेसिपी का पालन करता है। लेकिन यहाँ, उन्होंने एक टॉक्सिसिटी थर्मोस्टेट (Toxicity Thermostat) जोड़ा जो खाना पकते समय ही उसके स्वाद को एडजस्ट करता है।

उन्होंने इस थर्मोस्टेट के लिए तीन नियम निर्धारित किए:

1. "मिरर रूल" (इनपुट से मेल खाना)

विचार: यदि मूल वाक्य थोड़ा तीखा (spicy) है, तो AI के अनुमान भी थोड़े तीखे होने चाहिए। यदि मूल वाक्य हल्का है, तो अनुमान भी हल्के होने चाहिए।
उपमा: कल्पना कीजिए कि आप एक दर्पण पकड़े हुए हैं। यदि आप लाल गेंद रखते हैं, तो दर्पण लाल दिखाता है। यदि आप नीली गेंद रखते हैं, तो वह नीला दिखाता है। AI को मूल वाक्य के लहजे को "प्रतिबिंबित" करने के लिए मजबूर किया जाता है ताकि वह गलती से एक साधारण टिप्पणी को बहस में या एक गंभीर धमकी को मज़ाक में न बदल दे।

2. "लूज़ ग्रिप" नियम (गर्म इनपुट के लिए नियंत्रण ढीला करना)

विचार: शोधकर्ताओं ने इंसानों के बारे में एक दिलचस्प बात देखी: जब कोई वाक्य बहुत अधिक जहरीला (toxic) होता है, तो इंसानों की राय काफी अलग होती है। कुछ सोचते हैं कि यह सबसे बुरा है; अन्य सोचते हैं कि यह केवल अतिशयोक्ति है।
उपमा: एक रस्सी पर चलने वाले (tightrope walker) के बारे में सोचें।
- यदि जमीन समतल है (कम टॉक्सिसिटी), तो चलने वाला बहुत स्थिर और अनुमानित रहता है।
- यदि जमीन डगमगाती और खतरनाक है (उच्च टॉक्सिसिटी), तो चलने वाला अधिक डगमगाने लगता है। AI को बताया जाता है: "यदि इनपुट वाक्य वास्तव में जहरीला है, तो AI के अनुमानों को थोड़ा डगमगाने दें।" यह AI को व्याख्याओं की एक विस्तृत श्रृंखला उत्पन्न करने की अनुमति देता है, ठीक वैसे ही जैसे चीजें गरमागरम होने पर असली इंसान करते हैं।

3. "पिंग-पोंग" नियम (विविधता को बढ़ावा देना)

विचार: वे नहीं चाहते थे कि AI बार-बार एक ही व्याख्या को दोहराता रहे। वे विविधता चाहते थे।
उपमा: कल्पना कीजिए कि पिंग-पोंग खेल रहे हैं। यदि गेंद नीचे आती है, तो आप उसे ऊपर मारते हैं। यदि वह ऊपर आती है, तो आप उसे नीचे मारते हैं। AI को बताया जाता है: "यदि आपकी पिछली व्याख्या बहुत जहरीली थी, तो अगली व्याख्या को थोड़ा हल्का बनाएं। यदि पिछली व्याख्या हल्की थी, तो अगली थोड़ी तीखी बनाएं।" यह सुनिश्चित करता है कि AI विविध "क्या होगा अगर" (what-if) परिदृश्यों को प्रस्तुत करे।

यह क्यों मायने रखता है?

शोधकर्ताओं ने इसका परीक्षण तीन अलग-अलग AI मॉडल (BART, T5, और LLAMA) पर किया। उन्हें यह पता चला:

बेहतर समझ: जब AI ने इन तीन नियमों का उपयोग किया, तो उसके अनुमान वैसे ही दिखे और सुनाई दिए जैसे एक इंसान लिखता है। उसने "वाइब" (vibe) को सही पकड़ा।
कम भ्रम: इन नियमों का उपयोग करने पर AI अधिक आत्मविश्वासी महसूस हुआ (कम 'परप्लेक्सिटी')। वह अब अंधेरे में अनुमान नहीं लगा रहा था; उसके पास एक नक्शा था।
सुरक्षा बनाम वास्तविकता: आमतौर पर, हम AI को "सुरक्षित" रहने और कभी भी कुछ बुरा न कहने के लिए कहते हैं। लेकिन यह पेपर तर्क देता है कि कभी-कभी, मानवीय संघर्ष को समझने के लिए, हमें AI को विषाक्तता (toxicity) का सिमुलेशन करने की आवश्यकता होती है।
- सावधानी: आप नहीं चाहेंगे कि कस्टमर सर्विस बॉट जहरीला हो। लेकिन आप चाहेंगे कि एक कंटेंट मॉडरेटर बॉट यह कह सके, "हे, यह वाक्य कुछ लोगों द्वारा नफरत भरी भाषा के रूप में व्याख्या किया जा सकता है," ताकि वह समीक्षा के लिए फ्लैग कर सके।

बड़ी तस्वीर (The Big Picture)

यह पेपर भाषा के लिए एक क्रैश टेस्ट डमी (crash test dummy) बनाने जैसा है। AI को संदर्भ से बाहर निकले वाक्यों की विभिन्न व्याख्याएं उत्पन्न करने के लिए सिखाकर, हम बेहतर समझ सकते हैं कि ऑनलाइन गलतफहमियां कैसे होती हैं।

यह AI को बुरा बनाने के बारे में नहीं है; यह AI को जागरूक बनाने के बारे में है। यह AI को ऐसे चश्मे देने के बारे में है जो उसे यह देखने की अनुमति देते हैं कि एक ही वाक्य को कितने अलग-अलग तरीकों से बदला, गलत समझा या हथियार बनाया जा सकता है, जिससे हमें अपनी ऑनलाइन बातचीत को सुरक्षित और स्पष्ट रखने के लिए बेहतर उपकरण बनाने में मदद मिलती है।

यहाँ शोध पत्र "Mimicking How Humans Interpret Out-of-Context Sentences Through Controlled Toxicity Decoding" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑनलाइन टेक्स्ट को समझने में होने वाली गलतफहमी की चुनौती को संबोधित करता है, विशेष रूप से तब जब वाक्यों को उनके मूल संदर्भ (context) से अलग कर दिया जाता है (जो सोशल मीडिया पर एक आम घटना है)।

मुख्य मुद्दा: जब संदर्भ खो जाता है, तो पाठक एक ही वाक्य की व्याख्या बहुत अलग-अलग तरीकों से करते हैं, जिससे अक्सर हताशा या गरमागरम बहस पैदा होती है। महत्वपूर्ण बात यह है कि ये व्याख्याएँ विषाक्तता (toxicity) के स्तरों में भिन्न होती हैं; कुछ पाठक एक वाक्य को तटस्थ (neutral) मान सकते हैं, जबकि अन्य इसे शत्रुतापूर्ण या हानिकारक समझ सकते हैं।
अंतराल (The Gap): मौजूदा टेक्स्ट जनरेशन मॉडल में अक्सर इस मानवीय परिवर्तनशीलता (human variability) को सिम्युलेट करने की क्षमता का अभाव होता है। वे आमतौर पर एक ही "औसत" व्याख्या उत्पन्न करते हैं या आउटपुट के विषाक्तता स्तर को नियंत्रित करने में विफल रहते हैं, जिससे गलतफहमियों का पूर्वानुमान लगाना या अंतर्निहित निहित शत्रुता (implicit hostility) को समझना कठिन हो जाता है।
लक्ष्य: लेखकों का लक्ष्य एक एकल 'आउट-ऑफ-कॉन्टेक्स्ट' वाक्य के लिए व्याख्याओं का एक विविध सेट उत्पन्न करके मानवीय व्याख्या व्यवहार की नकल करने का एक तरीका विकसित करना है, जिसमें प्रत्येक उत्पन्न व्याख्या की विषाक्तता के स्तर को मानव पाठकों में देखी गई परिवर्तनशीलता के अनुरूप स्पष्ट रूप से नियंत्रित किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक एक मॉड्यूलर, प्लग-एंड-प्ले डिकोडिंग रणनीति प्रस्तावित करते हैं जो एक पूर्व-प्रशिक्षित भाषा मॉडल (LM) के इन्फरेंस चरण के दौरान कार्य करती है। यह दृष्टिकोण मॉडल के आर्किटेक्चर को बदलने की आवश्यकता नहीं रखता, बल्कि इसके बजाय सैंपलिंग के दौरान टोकन प्रोबेबिलिटी डिस्ट्रीब्यूशन (logits) में हेरफेर करता है।

मुख्य घटक:

विषाक्तता अनुमान (Toxicity Estimation): सिस्टम इनपुट वाक्य ( $s$ ) और संभावित टोकन ( $y_t$ ) दोनों के लिए विषाक्तता स्कोर ( $tox(\cdot) \in [0, 1]$ ) की गणना करने के लिए BERT-HateXplain मॉडल का उपयोग करता है।
डिकोडिंग कैलिब्रेशन (Decoding Calibration): मानक डिकोडिंग एल्गोरिदम (जैसे न्यूक्लियस सैंपलिंग) लागू करने से पहले, लेखक तीन विशिष्ट उद्देश्यों के आधार पर लैंग्वेज मॉडल के सॉफ्टमैक्स स्कोर को कैलिब्रेट करते हैं।

तीन उद्देश्य:

उद्देश्य 1: विषाक्तता स्तरों का मिलान करना (Alignment)
- लक्ष्य: यह सुनिश्चित करना कि उत्पन्न व्याख्या की विषाक्तता, इनपुट वाक्य की विषाक्तता के अनुरूप हो।
- तंत्र: प्रत्येक टाइम स्टेप $t$ पर, यदि उत्पन्न अनुक्रम की संचयी विषाक्तता ( $tox(y_{<t})$ ), इनपुट से कम है, तो यदि अगला टोकन विषाक्त है तो उसका स्कोर बढ़ाया जाता है। इसके विपरीत, यदि अनुक्रम बहुत अधिक विषाक्त है, तो स्कोर को दंडित (penalize) किया जाता है।
- सूत्र: $score(y_t|y_{<t}) = score(y_t|y_{<t}) \pm \lambda \cdot tox(y_t)$ ।
उद्देश्य 2: नियंत्रण को धीरे-धीरे शिथिल करना (Adaptability)
- लक्ष्य: यह स्वीकार करना कि अत्यधिक विषाक्त इनपुट वाक्य स्वाभाविक रूप से मानवीय व्याख्याओं की एक विस्तृत श्रृंखला (उच्च विचरण/variance) उत्पन्न करते हैं, जबकि तटस्थ वाक्य कम विविधता दिखाते हैं।
- तंत्र: नियंत्रण भार $\lambda$ को इनपुट विषाक्तता के आधार पर गतिशील रूप से समायोजित किया जाता है। अत्यधिक विषाक्त इनपुट के लिए, $\lambda$ को कम किया जाता है ( $\lambda = 1/(tox(s) \cdot 100)$ ), जिससे मॉडल को विविध (और संभावित रूप से अधिक विषाक्त) व्याख्याएँ उत्पन्न करने की अधिक स्वतंत्रता मिलती है। तटस्थ इनपुट के लिए, $\lambda$ को 1.0 पर रखा जाता है ताकि सख्त संरेखण (alignment) सुनिश्चित हो सके।
उद्देश्य 3: विविधता को बढ़ावा देना (Alternation)
- लक्ष्य: व्याख्याओं का एक ऐसा सेट उत्पन्न करना जो एक एकल माध्य (mean) के आसपास क्लस्टर होने के बजाय, विषाक्तता के एक स्पेक्ट्रम (कुछ हल्के, कुछ कठोर) को कवर करे।
- तंत्र: एक ह्यूरिस्टिक नियम पिछले व्याख्या के आधार पर अगली व्याख्या के लिए लक्षित विषाक्तता स्कोर को अपडेट करता है। यदि पिछली व्याख्या इनपुट की तुलना में कम विषाक्त थी, तो अगली व्याख्या के लिए लक्ष्य बढ़ा दिया जाता है, और इसके विपरीत। यह कई रन (runs) के दौरान विविध आउटपुट उत्पन्न करने के लिए मजबूर करता है।

3. प्रमुख योगदान (Key Contributions)

नवीन डिकोडिंग रणनीति: एक विषाक्तता-नियंत्रित डिकोडिंग एल्गोरिदम का परिचय जो मौजूदा LLMs के साथ "प्लग-एंड-प्ले" संगत है और बिना मूल मॉडल आर्किटेक्चर को बदले कार्य करता है।
मानव-केंद्रित मॉडलिंग: यह विधि केवल औसत को ही नहीं, बल्कि मानवीय व्याख्या की परिवर्तनशीलता को दोहराने के लिए स्पष्ट रूप से डिज़ाइन की गई है। यह उस घटना को पकड़ती है जहाँ विभिन्न पाठक एक ही टेक्स्ट को अलग-अलग स्तर की शत्रुता के साथ देखते हैं।
गतिशील नियंत्रण तंत्र: वेरिएबल $\lambda$ (उद्देश्य 2) और अल्टरनेटिंग टारगेट्स (उद्देश्य 3) का उपयोग इनपुट के प्रति निष्ठा (fidelity) और उत्पन्न व्याख्याओं की विविधता के बीच सूक्ष्म नियंत्रण प्रदान करता है।
सामग्री मॉडरेशन उपयोगिता: इनपुट विषाक्तता स्कोर को किसी भी निचले मान से बदलने की क्षमता सिस्टम को विषाक्त टेक्स्ट के लिए "स्वच्छ" (sanitized) व्याख्याएँ उत्पन्न करने में सक्षम बनाती है, जो कंटेंट मॉडरेशन टूल्स के लिए उपयोगी है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन OrigamIM डेटासेट (Reddit पोस्ट के 9,851 मानव-लिखित व्याख्याएँ) का उपयोग करके तीन मॉडलों पर किया गया: BART, T5, और LLaMA 7B।

मेट्रिक्स:
- METEOR: सिंटैक्टिक समानता (Syntactic similarity)।
- COMET: सिमेंटिक समानता (Semantic similarity - मानव प्राथमिकताओं पर प्रशिक्षित)।
- Perplexity: मॉडल अनिश्चितता।
- Spearman Correlation: उत्पन्न और मानव विषाक्तता स्कोर के बीच संरेखण।
प्रमुख निष्कर्ष:
- बेहतर संरेखण: सभी तीन उद्देश्यों को लागू करने से बेस मॉडल्स की तुलना में सिंटैक्टिक (METEOR) और सिमेंटिक (COMET) समानता में लगातार सुधार हुआ।
  - उदाहरण: LLaMA + Obj1,2,3 ने बेस मॉडल की तुलना में COMET स्कोर में 5.54% का सुधार किया।
- कम अनिश्चितता: नियंत्रित डिकोडिंग रणनीति ने पर्प्लेक्सिटी (perplexity) को कम किया, जो दर्शाता है कि इन उद्देश्यों द्वारा निर्देशित होने पर मॉडल अपने भविष्यवाणियों में अधिक आश्वस्त था।
- Variable $\lambda$ की श्रेष्ठता: प्रयोगों ने दिखाया कि स्थिर मानों की तुलना में गतिशील $\lambda$ (उद्देश्य 2) का उपयोग करने से बेहतर परिणाम मिले, जो पुष्टि करता है कि उच्च-विषाक्तता वाले इनपुट के लिए ढीले प्रतिबंधों की आवश्यकता होती है ताकि मानवीय विविधता की नकल की जा सके।
- गुणात्मक सफलता: केस स्टडीज ने प्रदर्शित किया कि मॉडल तटस्थ इनपुट के लिए गैर-विषाक्त व्याख्याएँ और विषाक्त इनपुट के लिए व्याख्याओं का एक स्पेक्ट्रम (हल्के से लेकर कठोर तक) उत्पन्न कर सकता है, जो मानवीय असहमति का प्रभावी ढंग से अनुकरण करता है।

5. महत्व और निहितार्थ (Significance and Implications)

गलतफहमी का पूर्वानुमान लगाना: विविध व्याख्याएँ उत्पन्न करके, प्लेटफॉर्म यह बेहतर ढंग से अनुमान लगा सकते हैं कि एक पोस्ट को विभिन्न उपयोगकर्ता समूहों द्वारा कैसे गलत समझा जा सकता है या विषाक्त माना जा सकता है, जिससे प्रोएक्टिव मॉडरेशन संभव होता है।
निहित शत्रुता को उजागर करना: यह विधि उन "छिपे हुए" विषाक्त अर्थों को खोजने में मदद करती है जिन्हें मानक बाइनरी विषाक्तता क्लासिफायर मिस कर सकते हैं, जो अक्सर संदर्भ-आधारित शत्रुता का पता लगाने में विफल रहते हैं।
नैतिक सूक्ष्मता: लेखक तर्क देते हैं कि हालांकि जनरेशन में विषाक्तता को बढ़ावा देना विरोधाभासी लग सकता है, लेकिन यह अनुसंधान और सुरक्षा प्रणालियों के लिए नैतिक रूप से आवश्यक है। बेहतर फिल्टर बनाने के लिए, सिस्टम को विषाक्त भाषा के पूर्ण स्पेक्ट्रम को उत्पन्न करने और पहचानने में सक्षम होना चाहिए।
भविष्य की दिशाएं: यह शोध पत्र स्वीकार करता है कि विषाक्तता एकमात्र व्याख्या का कारक नहीं है (सांस्कृतिक पृष्ठभूमि, व्यक्तिगत अनुभव भी मायने रखते हैं) और इन व्यापक संदर्भ कारकों को एकीकृत करने के लिए भविष्य के कार्य का आह्वान करता है।

संक्षेप में, यह शोध पत्र जनरेट किए गए टेक्स्ट की विषाक्तता को नियंत्रित करने के लिए एक मजबूत ढांचे को प्रस्तुत करता है ताकि मानवीय संज्ञानात्मक विविधता (cognitive diversity) को बेहतर ढंग से सिम्युलेट किया जा सके, जो ऑनलाइन संघर्ष को समझने और कम करने के लिए एक व्यावहारिक उपकरण प्रदान करता है।