तकनीकी सारांश: विषाक्तता का पता लगाना संदर्भजन्य हानि को मापना चाहिए, न कि पाठ-अंतर्निहित बुराई को

1. समस्या विवरण

वर्तमान विषाक्तता पहचान प्रणालियाँ एक त्रुटिपूर्ण अमूर्तीकरण (abstraction) पर निर्भर करती हैं: वे विषाक्तता को अलग-थलग पाठ स्ट्रिंग्स के एक अंतर्निहित गुण ($y = f(x)$) के रूप में मानती हैं। यह दृष्टिकोण संचार संबंधी हानि के महत्वपूर्ण निर्धारकों—जैसे कि वक्ता, श्रोता, संवादात्मक इतिहास, मानक परिवेश और प्रतिक्रिया—को एक एकल विसंदर्भित (decontextualized) भविष्यवाणी में समाहित कर देता है।

यह शोध पत्र इस अमूर्तीकरण के परिणामस्वरूप होने वाली दो मुख्य विफलताओं की पहचान करता है:

• वस्तु की समस्या (The Object Problem): विषाक्तता की कोई स्थापित परिभाषा नहीं है। कानूनी, प्लेटफॉर्म और शैक्षणिक समुदाय ओवरलैपिंग लेकिन गैर-तुल्य धारणाओं (जैसे, "घृणित", "दुर्व्यवहारपूर्ण", "असभ्य") का उपयोग करते हैं। फलस्वरूप, एक ही अभिव्यक्ति कानूनी रूप से संरक्षित हो सकती है, नीति के तहत हटाने योग्य हो सकती है, और डेटासेट के आधार पर विषाक्त और गैर-विषाक्त दोनों लेबल की जा सकती है, जिससे बेंचमार्क प्रगति सुरक्षा का एक भ्रामक संकेतक बन जाती है।
• प्रॉक्सी की समस्या (The Proxy Problem): विषाक्तता को 'टेक्स्ट-टू-लेबल' मैपिंग के रूप में संचालित करके, डिटेक्टर स्थित (situated) संचार संबंधी हानि को पकड़ने में विफल रहते हैं। इससे व्यवस्थित त्रुटियां होती हैं: बोलियों या पुनरुद्धारित (reclaimed) भाषा को अत्यधिक फ्लैग करना (गलत सकारात्मक/false positives) और कोडित, व्यावहारिक या संदर्भ-निर्भर दुर्व्यवहार को चूक जाना (गलत नकारात्मक/false negatives)। इसके अलावा, ये प्रणालियाँ अर्थ-संरक्षण परिवर्तनों और प्रतिकूल हमलों (adversarial attacks) के तहत भंगुर (brittle) होती हैं।

लेखकों का तर्क है कि विसंदर्भित लेबल पर बेंचमार्क सटीकता अक्सर मॉडल की वास्तविक दुनिया के, स्थित वातावरण में हानि को कम करने की क्षमता के बजाय डेटासेट-विशिष्ट एनोटेशन परंपराओं को सीखने की क्षमता को दर्शाती है।

2. कार्यप्रणाली और ढांचा: प्रासंगिक तनाव ढांचा (Contextual Stress Framework - CSF)

इन मुद्दों को संबोधित करने के लिए, लेखक कॉन्टेक्स्टुअल स्ट्रेस फ्रेमवर्क (CSF) प्रस्तावित करते हैं, जो विषाक्तता को पाठ के गुण के रूप में नहीं, बल्कि एक प्रासंगिक संबंध के रूप में पुनर्परिभाषित करता है।

मुख्य परिभाषाएं

• विषाक्तता (Toxicity): इसे एक संवादात्मक कृत्य, एक व्याख्या करने वाले श्रोता और एक मानक परिवेश के बीच एक संबंध के रूप में परिभाषित किया गया है, जहाँ एक कथित मानक उल्लंघन तनाव या व्यवधान उत्पन्न करता है।
• विषाक्त भाषण (Toxic Speech): वह भाषण जो विशिष्ट व्याख्या के संदर्भ में स्वीकृत नैतिक या संचार संबंधी मानदंडों के कथित उल्लंघन के माध्यम से तनाव या व्यवधान उत्पन्न करता है।

गणितीय सूत्र (Mathematical Formulation)

ढांचा एक संवादात्मक घटना को $e = (x, C, A)$ के रूप में मॉडल करता है, जहाँ $x$ कृत्य है, $C$ संदर्भ है, और $A$ श्रोता है।

1. कथित मानक उल्लंघन ($\nu$): वह डिग्री जिस तक एक श्रोता सदस्य किसी घटना को प्रासंगिक मानदंडों का उल्लंघन मानता है। इसे कथित उल्लंघन के रूप में परिभाषित किया गया है, न कि वस्तुनिष्ठ नैतिक सत्य के रूपas।
2. तनाव प्रतिक्रिया ($\sigma$): श्रोता सदस्य में उत्पन्न तनाव या व्यवधान।
3. व्यक्तिगत विषाक्तता ($\tau$): एक फलन $g(\nu, \sigma)$ जो कथित उल्लंघन और तनाव को जोड़ता है। यह फलन दोनों तर्कों में मोनोटोनिक (monotone) है और यदि दोनों में से कोई भी घटक अनुपस्थित है तो विषाक्तता को लगभग शून्य असाइन करता है।
4. घटना-स्तरीय विषाक्तता ($T$): प्रासंगिक श्रोता के बीच व्यक्तिगत विषाक्तता का एक समुच्चय (aggregate), जिसे एक्सपोजर, प्रासंगिकता या संवेदनशीलता जैसे कारकों द्वारा भारित (weighted) किया जाता है।

मापन रणनीति

शोध पत्र पाठ-अंतर्निहित जोखिम (लेक्सिकल संकेत) और प्रतिक्रिया-आधारित व्यवधान (अवलोकन योग्य तनाव) के बीच अंतर करता है। ऑनलाइन NLP प्रणालियों के लिए, जहाँ शारीरिक डेटा उपलब्ध नहीं होता है, ढांचा तनाव के लिए व्यवहार संबंधी प्रॉक्सी का उपयोग करने का प्रस्ताव करता है, जैसे कि रिप्लाई एस्केलेशन (reply escalation), वापसी (withdrawal), स्वर में बदलाव, या प्रतिक्रियाओं में भावनात्मक भाषा।

3. प्रमुख योगदान

A. सैद्धांतिक पुनर्गठन (Theoretical Reframing)

यह शोध पत्र क्षेत्र के ध्यान को पाठ वर्गीकरण से बदलकर प्रासंगिक हानि मापन की ओर ले जाता है। यह तर्क देता है कि संदर्भ केवल भविष्यवाणी सटीकता में सुधार के लिए एक सहायक विशेषता नहीं है, बल्कि यह लक्षित चर (target variable) का एक अभिन्न अंग (constitutive element) है। विषाक्तता पाठ, श्रोता और मानदंडों के बीच परस्पर क्रिया का एक उभरता हुआ गुण है।

B. कॉन्टेक्स्टुअल स्ट्रेस फ्रेमवर्क (CSF)

CSF निम्नलिखित को अलग करने के लिए एक औपचारिक संरचना प्रदान करता है:

• पाठ-अंतर्निहित संकेत।
• प्रासंगिक धारणाएं।
• श्रोता की विशेषताएं।
• कथित मानक उल्लंघन।
• प्रतिक्रिया/तनाव संकेत।
• अनिश्चितता।
• नीति नियम।

C. CSF-Eval: एक नया मूल्यांकन एजेंडा

लेखक CSF-Eval प्रस्तावित करते हैं, जो सिंगल-लेबल सटीकता से आगे बढ़कर एक मापन वेक्टर $M(e) = (r_{text}, \hat{\nu}, \hat{\sigma}, u, \pi)$ आउटपुट करने की मांग करता है, जो दर्शाता है:

• $r_{text}$: पाठ-अंतर्निहित जोखिम।
• $\hat{\nu}$: अनुमानित कथित मानक उल्लंघन।
• $\hat{\sigma}$: अनुमानित तनाव/व्यवधान।
• $u$: आंशिक अवलोकन के तहत अनिश्चितता।
• $\pi$: नीति अनुशंसा (स्पष्ट रूप से अलग की गई)।

CSF-Eval प्रणालियों का पांच विरोधाभासी स्लाइस (contrastive slices) के माध्यम से मूल्यांकन करता है:

1. समान पाठ, भिन्न संदर्भ: यह परीक्षण करना कि क्या सिस्टम यह पहचानता है कि समान शब्द श्रोता और सेटिंग के आधार पर अलग-अलग कार्य करते हैं।
2. भिन्न रूप, समान हानि: यह परीक्षण करना कि क्या सिस्टम स्पष्ट विषाक्त संकेतों पर निर्भर रहने के बजाय कोडित या व्यावहारिक दुर्व्यवहार का पता लगाता है।
3. अनुपस्थित संदर्भ: यह परीक्षण करना कि क्या सिस्टम पूर्ण संदर्भ के अभाव में आत्मविश्वास से लेबल देने के बजाय अनिश्चितता व्यक्त करता है या इससे बचता है।
4. प्रतिक्रिया और व्यवधान संकेत: यह परीक्षण करना कि क्या सिस्टम व्यवहार संबंधी साक्ष्य (जैसे एस्केलेशन) को व्यवधान के शोर वाले साक्ष्य के रूप में उपयोग करता है।
5. मापन-नीति पृथक्करण: यह परीक्षण करना कि क्या सिस्टम हानि के आकलन और नीति लागू करने के बीच अंतर करता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखक पाठ-अंतर्निहित विषाक्तता और प्रतिक्रिया-आधारित व्यवधान के बीच अंतर को प्रदर्शित करने के लिए r/BlackPeople-Twitter सबरेडिट के डेटा का उपयोग करते हुए एक दृष्टांत प्रोब (illustrative probe) प्रदान करते हैं।

• कार्यप्रणाली: उन्होंने OpenAI मॉडरेशन API और Google Perspective API (पाठ-अंतर्निहित डिटेक्टर) की तुलना PONOS (Proportion of Negative Observed Signals) से की, जो नकारात्मक प्रतिक्रियाओं को व्यक्त करने वाले रिप्लाई के अनुपात को मापने वाला एक मीट्रिक है।
• निष्कर्ष:
  • पाठ-अंतर्निहित स्कोर और PONOS के बीच एक कमजोर सहसंबंध ($\rho \approx 0.20$) पाया गया।
  • इसके विपरीत, दोनों पाठ-अंतर्निहित API एक दूसरे के साथ दृढ़ता से सह-संबंधित थे ($\rho \approx 0.87$)।
  • क्वाड्रेंट विश्लेषण:
    • LH (कम PONOS, उच्च पाठ विषाक्तता): 14.5% पोस्ट को ओवर-फ्लैग किया गया। इनमें अक्सर इन-ग्रुप सॉलिडैरिटी (in-group solidarity), पुनरुद्धारित भाषा, या बोली संबंधी हास्य (जैसे, "That's my n***a!") शामिल थे।
    • HL (उच्च PONOS, कम पाठ विषाक्तता): 14.4% पोस्ट छूट गए। इनमें व्यंग्य (sarcasm), व्यावहारिक शत्रुता (pragmatic antagonism), या संदर्भ-विशिष्ट मानक उल्लंघन शामिल थे जिनमें स्पष्ट अपशब्दों का अभाव था।
  • निष्कर्ष: पाठ-अंतर्निहित जोखिम और प्रतिक्रिया-आधारित व्यवधान अलग-अलग मात्राएँ हैं। वर्तमान डिटेक्टर व्यवस्थित रूप से वास्तविक सामुदायिक व्यवधान के साथ संरेखित होने में विफल रहते हैं, विशेष रूप से बोली-समृद्ध या पुनरुद्धारित भाषा के संदर्भों में।

5. महत्व और दावे

शोध पत्र का दावा है कि विषाक्तता पहचान को डेटासेट लेबल की भविष्यवाणी करने से बदलकर स्थित संचार संबंधी हानि को मापने की ओर विकसित होना चाहिए। इसका महत्व इस प्रकार है:

1. मापन लक्ष्य को ठीक करना: यह तर्क देता है कि सुरक्षा-महत्वपूर्ण प्रणालियाँ यह दिखावा नहीं कर सकतीं कि अलग-थलग पाठ पर्याप्त है। पाठ जोखिम को प्रतिक्रिया से अलग करके, CSF समझाता है कि वर्तमान मॉडल बोलियों को ओवर-फ्लैग क्यों करते हैं और व्यावहारिक दुर्व्यहार को क्यों चूक जाते हैं।
2. अनिश्चितता को संचालित करना: यह प्रस्ताव देता है कि "अनुपस्थित संदर्भ" को एक विफलता स्थिति के रूप में माना जाना चाहिए, जिसके लिए सिस्टम को आत्मविश्वासपूर्ण, संभावित रूप से हानिकारक लेबल बनाने के बजाय अनिश्चितता व्यक्त करने या इससे बचने की आवश्यकता होती है।
3. मापन और प्रवर्तन को अलग करना: यह हानि के आकलन (मापन) को सामग्री को हटाने या डाउन-रैंक करने (नीति) से अलग करने की वकालत करता है, जिससे अधिक पारदर्शी और जवाबदेह मॉडरेशन संभव हो सके।
4. बेंचमार्क सुधार: यह समुदाय से CSF-Eval मानकों को अपनाने का आह्वान करता है, जिसमें बेंचमार्क के लिए कुल सटीकता के बजाय स्लाइस-स्तरीय प्रदर्शन (जैसे, संदर्भ परिवर्तन, डेटा की कमी) की रिपोर्ट करना और यह स्पष्ट रूप से दस्तावेजीकरण करना आवश्यक है कि किसका दृष्टिकोण और कौन से प्रासंगिक संकेत प्रतिनिधित्व में हैं।

लेखक एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि विषाक्तता को पूरी तरह से मापा नहीं जा सकता है और वास्तविक समय में तैनाती के लिए पूर्ण संदर्भ अक्सर उपलब्ध नहीं होता है। हालांकि, उनका तर्क है कि आंशिक अवलोकन को स्वीकार करना और अनिश्चितता को मॉडल करना सुरक्षित, अधिक मजबूत मॉडरेशन सिस्टम की दिशा में एक आवश्यक कदम है।