Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?

तकनीकी सारांश: घृणा भाषण (Hate Speech) का पता लगाने में निष्पक्षता और व्याख्यात्मकता को जोड़ना

शीर्षक: निष्पक्षता और व्याख्यात्मकता को जोड़ना: क्या इनपुट-आधारित स्पष्टीकरण घृणा भाषण का पता लगाने में निष्पक्षता को बढ़ावा दे सकते हैं?
वेन्यू: ICLR 2026

1. समस्या विवरण (Problem Statement)

प्राकृतिक भाषा प्रसंस्करण (NLP) मॉडल, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs), अक्सर अपने प्रशिक्षण डेटा में मौजूद सामाजिक पूर्वाग्रहों (जैसे जाति, लिंग, धर्म) को दोहराते और बढ़ाते हैं। घृणा भाषण का पता लगाने (hate speech detection) जैसे महत्वपूर्ण कार्यों में, ये पूर्वाग्रह अनुचित परिणामों की ओर ले जाते हैं, जैसे कि हाशिए पर रहने वाले समूहों की सामग्री को अत्यधिक चिह्नित करना।

जबकि व्याख्यात्मकता (explainability) (एक मॉडल भविष्यवाणी क्यों करता है, इसे समझना) सैद्धांतिक रूप से निष्पक्षता (fairness) (समान व्यवहार सुनिश्चित करना) से जुड़ी हुई है, लेकिन इनके बीच का संबंध अच्छी तरह से समझ में नहीं आया है। मौजूदा शोध काफी हद तक गुणात्मक (qualitative) है। इस बात के संबंध में बड़े पैमाने पर मात्रात्मक साक्ष्य की कमी है कि क्या इनपुट-आधारित स्पष्टीकरण (rationales) विश्वसनीय रूप से निम्नलिखित कार्य कर सकते हैं:

1. पूर्वाग्रही भविष्यवाणियों का पता लगाना (Detect)।
2. विकास के दौरान सबसे निष्पक्ष मॉडलों का चयन (Select) करना।
3. प्रशिक्षण प्रक्रिया के दौरान पूर्वाग्रह को कम करना (Mitigate)।

2. कार्यप्रणाली (Methodology)

लेखक दो प्रमुख आर्किटेक्चर (एन्कोडर-ओनली जैसे BERT/RoBERTa और डिकोडर-ओनली जैसे Llama/Qwen) और दो प्रमुख डेटासेट्स (Civil Comments और Jigsaw) का उपयोग करके एक व्यवस्थित मात्रात्मक अध्ययन करते हैं। वे तीन प्रकार के पूर्वाग्रहों पर ध्यान केंद्रित करते हैं: जाति, लिंग और धर्म।

प्रमुख कार्यप्रणाली घटक:

• स्पष्टीकरण विधियाँ (Explanation Methods): वे इनपुट-आधारंड स्पष्टीकरणों के 16 वेरिएंट्स का मूल्यांकन करते हैं, जिनमें ग्रेडिएंट-आधारित (Integrated Gradients), परटर्बेशन-आधारित (Occlusion, KernelSHAP), और अटेंशन-आधारित विधियाँ शामिल हैं।
• निष्पक्षता मेट्रिक्स (Fairness Metrics): वे ग्रुप फेयरनेस (Group Fairness) (सटीकता, FPR और FNR में विसंगतियाँ) और इंडिविजुअल फेयरनेस (Individual Fairness) (इंडिविजुअल अनफेयरनेस/IU स्कोर, जो यह मापता है कि संवेदनशील पहचान शब्द को बदलने पर भविष्यवाणी कितनी बदल जाती है) का उपयोग करते हैं।
• अनुसंधान ढांचा (Research Framework):
  • RQ1 (Detection): वे फेयरनेस कोरिलेशन (Fairness Correlation) की गणना करते हैं—एक स्पष्टीकरण के "संवेदनशील टोकन निर्भरता स्कोर" और मॉडल के "इंडिविजुअल अनफेयरनेस" के बीच पियर्सन सहसंबंध (Pearson correlation)।
  • RQ2 (Selection): वे परीक्षण करते हैं कि क्या वैलिडेशन-सेट स्पष्टीकरण मेट्रिक्स टेस्ट-सेट निष्पक्षता के लिए सर्वश्रेष्ठ मॉडलों को रैंक या चुन सकते हैं (Spearman’s $\rho$ और MRR@1 का उपयोग करके)।
  • RQ3 (Mitigation): वे एक्सप्लेनेशन-बेस्ड रेगुलराइजेशन (Explanation-based Regularization) लागू करते हैं, जिसमें प्रशिक्षण के दौरान संवेदनशील टोकनों पर मॉडल की निर्भरता को कम करने के लिए लॉस फंक्शन में एक पेनल्टी टर्म ($\mathcal{L}_{debias}$) जोड़ा जाता है।

3. प्रमुख योगदान (Key Contributions)

• प्रथम व्यवस्थित मात्रात्मक विश्लेषण: यह पेपर घृणा भाषण के संदर्भ में व्याख्यात्मकता और निष्पक्षता के बीच पहले बड़े पैमाने पर अनुभवजन्य सेतु (empirical bridge) प्रदान करता है।
• कार्यप्रणाली वर्गीकरण (Methodological Taxonomy): यह वर्गीकृत करता है कि कौन से स्पष्टीकरण परिवार (जैसे, L2-आधारित बनाम मीन-आधारित) विशिष्ट निष्पक्षता कार्यों के लिए प्रभावी हैं।
• मजबूती परीक्षण (Robustness Testing): अध्ययन स्पष्टीकरणों की "डीबायसिंग" (debiasing) के विरुद्ध स्थिरता का परीक्षण करता है (यह सुनिश्चित करने के लिए कि वे केवल पूर्वाग्रह को छिपा नहीं रहे हैं) और उनकी तुलना LLM-as-a-judge प्रतिमानों से करता है।
• हाइब्रिड रणनीतियाँ: वे प्रदर्शित करते हैं कि पारंपरिक डीबायसिंग (जैसे काउंटरफैक्टुअल डेटा ऑग्मेंटेशन) को स्पष्टीकरण-आधारित रेगुलराइजेशन के साथ मिलाने से बेहतर परिणाम मिलते हैं।

4. मुख्य परिणाम (Key Results)

• RQ1 (Detection): सफल। इनपुट-आधारित स्पष्टीकरण पूर्वाग्रही भविष्यवाणियों की पहचान करने में अत्यधिक प्रभावी हैं। विशेष रूप से, ऑक्लूजन-आधारित (Occlusion-based) और L2-नॉर्म आधारित ग्रेडिएंट विधियाँ (जैसे Grad L2, IxG L2) उच्च, सांख्यिकीय रूप से महत्वपूर्ण निष्पक्षता सहसंबंध दिखाते हैं। उल्लेखनीय रूप से, ये विधियाँ पूर्वाग्रह का पता लगाने में LLMs से बेहतर प्रदर्शन करती हैं।
• RQ2 (Selection): असफल। स्पष्टीकरण स्वचालित मॉडल चयन के लिए अविश्वसनीय हैं। वे सरल वैलिडेशन-सेट निष्पक्षता बेसलाइनों की तुलना में लगातार सबसे निष्पक्ष मॉडलों को रैंक करने या चुनने में विफल रहते हैं। यह डिकोडर-ओनली मॉडल्स के लिए विशेष रूप से सत्य है।
• RQ3 (Mitigation): सफल। प्रशिक्षण के दौरान संवेदनशील टोकन निर्भरता को कम करना प्रभावी रूप से पूर्वाग्रह (विशेष रूप से फॉल्स नेगेटिव रेट विसंगतियों) को कम करता है, जबकि कार्य सटीकता के साथ एक मजबूत ट्रेड-ऑफ बनाए रखता है। इंटीग्रेटेड ग्रेडिएंट्स (L2) और अटेंशन-आधारित विधियों ने सबसे मजबूत डीबायसिंग प्रदान की।
• फेथफुलनेस बनाम फेयरनेस (Faithfulness vs. Fairness): दिलचस्प बात यह है कि अध्ययन में किसी स्पष्टीकरण की "फेथफुलनेस" (यह कितनी सटीक रूप से मॉडल के आंतरिक तर्क को दर्शाता है) और उसकी "फेयरनेस कोरिलेशन" के बीच कोई स्पष्ट संबंध नहीं पाया गया। एक विधि फेथफुल हो सकती है लेकिन पूर्वाग्रह का पता लगाने में खराब हो सकती है, और इसके विपरीत भी।

5. महत्व (Significance)

यह कार्य उन डेवलपर्स के लिए एक रोडमैप प्रदान करता है जो उच्च-जोखिम वाले NLP सिस्टम बना रहे हैं। यह स्पष्ट करता है कि जबकि स्पष्टीकरण ऑडिटिंग (मौजूदा पूर्वाग्रह का पता लगाने) और प्रशिक्षण (पूर्वाग्रह को कम करने) के लिए शक्तिशाली उपकरण हैं, उनका उपयोग वैलिडेशन चरण के दौरान मॉडल चयन के प्रॉक्सी के रूप में नहीं किया जाना चाहिए।

निष्कर्ष "मास्किंग" (masking) के विरुद्ध चेतावनी भी देते हैं: लेखक दिखाते हैं कि भले ही मॉडल्स को कम पूर्वाग्रही होने के लिए प्रशिक्षित किया गया हो, फिर भी कुछ मजबूत स्पष्टीकरण विधियाँ (जैसे ऑक्लूजन) शेष अनफेयरनेस का पता लगाने के लिए डीबायसिंग के "पार देख सकती" हैं, जिससे यह सुनिश्चित होता है कि न्यूनीकरण (mitigation) के दौरान पारदर्शिता खो न जाए।