Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection
यह अध्ययन प्रकट करता है कि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (Large Language Models) फेक न्यूज डिटेक्शन में महत्वपूर्ण लैंगिक पूर्वाग्रह प्रदर्शित करते हैं, जो केवल वक्ता के पद के लैंगिक प्रस्तुतीकरण के आधार पर असंगत और व्यवस्थित रूप से झुके हुए सत्यता संबंधी निर्णय उत्पन्न करते हैं, जिससे स्वचालित तथ्य-जांच प्रणालियों की विश्वसनीयता और निष्पक्षता कमजोर होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक खेल लीग में एक रेफरी हैं जहाँ खिलाड़ी 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक विशाल कंप्यूटर मस्तिष्क हैं। ये मॉडल बहुत बुद्धिमान हैं क्योंकि उन्होंने इंटरनेट पर लिखा गया लगभग सब कुछ पढ़ा है, पुराने ग्रंथों से लेकर आधुनिक ट्वीट्स तक। क्योंकि वे इतना कुछ जानते हैं, इसलिए लोग उनसे समाचारों के लिए रेफरी के रूप में कार्य करने के लिए कहने लगे हैं, यह तय करने के लिए कि कोई हेडलाइन "सत्य" है या "असत्य"। लेकिन इसमें एक पेच है, क्योंकि इन मॉडल्स ने मानवीय लेखन से सीखा है, इसलिए उन्होंने हमारी कुछ मानवीय आदतें, जिसमें बोलने वाले के बारे में हमारे कुछ मूर्खतापूर्ण रूढ़िवादी विचार (stereotypes) शामिल हैं, भी अपना ली होंगी। ठीक वैसे ही जैसे एक वास्तविक रेफरी अनजाने में किसी एक टीम का पक्ष ले सकता है क्योंकि उनकी जर्सी का रंग अलग है, हमें यह जानने की आवश्यकता है कि क्या ये डिजिटल रेफरी समाचारों का न्यायपूर्ण तरीके से निर्णय ले रहे हैं, या वे इस आधार पर गुप्त रूप से पक्षपाती हैं कि बोलने वाला पुरुष जैसा लगता है, महिला जैसा, या तटस्थ (neutral) जैसा। यह शोध बिल्कुल इसी प्रश्न की गहराई में जाता है, यह पूछते हुए: यदि आप कंप्यूटर को एक ही कहानी बताते हैं लेकिन वक्ता का पद "चेयरमैन" से बदलकर "चेयरवुमन" कर देते हैं, तो क्या कंप्यूटर अपना निर्णय बदल देता है कि कहानी सत्य है या असत्य?
इस अध्ययन के पीछे के शोधकर्ताओं ने छह सबसे लोकप्रिय और शक्तिशाली AI मॉडल्स को परखने का निर्णय लिया। उन्होंने वास्तविक दुनिया के समाचार कथनों का एक प्रसिद्ध संग्रह, जिसे LIAR डेटासेट के रूप में जाना जाता है, लिया और "क्या होगा यदि" का एक चतुर खेल खेला। प्रत्येक कथन के लिए, उन्होंने तीन संस्करण बनाए: एक जहाँ वक्ता का पद तटस्थ था (जैसे "अटॉर्नी"), एक जहाँ पद स्पष्ट रूप से पुरुष प्रधान था (जैसे "काउंसिलमैन"), और एक जहाँ पद स्पष्ट रूप से महिला प्रधान था (जैसे "चेयरवुमन")। वास्तविक समाचार कहानी बिल्कुल वही रही; केवल वक्ता का लिंग बदला गया। फिर उन्होंने AI मॉडल्स से प्रत्येक कहानी के बारे में निर्णय लेने के लिए कहा कि वह सत्य है या असत्य।
परिणाम ऐसे थे जैसे किसी ऐसे रेफरी को देखना जो खिलाड़ी की वर्दी के आधार पर बार-बार अपना मन बदलता रहता है। अध्ययन में पाया गया कि सभी छह मॉडल्स में लिंग संबंधी पूर्वाग्रह (gender bias) के संकेत मिले। वास्तव में, कथनों के एक बड़े हिस्से के लिए—जो 9.79% से 35.13% के बीच था—AI ने अलग निर्णय दिया क्योंकि वक्ता की लिंग प्रस्तुति बदल गई थी। जब उन्होंने विशेष रूप से "पुरुष" और "महिला" संस्करणों की तुलना की, तो मॉडल्स ने 6.5% से 23.6% के बीच अपने उत्तरों को सत्य और असत्य के बीच बदल दिया। इसका मतलब है कि लगभग हर चार में से एक बार, AI यह तय नहीं कर सका कि एक तथ्य तथ्य है या नहीं, सिर्फ इसलिए क्योंकि बोलने वाला व्यक्ति अलग लग रहा था।
शोधकर्ताओं ने पहचान की कि यह पूर्वाग्रह दो मुख्य तरीकों से सामने आया। पहला, अस्थिरता (instability) थी, जहाँ AI बस अपना मन नहीं बना पा रहा था, और लिंग संकेत के आधार पर एक ही कहानी के लिए अलग-अलग उत्तर दे रहा था। दूसरा, दिशामूलकता (directionality) थी, जहाँ AI की एक व्यवस्थित प्राथमिकता थी। उदाहरण के लिए, छह में से पांच मॉडल्स ने एक पैटर्न दिखाया जहाँ वे किसी कथन को "असत्य" कहने की अधिक संभावना रखते थे यदि वक्ता पुरुष था, एक ऐसा पैटर्न जिसे लेखकों ने "मेल-स्केप्टिक" (पुरुष-प्रति संशयवादी) कहा है। एक मॉडल, GPT-4.1 Mini, सबसे सुसंगत और निष्पक्ष था, जिसमें सबसे कम पूर्वाग्रह दिखा, लेकिन वह भी पूर्ण नहीं था।
यह शोध पत्र तर्क देता है कि यह केवल एक छोटी सी त्रुटि नहीं है; यह विश्वास के लिए एक गंभीर समस्या है। यदि एक AI फैक्ट-चेकर किसी कहानी को असत्य बताने की अधिक संभावना रखता है सिर्फ इसलिए क्योंकि वह एक पुरुष द्वारा कही गई थी, या इसके विपरीत, तो यह समाचारों की जाँच करने के पूरे उद्देश्य को ही कमजोर कर देता है। लेखक निष्कर्ष निकालते हैं कि हालांकि ये मॉडल्स शक्तिशाली हैं, लेकिन इन लिंग संबंधी पूर्वाग्रहों को ठीक किए बिना वर्तमान में इन पर निष्पक्ष रेफरी के रूप में भरोसा नहीं किया जा सकता है। उन्होंने अपना नया, लिंग-संवर्धित (gender-augmented) डेटासेट भी जारी किया है ताकि अन्य वैज्ञानिक भविष्य में इन मॉडल्स को निष्पक्ष रेफरी बनाने के लिए प्रशिक्षित करने में मदद कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।