Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews
यह शोध पत्र एलएलएम-सहायता प्राप्त सहकर्मी समीक्षाओं (पीयर रिव्यूज) में पूर्वाग्रह की जांच करता है, यह प्रकट करते हुए कि मॉडल प्रतिष्ठित लेखकों के पक्ष में महत्वपूर्ण संबद्धता, वरिष्ठता और प्रकाशन इतिहास संबंधी पूर्वाग्रह प्रदर्शित करते हैं, और ये अंतर्निहित प्राथमिकताएं संभावित संरेखण मास्किंग (अलाइनमेंट मास्किंग) के बावजूद टोकन स्तर पर विश्लेषण किए जाने पर और भी अधिक स्पष्ट हो जाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, उच्च-दांव वाला टैलेंट शो चल रहा है जहाँ हजारों वैज्ञानिक अपना सर्वश्रेष्ठ काम प्रस्तुत कर रहे हैं ताकि उसे जजों द्वारा परखा जा सके। पारंपरिक रूप से, मानव विशेषज्ञ गुमनाम रूप से इन सबमिशनों की समीक्षा करते हैं ताकि यह तय किया जा सके कि किसे पुरस्कार (प्रकाशन) मिलेगा। लेकिन हाल ही में, आयोजकों ने एक नए प्रकार के जज को काम पर रखना शुरू कर दिया है: एक सुपर-स्मार्ट कंप्यूटर रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) समीक्षा लिखने में मदद करने के लिए।
यह शोध पत्र एक "मिस्ट्री शॉपर" जांच की तरह है। शोधकर्ता यह देखना चाहते थे कि क्या ये रोबोट जज वास्तव में निष्पक्ष हैं, या वे लेखक कौन है इसके आधार पर गुप्त रूप से पक्षपाती हैं, न कि केवल काम की गुणवत्ता के आधार पर।
यहाँ उन्होंने जो पाया है, उसे सरल भाषा में समझाया गया है:
1. "नेम-टैग" टेस्ट (संस्थान संबंधी पूर्वाग्रह)
शोधकर्ताओं ने बिल्कुल एक ही वैज्ञानिक पेपर को रोबोट जजों को कई बार दिया। एकमात्र चीज़ जो उन्होंने बदली थी, वह थी उस विश्वविद्यालय का नाम जहाँ से लेखक का संबंध बताया गया था।
- परिदृश्य A: पेपर में कहा गया कि यह एक विश्व-प्रसिद्ध, शीर्ष-स्तरीय विश्वविद्यालय (जैसे MIT या Cambridge) से आया है।
- परिदृश्य B: पेपर में कहा गया कि यह एक छोटे, कम प्रसिद्ध विश्वविद्यालय से आया है।
परिणाम: रोबोट्स ने लगातार प्रसिद्ध विश्वविद्यालयों के पेपरों को उच्च स्कोर दिए। ऐसा लग रहा था जैसे रोबोट जज ने नेम-टैग देखा, "हार्वर्ड" देखा, और तुरंत सोचा, "यह निश्चित रूप से अच्छा होगा!" बिना काम को ध्यान से पढ़े। यदि नेम-टैग में "स्मॉल स्टेट कॉलेज" लिखा था, तो रोबोट बहुत सख्त था।
छिपा हुआ ट्विस्ट: शोधकर्ताओं ने देखा कि कुछ और भी चालाकी भरा था। जब रोबोट अपने अंतिम "हाँ/ना" वाले उत्तर देते थे, तो वे कभी-कभी तटस्थ दिखने की कोशिश करते थे। लेकिन जब शोधकर्ताओं ने रोबोट की आंतरिक विचार प्रक्रिया (उनके "सॉफ्ट रेटिंग्स") को देखा, तो पूर्वाग्रह और भी अधिक था। यह वैसा ही है जैसे कोई व्यक्ति कहे, "मैं निष्पक्ष हूँ," जबकि उसका आंतरिक मन चिल्ला रहा हो, "मैं निश्चित रूप से अमीर बच्चे को पसंद करता हूँ!"
2. "रेज़्यूमे" प्रभाव (वरिष्ठता और इतिहास)
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या रोबोट्स को लेखक के अनुभव की परवाह है।
- परिदृश्य A: लेखक एक प्रसिद्ध, अनुभवी प्रोफेसर था जिसके सैकड़ों पिछले प्रकाशन थे।
- परिदृश्य B: लेखक एक युवा छात्र था जिसका कोई पिछला प्रकाशन नहीं था।
परिणाम: रोबोट्स को प्रसिद्ध प्रोफेसर बहुत पसंद आए। उन्होंने "सीनियर प्रिंसिपल्स" और लंबे कार्य-इतिहास वाले लेखकों को उच्च स्कोर दिए। वे छात्र के प्रति बहुत संदेही थे, भले ही वास्तविक पेपर की सामग्री समान थी। रोबोट्स को लगा, "अगर उन्होंने पहले भी यह किया है, तो वे इसे फिर से सही कर रहे होंगे।"
3. "जेंडर" का अनुमान (लिंग संबंधी पूर्वाग्रह)
शोधकर्ताओं ने पेपरों पर पुरुष और महिला नामों को आपस में बदला।
परिणाम: यह थोड़ा अव्यवस्थित था। कुछ रोबोट पुरुषों के पक्ष में थे, कुछ महिलाओं के, और कुछ तटस्थ थे। यह विश्वविद्यालय के पूर्वाग्रह जितना सुसंगत नहीं था, लेकिन यह फिर भी मौजूद था। यह एक सिक्के के उछाल जैसा था जहाँ सिक्का पूछने वाले रोबोट के आधार पर थोड़ा झुका हुआ होता है।
4. "बॉर्डरलाइन" का खतरा
सबसे चिंताजनक खोज उन पेपरों के बारे में थी जो "अनिश्चित स्थिति" में थे—वे जो न तो स्पष्ट रूप से अद्भुत थे और न ही स्पष्ट रूप से बहुत खराब।
- जब एक "प्रसिद्ध विश्वविद्यालय" का नाम जुड़ा होता था, तो रोबोट अक्सर अपना निर्णय "अस्वीकार" से बदलकर "स्वीकार" कर देता था।
- जब एक "कम प्रसिद्ध विश्वविद्यालय" का नाम जुड़ा होता था, तो रोबोट अक्सर एक ही पेपर के लिए अपने निर्णय को "स्वीकार" से बदलकर "अस्वीकार" कर देता था।
इसका मतलब है कि रोबोट का पूर्वाग्रह केवल एक छोटी सी पसंद नहीं थी; यह इतना मजबूत था कि एक वैज्ञानिक के करियर और उनके काम के प्रकाशित होने या न होने का निर्णय बदल सके।
बड़ी तस्वीर
शोध पत्र यह निष्कर्ष निकालता है कि ये AI जज वे निष्पक्ष, वस्तुनिष्ठ रेफरी नहीं हैं जिनकी हमें उम्मीद थी। उन्होंने इंटरनेट के वास्तविक-दुनिया के पूर्वाग्रहों को आत्मसात कर लिया है। वे ऐसा विश्वास करते हैं कि "प्रतिष्ठा = गुणवत्ता" और "अनुभव = अच्छाई," भले ही वास्तविक काम इस निष्कर्ष का समर्थन न करता हो।
लेखक चेतावनी देते हैं कि यदि हम इन रोबोट्स को बिना उनके काम की जाँच किए चलाने देंगे, तो हम केवल प्रसिद्ध लोगों और प्रसिद्ध स्कूलों के पेपर ही प्रकाशित करते रह जाएंगे, जबकि छोटे स्थानों के प्रतिभाशाली लोगों के महान विचारों को अनदेखा कर देंगे। रोबोट निष्पक्षता का "भ्रम" (hallucinating) पैदा कर रहे हैं जबकि वास्तव में वे काफी पक्षपाती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।