Are Non-English Papers Reviewed Fairly? Language-of-Study Bias in NLP Peer Reviews
यह शोध पत्र LOBSTER डेटासेट और पहचान पद्धति को प्रस्तुत करता है जो एनएलपी (NLP) सहकर्मी समीक्षाओं में भाषा-अध्ययन संबंधी पूर्वाग्रह को व्यवस्थित रूप से चित्रित करता है, जिससे यह प्रकट होता है कि गैर-अंग्रेजी शोध पत्रों को अंग्रेजी-मात्र पत्रों की तुलना में काफी उच्च दर से नकारात्मक पूर्वाग्रह का सामना करना पड़ता है—विशेष रूप से अनुचित क्रॉस-लिंगुअल सामान्यीकरण की मांगों के रूप में।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि अकादमिक अनुसंधान (academic research) की दुनिया एक विशाल, उच्च-दांव वाले टैलेंट शो (Talent Show) की तरह है। इस शो में, वैज्ञानिक अपने नए विचार (यानी "पेपर्स") जजों (यानी "रिव्यूअर्स") के एक पैनल के सामने प्रस्तुत करते हैं। यदि जज "हाँ" कहते हैं, तो वह विचार प्रकाशित हो जाता है और मानव ज्ञान का हिस्सा बन जाता है। यदि वे "ना" कहते हैं, तो वह कूड़ेदान में चला जाता है।
लंबे समय से, हम जानते हैं कि जज पक्षपाती हो सकते हैं। वे किसी प्रतियोगी को इसलिए पसंद कर सकते हैं क्योंकि वे किसी शानदार स्कूल से गए हैं, या क्योंकि उनका लहजा (accent) अच्छा है। लेकिन इस नए अध्ययन, LOBSTER, ने एक विशिष्ट, चालाकी भरी पक्षपात का पता लगाया है जो तब होता है जब कोई प्रतियोगी अंग्रेजी के अलावा किसी अन्य भाषा में गाता है।
यहाँ बताया गया है कि उन्होंने क्या पाया, जिसे सरल शब्दों में समझाया गया है।
1. "अंग्रेजी-ओनली" नियम (जो लिखा नहीं गया था)
कल्पना कीजिए कि टैलेंट शो न्यूयॉर्क में आयोजित किया जा रहा है। जज अंग्रेजी बोलते हैं। अधिकांश प्रतियोगी अंग्रेजी में गाते हैं, और जज उन्हें उनकी गायकी, उनके सुर और उनकी भावनाओं के आधार पर परखते हैं।
लेकिन क्या होता है जब कोई प्रतियोगी कोरियाई, स्वाहिली, या प्राचीन ग्रीक में एक सुंदर गीत गाता है?
- अनुचित आलोचक: कुछ जज कहते हैं, "यह गाना बहुत अच्छा है, लेकिन यह बहुत सीमित है! आपको जापानी में भी गाना चाहिए था, या शायद फ्रेंच में। आपने अंग्रेजी में क्यों नहीं गाया? अंग्रेजी संस्करण के बिना, मैं आपकी आवाज़ पर भरोसा नहीं कर सकता।"
- समस्या: प्रतियोगी ने कभी कई भाषाओं में गाने का वादा नहीं किया था! वे बस यह दिखाना चाहते थे कि वह विशेष भाषा कितनी सुंदर है। जज खेल के बीच में ही नियम बदल रहे हैं, प्रतियोगी से वह करने की मांग कर रहे हैं जो उसने कभी करने का वादा नहीं किया था, सिर्फ इसलिए क्योंकि जज अंग्रेजी सुनने के आदी हैं।
इसे Language-of-Study Bias (भाषा-आधारित अध्ययन पूर्वाग्रह) कहा जाता है। जज गाने की भाषा को परख रहे हैं, न कि गायन की गुणवत्ता को।
2. "गोल्डन टिकट" बनाम "रेड कार्ड"
शोधकर्ताओं ने पाया कि यह पक्षपात दो तरीकों से सामने आता है, जैसे एक सिक्के के दो पहलू हों:
- रेड कार्ड (नकारात्मक पक्षपात): यह सबसे आम है। जज गैर-अंग्रेजी पेपर्स को "रेड कार्ड" (अस्वीकृति या कम स्कोर) देते हैं। वे कहते हैं, "यह बहुत सीमित है," या "यह सामान्यीकरण योग्य (generalizable) नहीं है," या "आपने यह अजीब सी भाषा क्यों चुनी?"
- उपमा: यह एक फ्रांसीसी रेस्टोरेंट में एक फूड क्रिटिक जैसा है जो कहता है, "यह सूप बेकार है क्योंकि आपने इसके साथ सुशी नहीं परोसी।" सूप को कभी भी सुशी होने के लिए नहीं बनाया गया था!
- गोल्डन टिकट (सकारात्मक पक्षपात): कभी-कभी, जज केवल इसलिए "गोल्डन टिकट" (उच्च स्कोर) दे देते हैं क्योंकि पेपर किसी दुर्लभ, कम-संसाधन वाली भाषा के बारे में है। वे कहते हैं, "ओह, आपने उस भाषा का अध्ययन किया जिसका कोई नहीं जानता? यह बहुत मूल्यवान है!" बिना यह जांचे कि विज्ञान वास्तव में कितना अच्छा है।
- उपमा: यह किसी प्रतियोगी को केवल एक अनोखी टोपी पहनने के लिए ट्रॉफी देने जैसा है, भले ही उसने बेसुरा गाया हो। यह अच्छा लगता है, लेकिन यह उन अन्य गायकों के लिए उचित नहीं है जिन्होंने वास्तव में अपने प्रदर्शन पर कड़ी मेहनत की है।
बड़ी खोज: गैर-अंग्रेजी पेपर्स के लिए "रेड कार्ड" अंग्रेजी पेपर्स की तुलना में 40 गुना अधिक बार दिए जाते हैं। "गोल्डन टिकट" बहुत दुर्लभ हैं। इसलिए, गैर-अंग्रेजी शोधकर्ताओं को पुरस्कृत करने के बजाय ज्यादातर दंडित किया जा रहा है।
3. जासूसी कार्य (LOBSTER)
इसे साबित करने के लिए, शोधकर्ताओं ने एक डिजिटल डिटेक्टिव टूल बनाया जिसे LOBSTER कहा जाता है (जो सुनने में एक केकड़े जैसा लगता है, लेकिन इसका अर्थ है Language-Of-study Bias in ScienTific pEer Review)।
- डेटासेट: उन्होंने शीर्ष विज्ञान सम्मेलनों (science conferences) से हजारों वास्तविक समीक्षाओं (reviews) का अध्ययन किया। उन्होंने मानवीय विशेषज्ञों को इन्हें पढ़ने और इन अनुचित टिप्पणियों को चिह्नित करने के लिए काम पर रखा।
- AI जासूस: उन्होंने इन अनुचित टिप्पणियों को स्वचालित रूप से पहचानने के लिए एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) को प्रशिक्षित किया। AI इसमें बहुत कुशल हो गया (87% सटीक), जिससे वह एक वैध वैज्ञानिक आलोचना और एक पक्षपाती भाषाई आलोचना के बीच अंतर करना सीख गया।
4. अन्याय के चार प्रकार
अध्ययन में पाया गया कि जब जज किसी भाषा के प्रति पक्षपाती होते हैं, तो वे आमतौर पर चार चीजें करते हैं:
- "सब कुछ करने" की मांग: "आपने कोरियाई का अध्ययन किया? वह ठीक है, लेकिन इसे काम करने के लिए सिद्ध करने हेतु आपको 50 अन्य भाषाओं पर भी परीक्षण करना होगा।" (पेपर ने यह वादा कभी नहीं किया था!)
- "अंग्रेजी ही राजा है" का नियम: "आपके परिणाम ठीक हैं, लेकिन वे तब तक वास्तविक नहीं हैं जब तक आप उन्हें अंग्रेजी डेटा के साथ सिद्ध नहीं करते।" (अंग्रेजी को एकमात्र "वास्तविक" भाषा मानना।)
- "क्यों वही एक?" पूछताछ: "आपने इस विशिष्ट भाषा को ही क्यों चुना? यह एक अजीब विकल्प लगता है।" (एक ऐसा स्पष्टीकरण मांगना जो अंग्रेजी शोधकर्ताओं को कभी नहीं देना पड़ता।)
- "बहुत छोटा" कहकर खारिज करना: "यह एक अच्छा पेपर है, लेकिन बहुत कम लोग यह भाषा बोलते हैं, इसलिए यह मायने नहीं रखता।" (विज्ञान की गुणवत्ता के बजाय भाषा बोलने वालों की संख्या के आधार पर विज्ञान का मूल्य तय करना।)
5. यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने पाया कि Data & Benchmarking पेपर्स (वे पेपर जो किसी विशिष्ट भाषा के लिए नए उपकरण या डेटासेट बनाते हैं) को सबसे अधिक निशाना बनाया जाता है। यदि आप किसी विशिष्ट भाषा के लिए शब्दकोश बनाते हैं, तो जज अक्सर कहते हैं, "यह बहुत संकुचित है।"
लेकिन यदि आप एक नया गणितीय सूत्र बनाते जो किसी भी भाषा के लिए काम करता है, तो जज भाषा के बारे में शायद ही कभी शिकायत करते हैं।
निष्कर्ष:
सिस्टम पक्षपाती है। गैर-अंग्रेजी अनुसंधान को एक अलग, अधिक सख्त मानक पर रखा जा रहा है। यह एक ऐसे फुटबॉल मैच की तरह है जहाँ अंग्रेजी टीम को एक मानक गेंद के साथ खेलने दिया जाता है, लेकिन गैर-अंग्रेजी टीम को पानी से बनी गेंद के साथ खेलने के लिए मजबूर किया जाता है, और रेफरी कहता है, "आप हार रहे हैं क्योंकि गेंद गीली है," बजाय इसके कि "आप हार रहे हैं क्योंकि आपने गोल मिस कर दिया।"
हम क्या कर सकते हैं?
शोध पत्र दो समाधान सुझाता है:
- नियम बदलें: समीक्षा दिशा-निर्देशों में स्पष्ट रूप से जजों को बताना चाहिए: "पेपर का निर्णय इस आधार पर करें कि उसने क्या करने का वादा किया था, न कि इस आधार पर कि आप उससे क्या करवाना चाहते थे।"
- AI का उपयोग करें: चूंकि AI इन पक्षपातों को पहचानने में बहुत अच्छा है, इसलिए सम्मेलन इन पक्षपाती समीक्षाओं को प्रकाशित होने से पहले ही चिह्नित करने के लिए एक "दूसरी जोड़ी आँखों" के रूप में इसका उपयोग कर सकते हैं, जिससे प्रक्रिया को सभी के लिए निष्पक्ष बनाने में मदद मिलेगी, चाहे वे किसी भी भाषा के हों।
संक्षेप में: विज्ञान को विचार की गुणवत्ता के बारे में होना चाहिए, न कि इस बारे में कि वह किस भाषा में लिखा गया है। यह अध्ययन एक ज़ोरदार अलार्म है जो कह रहा है कि अभी, गैर-अंग्रेजी भाषियों के लिए अलार्म बहुत अधिक बज रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।