Arabic Author Gender Profiling with Large Language Models: An Empirical Investigation of Capability, Calibration, Bias, and Prompt Sensitivity
यह अध्ययन अरबी लेखक लिंग प्रोफाइलिंग (author gender profiling) के लिए लार्ज लैंग्वेज मॉडल्स का पहला व्यापक मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि वे शास्त्रीय प्रणालियों की तुलना में कम प्रदर्शन करते हैं, सुव्यवस्थित परित्याग व्यवहार (abstention behavior) प्रदर्शित करते हैं, और प्रॉम्प्ट-निर्भर पूर्वाग्रहों तथा अरबी भाषा के विशिष्ट रूपात्मक त्रुटि मोड (morphological error modes) को प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब भी हम कोई संदेश पढ़ते हैं, तो हम स्वाभाविक रूप से यह अनुमान लगाने की कोशिश करते हैं कि कलम किसके हाथ में है। क्या वह एक मित्र है, एक अजनबी है, एक पुरुष है, या एक महिला? दशकों से, कंप्यूटर वैज्ञानिकों ने मशीनों को यही काम करना सिखाया है, जिसे 'ऑथर प्रोफाइलिंग' (लेखक का विवरण तैयार करना) के रूप में जाना जाता है। शब्दों के चयन, वाक्य संरचना और विषयों का विश्लेषण करके, एल्गोरिदम लेखक के जनसांख्यिकीय विवरण का अनुमान लगाने का प्रयास करते हैं। यह कौशल सुरक्षा, मार्केटिंग और ऑनलाइन मानवीय व्यवहार को समझने के लिए अत्यंत महत्वपूर्ण है। हाल के वर्षों में, एक नए प्रकार का कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) उभरा है जिसे 'लार्ज लैंग्वेज मॉडल' कहा जाता है। ये वे प्रणालियाँ हैं जिन्हें इंटरनेट से प्राप्त विशाल पाठ (टेक्स्ट) पर प्रशिक्षित किया गया है, जो मानवीय भाषा को उल्लेखनीय प्रवाह के साथ समझने और उत्पन्न करने में सक्षम हैं। अंग्रेजी में, ये प्रणालियाँ लेखक के लिंग का अनुमान लगाने में इतनी कुशल हो गई हैं कि उन्होंने पुराने, अधिक पारंपरिक कंप्यूटर प्रोग्रामों को पीछे छोड़ दिया है। वे पाठ के एक खंड को देख सकती हैं और उच्च सटीकता के साथ अनुमान लगा सकती हैं, जो अक्सर बिना किसी विशेष प्रशिक्षण के संभव होता है।
लेकिन क्या यह प्रतिभा अन्य भाषाओं में भी काम आती है? अरबी 40 करोड़ से अधिक लोगों द्वारा बोली जाती है और अपने जटिल व्याकरण के लिए प्रसिद्ध है, जहाँ लिंग, काल और किससे बात की जा रही है, यह दर्शाने के लिए शब्द अपना रूप बदल लेते हैं। यह समृद्धि इसे कंप्यूटरों के लिए एक कठिन परीक्षण बनाती है। अब तक, यह स्पष्ट नहीं था कि क्या ये शक्तिशाली नई एआई प्रणालियाँ अरबी लेखन की बारीकियों को उतनी ही अच्छी तरह से संभाल सकती हैं जितनी वे अंग्रेजी को संभालती हैं। एक शोधकर्ता ने इसका उत्तर खोजने के लिए एक नया उपकरण बनाने के बजाय, मौजूदा सबसे उन्नत प्रणालियों को परखने का निर्णय लिया। वे देखना चाहते थे कि क्या एआई अरबी लेखकों के लिंग की सही पहचान कर सकता है, वह कितनी बार यह स्वीकार करता है कि वह अनिश्चित है, और क्या इसमें कोई छिपे हुए पूर्वाग्रह हैं जो इसे गलत या अनुचित अनुमान लगाने की ओर ले जा सकते हैं।
शोधकर्ता ने वास्तविक दुनिया के डेटा का एक बड़ा संग्रह एकत्र किया: वर्ष 2018 के एक हजार ट्विटर प्रोफाइल, जिनमें से प्रत्येक में एक सौ ट्वीट शामिल थे। इनमें से आधे खाते पुरुषों के थे और आधे महिलाओं के। उन्होंने इस डेटा को दो विशाल वैश्विक प्रणालियों और एक विशेष रूप से अरबी के लिए डिज़ाइन की गई प्रणाली सहित तीन अलग-अलग अत्याधुनिक भाषा मॉडलों में डाला। उन्होंने कंप्यूटरों से पूरे प्रोफाइल को देखने और लेखक के लिंग का अनुमान लगाने को कहा। परिणाम आश्चर्यजनक थे। अंग्रेजी के विपरीत, जहाँ नई एआई प्रणालियाँ आसानी से पुराने सिस्टम को हरा देती हैं, यहाँ वे पिछड़ गईं। तीनों में से कोई भी मॉडल 2018 के सर्वश्रेष्ठ पारंपरिक कंप्यूटर प्रोग्राम से बेहतर प्रदर्शन नहीं कर सका। वास्तव में, दो वैश्विक मॉडलों का स्कोर पुराने बेंचमार्क से कम था, और अरबी-विशिष्ट मॉडल का स्कोर काफी कम था। यह सुझाव देता है कि अंग्रेजी में इन प्रणालियों की अविश्वसनीय सफलता स्वतः ही अरबी में नहीं आती है, कम से कम अतिरिक्त सहायता के बिना तो बिल्कुल नहीं।
अध्ययन ने यह भी देखा कि जब वे अनिश्चित होते हैं तो मॉडल कैसा व्यवहार करते हैं। शोधकर्ता ने कंप्यूटरों को दो प्रकार के निर्देश दिए: एक जो उन्हें यह कहने की अनुमति देता था कि यदि पाठ बहुत अस्पष्ट है तो वे "मुझे नहीं पता" कह सकें, और दूसरा जो उन्हें जबरदस्ती अनुमान लगाने के लिए मजबूर करता था। जब अनिश्चितता व्यक्त करने की अनुमति दी गई, तो मॉडल आश्चर्यजनक रूप से ईमानदार रहे। उन्होंने लगभग 84 प्रतिशत एकल ट्वीट्स पर अनुमान लगाने से इनकार कर दिया, यह पहचानते हुए कि एक छोटा संदेश विश्वसनीय निर्णय लेने के लिए पर्याप्त संकेत प्रदान नहीं करता है। जब शोधकर्ता ने इन कठिन, एकल ट्वीट्स पर फिर भी अनुमान लगाने के लिए उन्हें मजबूर किया, तो उनकी सटीकता गिरकर लगभग यादृच्छिक (रैंडम) स्तर पर पहुँच गई, जो सिक्का उछालकर निर्णय लेने से भी थोड़ा ही बेहतर था। इससे पता चला कि मॉडल अत्यधिक सतर्क नहीं थे; वे सही ढंग से पहचान रहे थे कि जानकारी अपर्याप्त थी।
शायद सबसे खुलासा करने वाली खोज पूर्वाग्रह के बारे में थी। जब मॉडलों को अंग्रेजी निर्देशों का उपयोग करके अनुमान लगाने के लिए कहा गया, तो वे लगातार "महिला" होने का अनुमान लगाने की ओर झुके, भले ही लेखक पुरुष था। यह तीनों प्रणालियों में हुआ, जो यह दर्शाता है कि कुछ लेखन शैलियों को महिलाओं के साथ जोड़ने का एक गहरा रुझान है। हालाँकि, शोधकर्ता ने इस पूर्वाग्रह को निष्प्रभावी करने का एक तरीका खोजा। जब उन्होंने मॉडलों को अनिश्चितता व्यक्त करने की अनुमति दिए बिना एक द्विआधारी (बाइनरी) विकल्प चुनने के लिए मजबूर किया, तो दो मॉडलों के लिए यह पूर्वाग्रह काफी हद तक समाप्त हो गया। यह इंगित करता है कि पूर्वाग्रह कंप्यूटर के मन में एक निश्चित नियम नहीं था, बल्कि इस बात का परिणाम था कि मॉडल अपने आत्मविश्वास को कैसे तौलता है। जब उसे अनिश्चितता महसूस हुई, तो वह एक रूढ़िवादी धारणा (स्टीरियोटाइप) की ओर झुक गया; जब उसे प्रतिबद्ध होने के लिए मजबूर किया गया, तो वह अधिक संतुलित हो गया।
अध्ययन ने अरबी के लिए विशिष्ट एक अनूठी चुनौती का भी खुलासा किया। शोधकर्ता ने पाया कि मॉडल अक्सर व्याकरण के कारण भ्रमित हो जाते थे। अरबी में, एक पुरुष जो महिला को संबोधित कर रहा है, वह महिला को संबोधित करने के लिए स्त्रीलिंग क्रिया रूपों का उपयोग कर सकता है। कंप्यूटरों ने इन व्याकरणिक संकेतों को एक महिला होने के प्रमाण के रूप में गलत समझा, बजाय इसके कि वे समझ पाते कि लेखक केवल एक महिला मित्र से बात कर रहा है। यह एक प्रकार की त्रुटि है जो अंग्रेजी में नहीं होती है, जो इन प्रणालियों द्वारा अरबी व्याकरण को समझने के तरीके में एक विशिष्ट कमी को उजागर करती है।
अंत में, टीम ने परीक्षण किया कि क्या प्रश्न की भाषा मायने रखती है। उन्होंने अरबी-विशिष्ट मॉडल को अंग्रेजी के बजाय अरबी में लिखे गए निर्देशों का उपयोग करके कार्य करने के लिए कहा। जबकि इसने उन अनुमानों की सटीकता में मामूली सुधार किया जो मॉडल ने लगाए थे, इसकी एक भारी कीमत चुकानी पड़ी: मॉडल ने बहुत अधिक ट्वीट्स पर अनुमान लगाने से इनकार कर दिया, और जब उसने अनुमान लगाया, तो उसने अपने पूर्वाग्रह को उलट दिया। "महिला" की ओर झुकने के बजाय, वह अब "पुरुष" की ओर भारी रूप से झुकने लगा। यह उलटफेर बताता है कि मॉडल की आंतरिक समझ लिंग के प्रति गहराई से जुड़ी हुई है, और न तो अंग्रेजी निर्देश और न ही अरबी निर्देश पूर्वाग्रह से मुक्त हैं।
शोधकर्ता ने निष्कर्ष निकाला कि हालांकि ये लार्ज लैंग्वेज मॉडल शक्तिशाली उपकरण हैं, वे अभी तक सावधानीपूर्वक निगरानी के बिना अरबी पाठ के विश्लेषण के लिए मानव निर्णय या पुराने तरीकों को बदलने के लिए तैयार नहीं हैं। उन्होंने पाया कि मॉडल यह जानने में अच्छे हैं कि वे कब नहीं जानते, लेकिन वे अरबी के जटिल व्याकरण के साथ संघर्ष करते हैं और उनमें महत्वपूर्ण पूर्वाग्रह होते हैं जो पूछने के तरीके के आधार पर बदलते रहते हैं। यह अध्ययन एक अनुस्मारक के रूप में कार्य करता है कि जैसे-जैसे हम इन उन्नत प्रणालियों को तैनात करते हैं, हमें उनकी विशिष्ट सीमाओं और दुनिया की समृद्ध, जटिल भाषाओं की व्याख्या करने के उनके अनूठे तरीकों को समझना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।