IndoBias: A Dual Track Culturally Grounded Benchmark for LLMs Bias Evaluation in Indonesian Languages
यह शोध पत्र इंडोबायस (IndoBias) का परिचय देता है, जो एक सांस्कृतिक रूप से आधारित बेंचमार्क है जिसमें इंडोनेशियाई और तीन स्थानीय भाषाओं में एलएलएम (LLM) पूर्वाग्रह का आकलन करने के लिए दोहरी मूल्यांकन ट्रैक की सुविधा है, जो यह प्रकट करता है कि मौजूदा मॉडल महत्वपूर्ण प्रतिनिधित्व संबंधी अन्याय प्रदर्शित करते हैं और कॉमन क्रॉल (Common Crawl) डेटा पर प्रीट्रेनिंग करना या स्थानीय भाषाओं को शामिल करना इन पूर्वाग्रहों को बढ़ा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान रोबोट लाइब्रेरियन है जिसने इंटरनेट पर लिखी लगभग हर चीज़ पढ़ ली है। आप उस रोबोट से पूछते हैं, "सबसे अच्छा प्रकार का कर्मचारी कौन है?" या "इस गाँव के लोग कैसे हैं?" रोबोट तुरंत उत्तर देता है, लेकिन कभी-कभी, उसके उत्तर उन पुरानी, अनुचित या बढ़ा-चढ़ाकर सुनाई गई कहानियों पर आधारित होते हैं जो उसने पढ़ते समय सुनी थीं, न कि सच्चाई पर। इसे बायस (पक्षपात/पूर्वाग्रह) कहा जाता है।
लंबे समय तक, वैज्ञानिकों ने यह जाँच की है कि क्या यह रोबोट पक्षपाती है, लेकिन उन्होंने ज्यादातर केवल अंग्रेजी में प्रश्न पूछे। उन्होंने यह नहीं जाँचा कि क्या यह इंडोनेशिया के लोगों के प्रति निष्पक्ष है, जो 1,300 से अधिक विभिन्न जातीय समूहों और 700 स्थानीय भाषाओं वाला एक देश है। यह लंदन के लिए मौसम का पूर्वानुमान जाँचने और यह मानने जैसा है कि वह पूरे ग्रह के लिए सटीक है।
यह शोध पत्र IndoBias पेश करता है, जो विशेष रूप से इंडोनेशिया और उसकी स्थानीय भाषाओं (जावानीस, सुंडानी और मकासार) के लिए डिज़ाइन किया गया एक नया "निष्पक्षता परीक्षण" है। IndoBias को एक दो-भाग वाले जासूसी खेल के रूप में समझें जो यह देखने के लिए है कि रोबोट कैसे सोचता है।
जासूसी खेल के दो ट्रैक
शोधकर्ताओं ने रोबोट का परीक्षण करने के लिए दो अलग-अलग तरीके बनाए:
1. "अंतर पहचानो" ट्रैक (IndoBias-Pairs)
कल्पना कीजिए कि रोबोट को अगल-बगल दो वाक्य दिखाए जा रहे हैं:
- वाक्य A (रूढ़िवादिता): "[समूह X] के लोग [आलसी] होने के लिए जाने जाते हैं।"
- वाक्य B (विपरीत कहानी): "[समểm X] के लोग [मेहनती] होने के लिए जाने जाते हैं।"
रोबोट को चुनना होगा कि कौन सा वाक्य अधिक "स्वाभाविक" या सत्य होने की संभावना रखता है। यदि रोबोट लगातार नकारात्मक रूढ़िवादिता को चुनता है, तो वह पक्षपाती है। शोधकर्ताओं ने चार भाषाओं में इन वाक्यों के 544 जोड़े बनाए। उन्होंने पाया कि रोबोट इंडोनेशियाई में सामान्य रूढ़ियों को पकड़ने में बहुत अच्छा है, लेकिन स्थानीय भाषाओं में धर्म और राजनीति के बारे में बात करते समय यह और भी अधिक पक्षपाती हो जाता है।
2. "खुली कहानी" ट्रैक (IndoBias-QA)
यह ट्रैक ऐसा है जैसे रोबोट को किसी विशिष्ट व्यक्ति या समूह (जैसे कोई विशिष्ट जनजाति, सरकारी कार्यालय, या विश्वविद्यालय) के बारे में कहानी लिखने या फॉर्म भरने के लिए कहना।
- चुनौती: कुछ समूह प्रसिद्ध हैं और उनकी स्पष्ट रूढ़ियाँ हैं (जैसे जावानीस)। अन्य छोटे या कम ज्ञात हैं (जैसे कोरोवाई लोग)।
- निष्कर्ष: रोबोट इन समूहों के साथ बहुत अलग व्यवहार करता है। प्रसिद्ध समूहों के लिए, उसका एक "मानक" पक्षपात हो सकता है। लेकिन छोटे या हाशिए पर रहने वाले समूहों के लिए, रोबोट अक्सर बहुत अधिक अंधकारमय और कम निष्पक्ष तस्वीर पेश करता है। यह ऐसा है मानो रोबोट के पास एक "स्पॉटलाइट" है जो कुछ समूहों पर चमकती है लेकिन दूसरों को अंधेरे में छोड़ देती है, जिससे वे वास्तविक स्थिति से कहीं अधिक बुरे दिखने लगते हैं।
उन्होंने क्या खोजा?
शोधकर्ताओं ने यह देखने के लिए प्रयोग किए कि रोबोट ऐसा क्यों करता है:
- "रॉ इंटरनेट" की समस्या: उन्होंने पाया कि यदि वे रोबोट को अनफ़िल्टर्ड इंटरनेट डेटा (जैसे कॉमन क्रॉल) पर प्रशिक्षित करते हैं, तो वह अधिक पक्षपात सीखता है। यह एक बच्चे को बिना किसी फ़िल्टर के इंटरनेट के कमेंट सेक्शन पढ़ने देकर शिक्षित करने जैसा है। इसके विपरीत, विकिपीडिया या समाचार लेखों जैसे सावधानीपूर्वक संपादित स्रोतों पर प्रशिक्षित करने से थोड़ा अधिक निष्पक्ष रोबोट प्राप्त होता है।
- "स्थानीय भाषा" का आश्चर्य: आप सोच सकते हैं कि रोबोट को अधिक स्थानीय भाषाएँ सिखाने से वह अधिक निष्पक्ष बनेगा। हालाँकि, अध्ययन में पाया गया कि इसके विपरीत हुआ। जब उन्होंने प्रशिक्षण मिश्रण में स्थानीय भाषाओं (जैसे जावानीस और सुंडानी) को जोड़ा, तो रोबोट वास्तव में अधिक पक्षपाती हो गया। ऐसा लगता है कि रोबोट ने उन विशिष्ट स्थानीय बातचीत में मौजूद वास्तविक दुनिया के पूर्वाग्रहों और रूढ़ियों को आत्मसात कर लिया है।
- डिकोडर बनाम एनकोडर: अध्ययन ने विभिन्न प्रकार के रोबोट दिमागों की तुलना की। "डिकोडर" मॉडल (जो टेक्स्ट जनरेट करते हैं और चैट करते हैं) "एनकोडर" मॉडल (जो केवल टेक्स्ट समझते हैं) की तुलना में बहुत अधिक पक्षपाती थे।
बड़ी तस्वीर
मुख्य निष्कर्ष यह है कि पक्षपात 'एक आकार सबके लिए उपयुक्त' (one-size-fits-all) नहीं है। एक रोबोट अंग्रेजी में निष्पक्ष हो सकता है लेकिन इंडोनेशियाई में अनुचित, या एक जातीय समूह के बारे में निष्पक्ष लेकिन दूसरे के बारे में अनुचित हो सकता है।
लेखक चेतावनी देते हैं कि यदि हम इन रोबोटों को उनके विशिष्ट सांस्कृतिक संदर्भों में नहीं परखते हैं, तो हम अनजाने में ऐसे उपकरण बनाने का जोखिम उठाते हैं जो उन्हीं लोगों को नुकसान पहुँचा सकते हैं जिनकी मदद के लिए उन्हें बनाया गया है। उन्होंने यह बेंचमार्क (IndoBias) बनाया है ताकि डेवलपर्स सार्वजनिक रूप से जारी करने से पहले अपने रोबोट की इन विशिष्ट सांस्कृतिक वास्तविकताओं के विरुद्ध जाँच कर सकें।
संक्षेप में: आप केवल अंग्रेजी निष्पक्षता परीक्षण को इंडोनेशिया में अनुवाद नहीं कर सकते और उम्मीद नहीं कर सकते कि यह काम करेगा। आपको एक ऐसे कस्टम-मेड परीक्षण की आवश्यकता है जो देश के अद्वितीय, जटिल और विविध सामाजिक ताने-बाने को समझता हो। यह शोध पत्र वही परीक्षण प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।