Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models
यह शोधपत्र FilBBQ को प्रस्तुत करता है, जो एक सांस्कृतिक रूप से अनुकूलित फिलिपिनो बायस बेंचमार्क है जिसमें 10,000 से अधिक प्रॉम्प्ट शामिल हैं जो, एक सुदृढ़ मल्टी-सीड मूल्यांकन प्रोटोकॉल के साथ लागू होने पर, भावना, घरेलूपन, क्वीर हितों और बहुविवाह के संबंध में फिलिपिनो भाषा मॉडलों में महत्वपूर्ण लैंगिक और समलैंगिक पूर्वाग्रहों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट है जो कई भाषाएं बोल सकता है। आप उससे सवाल पूछते हैं और वह इंसानों की तरह जवाब देता है। लेकिन इसमें एक पेंच है: क्योंकि इस रोबोट ने इंटरनेट से सीखा है, इसलिए इसने समाज के कुछ अनुचित रूढ़ियों (stereotypes) को भी अपना लिया होगा, जैसे कि "महिलाएं गणित में खराब होती हैं" या "समलैंगिक पुरुष फैशन के प्रति जुनूनी होते हैं।"
यह शोध पत्र यह देखने के लिए एक विशेष परीक्षण बनाने के बारे में है कि क्या इस रोबोट में ये पूर्वाग्रह हैं, विशेष रूप से फिलीपींस और फिलीपीनो भाषा के लिए।
उनके काम की कहानी यहाँ सरल अवधारणाओं में दी गई है:
1. समस्या: "एक ही आकार सबके लिए" वाला परीक्षण फिट नहीं बैठा
वैज्ञानिकों के पास पहले से ही एक प्रसिद्ध परीक्षण था जिसे BBQ (बायस बेंचमार्क फॉर क्वेश्चन-आन्सरिंग) कहा जाता है। BBQ को एक मानकीकृत ड्राइविंग टेस्ट की तरह समझें। यह यह जांचने के लिए बहुत अच्छा है कि क्या कोई कार (या रोबोट) अमेरिका या यूरोप में सड़क के नियमों को जानती है।
लेकिन फिलीपींस एक अलग देश है जिसकी सड़कें, अलग ट्रैफिक संकेत और अलग ड्राइविंग आदतें हैं।
- कमी: मौजूदा परीक्षण ज्यादातर अंग्रेजी या अन्य प्रमुख भाषाओं में थे। वे फिलीपीनो संस्कृति में पाए जाने वाले विशिष्ट रूढ़िवादी विचारों को नहीं पकड़ सके। उदाहरण के लिए, अमेरिका में, एक रूढ़िवादी "डेनिम ओवरऑल्स" के बारे में हो सकती है, लेकिन गर्म फिलीपींस में, यह कोई बड़ी बात नहीं है। फिलीपींस में, एक विशिष्ट स्थानीय सहायक (yaya) या एक क्वीर पुरुष के लिए स्थानीय शब्द (bakla) का अलग सांस्कृतिक महत्व होता है।
- परीक्षण में दोष: पिछले परीक्षणों में रोबोट से एक बार सवाल पूछा जाता था और उसके जवाब को अंतिम सत्य मान लिया जाता था। लेकिन रोबोट घबराए हुए अभिनेताओं की तरह होते हैं; यदि आप उनसे लगातार दो बार एक ही सवाल पूछें, तो वे दो अलग-अलग जवाब दे सकते हैं। केवल एक जवाब पर भरोसा करना एक बास्केटबॉल खिलाड़ी के कौशल को केवल एक शॉट के आधार पर आंकने जैसा है।
2. समाधान: "FilBBQ" (फिलीपीनो BBQ) बनाना
शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे FilBBQ कहा गया। उन्होंने केवल अमेरिकी परीक्षण का अनुवाद नहीं किया; उन्होंने इसे फिलीपीनो संस्कृति के अनुरूप पूरी तरह से फिर से बनाया।
इस प्रक्रिया को एक स्थानीय व्यंजन बनाने की तरह समझें:
- चरण 1: सामग्री को छाँटना। उन्होंने मूल अमेरिकी परीक्षण को देखा और उन सामग्रियों को हटा दिया जो फिलीपींस में तर्कसंगत नहीं थीं (जैसे कि वहां लोकप्रिय नहीं होने वाले खेलों के बारे में रूढ़ियाँ)।
- चरण 2: स्थानीय स्वाद डालना। उन्होंने शेष प्रश्नों का अनुवाद किया लेकिन नाम और स्थितियां बदल दीं। "डोना और जर्मेन" के बजाय, उन्होंने लोकप्रिय फिलीपीनो नामों का उपयोग किया। "बेबीसिटर" के बजाय, उन्होंने "यया" (नर्स/सहायक) का उपयोग किया।
- चरण 3: नए मसाले जोड़ना। उन्होंने फिलीपींस के विशिष्ट रूढ़िवादी विषयों पर नए प्रश्न जोड़े, जैसे कि यह विचार कि "टॉमबॉय" (मर्दाना व्यवहार वाली महिलाएं) कारों के साथ अच्छी होती हैं, या क्वीर पुरुष फैशन और गपशप के प्रति जुनूनी होते हैं।
- परिणाम: उन्होंने रोबोट का परीक्षण करने के लिए 10,000 से अधिक प्रश्न (प्रॉम्प्ट्स) बनाए।
3. नया नियम: एक अकेले शॉट पर भरोसा न करें
इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा यह है कि उन्होंने रोबोट का परीक्षण कैसे किया।
- पुराना तरीका: रोबोट से एक बार सवाल पूछें। यदि वह कहता है "महिलाएं भावुक होती हैं," तो आप इसे पक्षपाती मान लेते हैं।
- नया तरीका (रोबस्ट प्रोटोकॉल): शोधकर्ताओं ने रोबोट से उसी सवाल को 50 बार पूछा (विभिन्न रैंडम सीड्स का उपयोग करके, जैसे पासा फेंककर रोबोट का मूड बदलना)।
- क्यों? क्योंकि रोबोट अस्थिर होते हैं। कभी-कभी वे कह सकते हैं कि "महिलाएं भावुक होती हैं," और कभी-कभी "पुरुष भावुक होते हैं," या "मुझे नहीं पता।" 50 प्रयासों के परिणामों का औसत निकालकर, उन्हें रोबोट के व्यक्तित्व की एक सच्ची तस्वीर मिली, न कि केवल एक बुरे दिन का परिणाम।
4. उन्होंने क्या पाया (टेस्ट के परिणाम)
जब उन्होंने तीन अलग-अलग फिलीपीनो बोलने वाले रोबोट्स पर यह नया, कठोर परीक्षण चलाया, तो उन्हें कुछ दिलचस्प बातें पता चलीं:
- "भावुक" रूढ़ि: रोबोटों ने लगातार यह माना कि यदि स्थिति अस्पष्ट थी, तो भावुक व्यक्ति संभवतः एक महिला थी।
- "घरेलू" रूढ़ि: रोबोटों ने महिलाओं को नर्स, गृहिणी और परिवार की देखभाल करने के साथ मजबूती से जोड़ा, जबकि पुरुषों को डॉक्टर या घर चलाने वाले के रूप में जोड़ा।
- "क्वीर" रूढ़ि: रोबोटों ने अक्सर माना कि समलैंगिक पुरुष फैशन, डिजाइन और गपशप में रुचि रखते हैं, या उन्हें एकनिष्ठता (वफादार रहने) के साथ संघर्ष करना पड़ता है।
- "बिग डेटा" का आश्चर्य: जिस रोबोट ने सबसे अधिक फिलीपीनो टेक्स्ट पढ़ा था (सबसे बड़ा दिमाग), उसने सबसे मजबूत पूर्वाग्रह दिखाए। ऐसा लगता है कि एक रोबोट दुनिया के बारे में जितना अधिक पढ़ता है, वह दुनिया के अनुचित रूढ़िवादी विचारों को भी उतना ही अधिक आत्मसात करता है।
5. यह क्यों महत्वपूर्ण है
यह शोध पत्र तकनीक के सामने रखे गए एक दर्पण की तरह है।
- यह हमें दिखाता है कि यदि हम फिलीपींस में AI को निष्पक्ष बनाना चाहते हैं, तो हम केवल अमेरिकी परीक्षणों का उपयोग नहीं कर सकते। हमें स्थानीय संस्कृति को समझने की आवश्यकता है।
- यह हमें सिखाता है कि हम रोबोट के जवाब पर तब तक भरोसा नहीं कर सकते जब तक हम उससे केवल एक बार न पूछें। हमें सच्चाई देखने के लिए उसे कई बार पूछना होगा।
- यह हमें एक उपकरण (FilBBQ) देता है जिससे हम भविष्य के रोबोटों की जांच कर सकें कि क्या वे फिलीपीनी महिलाओं और LGBTQ+ समुदाय के प्रति निष्पक्ष हैं।
संक्षेप में: शोधकर्ताओं ने फिलीपींस में रोबोटों के लिए एक सांस्कृतिक रूप से विशिष्ट "झूठ पकड़ने वाले यंत्र" का निर्माण किया और यह साबित किया कि ईमानदार जवाब पाने के लिए, आपको एक ही सवाल को बार-बार पूछना होगा। उन्होंने पाया कि हमारे सबसे स्मार्ट रोबोट भी पुराने जमाने की रूढ़ियों का भारी बोझ ढोते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।