Investigating Bias in Bulgarian in the Context of Large Language Models
यह शोध पत्र पूर्वाग्रह का पता लगाने के मूल्यांकन के लिए एक हस्तचालित रूप से एनोटेट किए गए बल्गेरियाई डेटासेट को प्रस्तुत करता है, जो मानव एनोटेटरों के बीच उच्च सहमति लेकिन मनुष्यों और बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के बीच महत्वपूर्ण विचलन को प्रकट करता है, साथ ही यह भी प्रदर्शित करता है कि बल्गेरियाई-भाषा में प्रॉम्प्टिंग करने से मानवीय निर्णयों के साथ मॉडल का संरेखण बेहतर होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को मानवीय कहानियों को समझना सिखा रहे हैं। आप उसे लाखों किताबें, लेख और वेबसाइटें पढ़ने के लिए देते हैं, इस उम्मीद में कि वह न केवल व्याकरण, बल्कि यह भी सीख ले कि निष्पक्ष, दयालु और तटस्थ कैसे रहा जाता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो चैटबॉट्स और सर्च इंजन के पीछे के एआई (AI) दिमाग हैं। लेकिन यहाँ एक पेंच है: रोबोट वही सीखते हैं जिसकी वे नकल करते हैं। यदि उनके द्वारा पढ़ी जाने वाली किताबों में पुराने ज़माने के रूढ़िवादी विचार या कुछ समूहों के बारे में अनुचित राय शामिल है, तो रोबोट अनजाने में उन पूर्वाग्रहों को भी सीख सकता है। यह उस छात्र की तरह है जो केवल एक युद्ध के पक्ष द्वारा लिखी गई इतिहास की किताबें पढ़ता है; उन्हें लग सकता है कि वह पक्ष हमेशा सही होता है। वैज्ञानिक चिंतित हैं क्योंकि यदि ये रोबोट नौकरियों, ऋणों या समाचारों के बारे में निर्णय लेने लगे, तो वे अनजाने में लोगों के साथ अन्यायपूर्ण व्यवहार कर सकते हैं। बड़ा सवाल यह है: क्या हम इन रोबोटों को टेक्स्ट में अन्याय को पहचानना सिखा सकते हैं, और क्या वे इसे उसी तरह देखते हैं जैसे इंसान देखते हैं?
यह शोध पत्र उसी प्रश्न में गहराई से उतरता है, लेकिन एक मोड़ के साथ: यह बल्गेरियाई भाषा पर ध्यान केंद्रित करता है। अधिकांश एआई अनुसंधान अंग्रेजी पर केंद्रित है, जो ऐसा है जैसे आइसक्रीम के केवल एक स्वाद का अध्ययन करना और यह मान लेना कि आप पूरे फ्रीजर को समझ गए हैं। शोधकर्ता यह देखना चाहते थे कि क्या वही नियम एक ऐसी भाषा पर लागू होते हैं जिसके पास कम डिजिटल संसाधन हैं और जिसकी संस्कृति बहुत अलग है। उन्होंने बल्गेरियाई विकिपीडिया से 3,177 वाक्यों का उपयोग करके एक विशेष "टेस्ट किट" बनाया। दो मानव विशेषज्ञों ने इन वाक्यों को पढ़ा और लिंग, धर्म, नस्ल, दिखावट और विकलांगता से संबंधित अन्याय को देखने के लिए 0 से 5 के पैमाने पर उन्हें ग्रेड दिया। फिर, उन्होंने तीन अलग-अलग एआई मॉडल (Gemma 4, BgGPT-Gemma-3, और Qwen 3) से उन्हीं वाक्यों को ग्रेड देने के लिए कहा।
परिणाम थोड़े चौंकाने वाले थे, जैसे किसी इंसान और रोबोट से एक जादू के खेल को जज करने के लिए कहना और पूरी तरह से अलग उत्तर प्राप्त करना। दोनों इंसान लगभग हर समय एक-दूसरे से सहमत थे (केवल 4.9% बार ही वे इस बात पर असहमत थे कि कोई वाक्य पक्षपाती था या नहीं)। हालाँकि, जब एआई मॉडल ने वही काम करने की कोशिश की, तो वे बहुत कम विश्वसनीय थे। रोबोट इंसानों से 24% से 34% समय असहमत थे। इससे भी बदतर यह था कि जब इंसानों ने कहा कि एक वाक्य पक्षपाती था, तो रोबलों ने इसे अक्सर नहीं देखा, और जब रोबोटों ने किसी चीज़ को पक्षपाती के रूप में चिह्नित किया, तो इंसानों को वह ठीक लगा।
शोध पत्र सुझाव देता है कि रोबोट केवल "गलत" नहीं हैं; वे एक अलग नियम पुस्तिका के अनुसार खेल रहे हैं। इंसान इस बात को लेकर बहुत सख्त थे कि पूर्वाग्रह कितना बुरा था (मजबूत पूर्वाग्रह के लिए उच्च स्कोर देना), लेकिन रोबोट बहुत अधिक सतर्क थे, और मजबूत अन्याय दिखने पर भी बहुत कम स्कोर दे रहे थे। यह ऐसा है जैसे इंसान चिल्ला रहे हों, "यह भयानक है!" जबकि रोबोट फुसफुसा रहे हों, "शायद थोड़ा असभ्य?"
हालाँकि, एक दिलचस्प खोज भी हुई। एक एआई मॉडल, BgGPT-Gemma-3, विशेष रूप से बुल्गारिया के लिए बनाया गया था। जब शोधकर्ताओं ने उससे अंग्रेजी में सवाल पूछे, तो उसने खराब प्रदर्शन किया। लेकिन जब उन्होंने निर्देशों को बल्गेरियाई में बदल दिया, तो रोबोट अचानक एक इंसान की तरह पूर्वाग्रह देखने लगा। यह ऐसा है जैसे रोबोट की मातृभाषा बोलने से उसके मस्तिष्क का एक अलग हिस्सा जाग गया हो, जिससे उसे सांस्कृतिक संदर्भ को बेहतर ढंग से समझने में मदद मिली।
अध्ययन निष्कर्ष निकालता है कि हम अभी तक बल्गेरियाई जैसी कम-संसाधन वाली भाषाओं में पूर्वाग्रह को ठीक करने के लिए रोबोटों पर भरोसा नहीं कर सकते। वे वर्तमान में मानवीय निर्णय से बहुत अलग हैं। लेखक का सुझाव है कि केवल एक एआई पर ग्रेडिंग करने के लिए निर्भर रहने के बजाय, हमें विभिन्न एआई की एक टीम का उपयोग करने और फिर इंसानों से उनके काम की जांच कराने की आवश्यकता हो सकती है। वे इस बात पर भी जोर देते हैं कि हमें बल्गेरियाई संस्कृति के लिए विशेष रूप से बेहतर शब्दकोश और उपकरण बनाने की आवश्यकता है, क्योंकि रोबोट वर्तमान में उन सूक्ष्म, सांस्कृतिक संकेतों को मिस कर रहे हैं जिन्हें इंसान तुरंत पकड़ लेते हैं। तब तक, रोबोट अभी भी वास्तव में निष्पक्ष होना सीख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।