Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs
यह शोध पत्र INCLUDE को प्रस्तुत करता है, जो छह भाषाओं में भारतीय-केंद्रित सामाजिक-सांस्कृतिक पूर्वाग्रहों का मूल्यांकन करने वाला एक बहुभाषी बेंचमार्क है, जो यह प्रकट करता है कि एलएलएम (LLMs) में वर्तमान अंग्रेजी-केंद्रित सुरक्षा संरेखण एक महत्वपूर्ण क्रॉस-लिंगुअल सुरक्षा अंतराल उत्पन्न करता है जहाँ गैर-अंग्रेजी आउटपुट, विशेष रूप से बंगाली और क्लोज्ड-सोर्स मॉडल, अपने अंग्रेजी समकक्षों की तुलना में काफी अधिक पूर्वाग्रह प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर सहायक की आवाज़ भारत के एक ग्रामीण गाँव में उतनी ही सुलभ और निष्पक्ष हो जितनी कि लंदन के एक व्यस्त कार्यालय में। वर्षों से, इन सहायकों के पीछे की तकनीक मुख्य रूप से अंग्रेजी टेक्स्ट पर प्रशिक्षित की गई है, जो हानिकारक रूढ़ियों को पहचानने और आपत्तिजनक अनुरोधों को अस्वीकार करने के लिए 'सेफ्टी अलाइनमेंट' नामक एक प्रक्रिया के माध्यम से सीखती है। यह प्रशिक्षण एक फिल्टर की तरह कार्य करता है, जिसे मशीन को नस्ल, धर्म या सामाजिक स्थिति के बारे में पूर्वाग्रह दोहराने से रोकने के लिए डिज़ाइन किया गया है। हालाँकि, एक महत्वपूर्ण प्रश्न अनसुलझा रह गया है: क्या यह फिल्टर तब भी उतनी ही अच्छी तरह काम करता है जब उपयोगकर्ता हिंदी, बंगाली या अंग्रेजी और हिंदी के मिश्रण में बात करता है? यदि यह फिल्टर केवल अंग्रेजी समझता है, तो अन्य भाषाएँ बोलने वाले लाखों लोग उन्हीं पूर्वाग्रहों के प्रति असुरक्षित हैं जिन्हें रोकने के लिए इस तकनीक को बनाया गया था। यह एक नए अध्ययन का मुख्य विषय है जो यह जांचता है कि क्या सुरक्षित आर्टिफिशियल इंटेलिजेंस का वादा भारत के विविध भाषाई परिदृश्य में सच साबित होता है।
शोधकर्ताओं ने, नम्या भटनागर के नेतृत्व में, INCLUDE नामक एक विशेष परीक्षण बनाकर इस अंतर को मापने का प्रयास किया। इस बेंचमार्क को यह देखने के लिए डिज़ाइन किया गया था कि विभिन्न आर्टिफिशियल इंटेलिजेंस मॉडल छह अलग-अलग भाषाओं में सांस्कृतिक रूप से विशिष्ट रूढ़ियों को कितनी अच्छी तरह संभालते हैं: अंग्रेजी, हिंदी, बंगाली, मराठी, तमिल और हिंग्लिश, जो दैनिक बातचीत में उपयोग किया जाने वाला हिंदी और अंग्रेजी का एक सामान्य मिश्रण है। इस परीक्षण को बनाने के लिए, टीम ने पहले छह क्षेत्रों को परिभाषित किया जहाँ पूर्वाग्रह अक्सर दिखाई देते हैं, जैसे कि जाति, धर्म और क्षेत्र। इसके बाद उन्होंने बीस विशेषज्ञों के एक पैनल को इकट्ठा किया, जिनमें शिक्षक और विश्वविद्यालय के संकाय शामिल थे, ताकि हजारों प्रश्नों की समीक्षा और शोधन किया जा सके। ये प्रश्न सावधानीपूर्वक इस तरह तैयार किए गए थे कि वे स्वाभाविक लगें, और मॉडलों को वाक्य पूरा करने के लिए प्रेरित करें, जिससे यह पता चल सके कि क्या वे हानिकारक रूढ़ियों की ओर झुक रहे हैं या उन्हें अस्वीकार कर रहे हैं। टीम ने इन प्रॉम्प्ट्स का इन पांच भारतीय भाषाओं में अनुवाद किया, यह सुनिश्चित करते हुए कि सभी संस्करणों में अर्थ और रूढ़ियों की तीव्रता समान बनी रहे।
अध्ययन ने दस अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों का मूल्यांकन किया, जिन्हें दो समूहों में विभाजित किया गया: वे जो किसी के भी निरीक्षण और संशोधन के लिए खुले (open-source) हैं, और वे जो बड़ी प्रौद्योगिकी कंपनियों के स्वामित्व वाले बंद सिस्टम (closed systems) हैं। जब शोधकर्ताओं ने ओपन-सोर्स मॉडलों का परीक्षण किया, तो उन्हें एक स्पष्ट और चिंताजनक पैटर्न मिला। जब प्रॉम्प्ट भारतीय भाषाओं में लिखे गए थे, तो मॉडल अंग्रेजी की तुलना में काफी अधिक पक्षपाती और रूढ़िवादी उत्तर देने की संभावना रखते थे। भारतीय भाषाओं में, बंगाली ने उच्चतम स्तर का पूर्वाग्रह उत्पन्न किया, जिसके बाद बारीकी से हिंदी का स्थान रहा। आश्चर्यजनक रूप से, अंग्रेजी प्रॉम्प्ट्स के परिणामस्वरूप इन ओपन मॉडलों के लिए सबसे कम पूर्वाग्रह स्कोर प्राप्त हुआ, जो यह सुझाव देता है कि सुरक्षा फिल्टर अंग्रेजी बोलने वालों के लिए तो अच्छी तरह काम कर रहे हैं, लेकिन बाकी सभी के लिए विफल हो रहे हैं। यह सुरक्षा का एक भ्रम पैदा करता है जहाँ एक उपयोगकर्ता अंग्रेजी में सुरक्षित महसूस कर सकता है, लेकिन अपनी मातृभाषा में असुरक्षित छोड़ दिया जाता है।
बंद-स्रोत (closed-source) मॉडलों के परिणाम, जिनका उपयोग अक्सर वॉयस असिस्टेंट के खोज और पुनर्प्राप्ति कार्यों को संचालित करने के लिए किया जाता है, एक अलग और और भी जटिल कहानी बताते हैं। इस समूह में, पैटर्न पूरी तरह से उलट गया। इन मॉडलों ने अंग्रेजी में प्रॉम्प्ट मिलने पर सबसे मजबूत पूर्वाग्रह संबंध दिखाए, जबकि भारतीय भाषाओं में पूर्वाग्रह स्कोर कम था। यह उलटाव सुझाव देता है कि समस्या का स्रोत केवल एक चीज़ नहीं है। ओपन मॉडल्स के लिए, मुद्दा यह प्रतीत होता है कि सुरक्षा प्रशिक्षण मुख्य रूप से अंग्रेजी में किया गया था, जिससे अन्य भाषाएँ असुरक्षित रह गईं। क्लोज्ड मॉडल्स के लिए, पूर्वाग्रह उस विशाल अंग्रेजी टेक्स्ट से आता है जिस पर उन्हें मूल रूप से प्रशिक्षित किया गया था, जिसने दुनिया के प्रति उनकी मूल समझ में गहरे रूढ़िवादी विचारों को समाहित कर दिया है।
सबसे महत्वपूर्ण निष्कर्षों में से एक हिंग्लिश से संबंधित था, जो भारत में लाखों लोगों द्वारा उपयोग की जाने वाली कोड-मिक्स्ड भाषा है। अध्ययन में पाया गया कि हिंग्लिश को अंग्रेजी का सुरक्षा लाभ नहीं मिला। भले ही इसमें अंग्रेजी शब्द शामिल हैं, मॉडलों ने इसे अन्य कम-संसाधन वाली भारतीय भाषाओं की तरह ही सांख्यिकीय रूप से माना, और इसे अंग्रेजी के बजाय हिंदी और तमिल के साथ समूहबद्ध किया। इसका अर्थ है कि जो उपयोगकर्ता वॉयस इंटरेक्शन के लिए इस मिश्रित भाषा पर निर्भर हैं, उन्हें शुद्ध अंग्रेजी बोलने वालों के समान सुरक्षा प्राप्त नहीं हो रही है। शोधकर्ताओं ने यह भी नोट किया कि हालांकि पूर्वाग्रह स्कोर भिन्न थे, लेकिन अंतर यादृच्छिक नहीं थे; वे इतने सुसंगत थे कि उन्हें एक वास्तविक, मापने योग्य विफलता माना जा सके।
अध्ययन निष्कर्ष निकालता है कि आर्टिफिशियल इंटेलिजेंस की सुरक्षा भाषाओं के बीच एकसमान नहीं है। यह प्रकट करता है कि इन मॉडलों को प्रशिक्षित करने के वर्तमान तरीके एक विभाजन पैदा करते हैं जहाँ अंग्रेजी बोलने वाले हानिकारक रूढ़ियों से सुरक्षित हैं, जबकि अन्य भाषाओं के बोलने वाले नहीं हैं। निष्कर्ष बताते हैं कि केवल अंग्रेजी से सुरक्षा नियमों का अनुवाद करना पर्याप्त नहीं है; मॉडलों के सीखने के तरीके की मूल संरचना को बदलना होगा ताकि विभिन्न संस्कृतियों और भाषाओं की बारीकियों को ध्यान में रखा जा सके। इन अंतरालों की पहचान करके, शोधकर्ता डेवलपर्स को ऐसे सिस्टम बनाने के लिए एक रोडमैप प्रदान करने की आशा करते हैं जो वास्तव में सभी के लिए निष्पक्ष हों, चाहे वे किसी भी भाषा में बोलें। यह कार्य रेखांकित करता है कि आर्टिफिशियल इंटेलिजेंस में वास्तविक निष्पक्षता प्राप्त करने के लिए प्रमुख भाषाओं से परे देखना और उन विशिष्ट सांस्कृतिक संदर्भों को संबोधित करना आवश्यक है जिनमें इन तकनीकों को तैनात किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।