Lost in Localization: Building RabakBench with Human-in-the-Loop Validation to Measure Multilingual Safety Gaps
यह शोधपत्र रबाक बेंच (RabakBench) को प्रस्तुत करता है, जो सिंगापुर के भाषाई परिदृश्य के लिए एक मानव-इन-द-लूप द्वारा सत्यापित बहुभाषी सुरक्षा बेंचमार्क है, जो सिंग्लिश, चीनी, मलय और तमिल जैसी कम संसाधन वाली भाषाओं को संभालने में अत्याधुनिक एलएलएम (LLM) गार्डरेल्स के प्रदर्शन में महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किसी इमारत के लिए एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित सुरक्षा गार्ड है। वह गार्ड "मानक अंग्रेजी" में बात करने वाले लोगों में परेशानी को पहचानने में उत्कृष्ट है। वह जानता है कि उस भाषा में एक अभद्र टिप्पणी, एक धमकी या एक खतरनाक विचार कैसा दिखता है।
लेकिन अब, कल्पना कीजिए कि उसी सुरक्षा गार्ड को एक हलचल भरे, बहुसांस्कृतिक पड़ोस की निगरानी करने के लिए कहा गया है जहाँ लोग भाषाओं, स्लैंग (slang) और स्थानीय बोलियों का मिश्रण बोलते हैं। अचानक, गार्ड भ्रमित हो जाता है। वह एक वास्तविक खतरे को भी मिस कर सकता है क्योंकि वह एक स्थानीय मजाक में छिपा हुआ है, या वह एक स्थानीय वाक्यांश को न समझ पाने के कारण एक निर्दोष पड़ोसी को गलत तरीके से गिरफ्तार कर सकता है।
यह शोध पत्र, RABAKBENCH, यह देखने के लिए एक नया "टेस्ट" बनाने के बारे में है कि हमारे ये AI सुरक्षा गार्ड उस अव्यवस्थित, वास्तविक दुनिया के पड़ोस को कितनी अच्छी तरह संभालते हैं। जिस पड़ोस की बात की जा रही है, वह सिंगापुर है, एक ऐसी जगह जहाँ लोग लगातार अंग्रेजी को चीनी, मलय और तमिल शब्दों के साथ मिलाते हैं (एक मिश्रण जिसे "सिंग्लिश" कहा जाता है)।
यहाँ बताया गया है कि शोधकर्ताओं ने अपना टेस्ट कैसे बनाया और उन्हें क्या पता चला, इसे सरल भाषा में समझाया गया है:
1. समस्या: "स्थानीयकरण की दृष्टि दोष" (The Localization Blind Spot)
वर्तमान AI सुरक्षा प्रणालियाँ उन गार्डों की तरह हैं जिन्होंने केवल मानक अंग्रेजी की पाठ्यपुस्तक का अध्ययन किया है। वे इनके सामने विफल हो जाते हैं:
- कोड-मिक्सिंग (Code-mixing): ऐसे वाक्य जो भाषाओं के बीच कूदते हैं।
- स्लैंग (Slang): स्थानीय शब्द जिनका अर्थ संदर्भ के आधार पर बदल जाता है।
- बोलियाँ (Dialects): क्षेत्रीय बोलने के तरीके जो "उचित" अंग्रेजी नहीं हैं।
शोधकर्ताओं ने पाया कि ये AI गार्ड अक्सर दो बड़ी गलतियाँ करते हैं:
- फॉल्स नेगेटिव (False Negatives): वे वास्तविक घृणास्पद भाषण या खतरों को मिस कर देते हैं क्योंकि शब्द उन्हें हानिरहित स्लैंग की तरह लगते हैं।
- फॉल्स पॉजिटिव (False Positives): वे निर्दोष सांस्कृतिक चुटकुलों को खतरनाक मान लेते हैं, जिससे प्रभावी रूप से सामान्य बातचीत दब जाती है।
2. समाधान: "RABAKBENCH" का निर्माण
इसे ठीक करने के लिए, टीम ने RABAKBENCH नामक एक विशाल परीक्षण क्षेत्र बनाया (जिसका नाम एक स्थानीय शब्द से लिया गया है जिसका अर्थ है "अत्यधिक" या "तीव्र")। इसे AI सुरक्षा के लिए एक सिम्युलेटर के रूप में समझें।
उन्होंने केवल इन टेस्ट वाक्यों को खुद नहीं लिखा; उन्होंने एक चतुर तीन-चरणीय फैक्ट्री प्रक्रिया का उपयोग किया:
- चरण 1: "रेड टीम" हमला (Generate)
कल्पना कीजिए कि हैकर्स का एक समूह AI गार्डों को धोखा देने की कोशिश कर रहा है। शोधकर्ताओं ने सिंग्लिश के हजारों ट्रिकी, वास्तविक दुनिया के उदाहरण उत्पन्न करने के लिए AI का उपयोग किया, जिसमें ऐसी चीजें शामिल थीं जो खतरनाक लगती हैं लेकिन सुरक्षित हो सकती हैं, और ऐसी चीजें जो सुरक्षित लगती हैं लेकिन वास्तव में विषाक्त (toxic) हैं। उन्होंने "हमलावर" AI को कमजोर कड़ियों को खोजने में बेहतर बनाने में मदद करने के लिए एक "क्रिटिक" (आलोचक) AI का भी उपयोग किया। - चरण 2: "सुपर-लेबलर्स" (Label)
इन जटिल वाक्यों को हाथ से लेबल करना महंगा और कठिन है। इसलिए, शोधकर्ताओं ने कई अलग-अलग AI मॉडलों का परीक्षण किया कि कौन से मॉडल मानव निर्णय को समझने में सबसे अच्छे हैं। उन्होंने पाया कि तीन "स्टार" AI मॉडल मानव विशेषज्ञों के साथ 70-80% बार सहमत होते हैं। उन्होंने इन AI मॉडलों का उपयोग डेटा को लेबल करने के लिए किया, लेकिन उन्होंने काम को डबल-चेक करने के लिए एक मानव को भी इसमें शामिल रखा, ताकि सांस्कृतिक बारीकियों (nuances) की शुद्धता सुनिश्चित हो सके। - चरण 3: "सांस्कृतिक अनुवादक" (Translate)
उन्होंने अपने सिंग्लिश टेस्ट केस लिए और उन्हें चीनी, मलय और तमिल में अनुवादित किया। लेकिन यहाँ पेच यह है: मानक अनुवादक अक्सर शब्दों को विनम्र बनाने के लिए उन्हें "साफ" (sanitize) कर देते हैं। शोधकर्ताओं ने एक विशेष अनुवाद प्रक्रिया बनाई जिसने यह सुनिश्चित किया कि विषाक्तता (toxicity) वैसी ही रहे। यदि कोई वाक्य सिंग्लिश में बुरा था, तो मलय या तमिल में अनुवाद भी उतना ही बुरा होना चाहिए, जिससे मूल "फ्लेवर" और इरादा सुरक्षित रहे।
परिणाम? 5,000 से अधिक उदाहरणों का एक डेटासेट जो चार भाषाओं को कवर करता है, जिसमें विस्तृत लेबल दिए गए हैं कि कोई चीज़ असुरक्षित क्यों है (जैसे, क्या यह घृणास्पद भाषण है? क्या यह सिर्फ एक अपमान है? क्या यह एक धमकी है?)।
3. परिणाम: गार्ड टेस्ट में फेल हो गए
शोधकर्ताओं ने दुनिया के 13 शीर्ष AI सुरक्षा सिस्टम (व्यावसायिक जैसे गूगल और ओपनएआई, और ओपन-सोर्स दोनों) को इस नए टेस्ट से गुजारा।
फैसला कठोर था:
- प्रदर्शन में गिरावट: जो सिस्टम मानक अंग्रेजी परीक्षणों पर 80%+ स्कोर करते थे, वे इस स्थानीय टेस्ट पर अक्सर 50% से नीचे गिर गए।
- "तमिल गैप" (The Tamil Gap): प्रदर्शन विशेष रूप से तमिल के लिए खराब था, जहाँ कई सिस्टमों का स्कोर 30% से नीचे रहा।
- एक ही नियम सबके लिए नहीं चलता: अध्ययन ने दिखाया कि आप केवल एक गार्ड को अंग्रेजी पर प्रशिक्षित नहीं कर सकते और उम्मीद नहीं कर सकते कि वे हर जगह काम करेंगे। उन्हें विशिष्ट स्थानीय संस्कृतियों के लिए प्रशिक्षण की आवश्यकता है।
4. यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि यदि हम चाहते हैं कि AI सभी के लिए सुरक्षित हो, तो हम केवल मानक अंग्रेजी नियमों पर भरोसा नहीं कर सकते। हमें ऐसे सुरक्षा सिस्टम बनाने की आवश्यकता है जो "स्थानीय स्वाद" को समझते हों।
मुख्य निष्कर्ष (The Takeaway):
RABAKBENCH बहुसांस्कृतिक वातावरण में AI सुरक्षा के लिए एक ड्राइवर के लाइसेंस टेस्ट की तरह है। यह साबित करता है कि वर्तमान AI ड्राइवर हाईवे (मानक अंग्रेजी) पर तो बेहतरीन हैं लेकिन शहर की गलियों (स्थानीय बोलियों) में बहुत खराब हैं। शोधकर्ताओं ने अपने टेस्ट प्रश्न और उत्तर सार्वजनिक कर दिए हैं ताकि अन्य डेवलपर्स भविष्य के लिए बेहतर, अधिक सांस्कृतिक रूप से जागरूक सुरक्षा गार्ड बना सकें।
यह शोध पत्र क्या दावा नहीं करता है:
- यह दावा नहीं करता है कि इसने अभी तक AI सिस्टम को ठीक कर दिया है; इसने केवल यह दिखाने के लिए टेस्ट बनाया है कि वे टूटे हुए हैं।
- यह सुझाव नहीं देता है कि इन परीक्षणों का उपयोग नैदानिक (clinical) या चिकित्सा सुरक्षा के लिए किया जाना चाहिए।
- यह वादा नहीं करता कि भविष्य का AI स्वचालित रूप से पूर्ण होगा; यह केवल यह बताता है कि उन्हें कैसे मापा और सुधारा जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।