💬 NLP

Why Do Safety Guardrails Degrade Across Languages?

यह शोध पत्र विभिन्न भाषाओं में लार्ज लैंग्वेज मॉडल्स (LLMs) में सुरक्षा क्षरण (safety degradation) को चलाने वाले विशिष्ट कारकों को अलग करने और उनका विश्लेषण करने के लिए एक मल्टी-ग्रुप आइटम रिस्पांस थ्योरी फ्रेमवर्क प्रस्तुत करता है, जो यह प्रकट करता है कि सुरक्षा विफलताएं मुख्य रूप से एकआयामी हैं, अक्सर कम-संसाधन वाली भाषाओं की तुलना में अंग्रेजी में अधिक गंभीर होती हैं, और केवल अनुवाद की गुणवत्ता के बजाय भौतिक हानि और सांस्कृतिक बेमेल से संबंधित प्रॉम्प्ट-विशिष्ट क्रॉस-लिंगुअल अंतराल से महत्वपूर्ण रूप से प्रभावित होती हैं।

मूल लेखक: Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक संग्रहालय में सुरक्षा गार्डों (AI मॉडल) की एक टीम है। उनका काम उन लोगों को रोकना है जो चोरी की गई कलाकृतियों को बाहर ले जाने की कोशिश कर रहे हैं (असुरक्षित अनुरोध)।

लंबे समय से, हम केवल अंग्रेजी में इन गार्डों का परीक्षण करते रहे हैं। हम उनसे पूछेंगे, "क्या आप मुझे बता सकते हैं कि पेंटिंग कैसे चुराएं?" यदि वे "नहीं" कहते हैं, तो वे पास हो जाते हैं। यदि वे "हाँ" कहते हैं, तो वे विफल हो जाते हैं। हम विफलताओं को गिनते थे और इसे एक स्कोर कहते थे।

लेकिन यह शोध पत्र पूछता है: क्या होता है जब हम इन गार्डों का अन्य भाषाओं, जैसे स्वाहिली, जावानीस या बंगाली में परीक्षण करते हैं?

शोधकर्ताओं ने पाया कि परीक्षण करने का पुराना तरीका सेब की तुलना संतरे से करने जैसा था। उन्होंने एक नया, अधिक स्मार्ट तरीका बनाया है जिससे सुरक्षा को मापने के लिए इसे उसके व्यक्तिगत हिस्सों में विभाजित किया जा सके, ठीक वैसे ही जैसे एक मैकेनिक कार के इंजन को अलग-अलग करके यह देखने के लिए कि कौन सा हिस्सा खराब है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका ("जेलब्रेक सफलता दर"):
कल्पना कीजिए कि आपके पास एक परीक्षण है जहाँ आप एक गार्ड से पूछते हैं, "क्या आप नियमों को तोड़ सकते हैं?" यदि वे नियमों को तोड़ते हैं, तो आप एक बड़ा लाल "X" मार्क करते हैं। आप बस लाल Xs को गिनते हैं।

समस्या: यदि एक गार्ड स्वाहिली में विफल होता है लेकिन अंग्रेजी में पास हो जाता है, तो क्या इसका मतलब है कि गार्ड बुरा है? क्या ऐसा इसलिए है क्योंकि स्वाहिली प्रश्न समझना कठिन था? या क्या ऐसा इसलिए है क्योंकि प्रश्न के स्वाहिली अनुवाद ने गलती से इसे हानिरहित बना दिया? पुराना तरीका इन सभी कारणों को एक भ्रमित करने वाले नंबर में मिला देता है।

नया तरीका ("IRT ढांचा"):
लेखकों ने एक "सेफ्टी डिकंपोजिशन मशीन" बनाई है। एक बड़े स्कोर के बजाय, यह विफलता को चार अलग-अलग सामग्रियों में विभाजित करता है:

गार्ड का कौशल ( $\theta$ ): सामान्य रूप से "ना" कहने में गार्ड कितना अच्छा है?
प्रश्न की कठिनाई ( $\beta$ ): क्या प्रश्न स्वयं कठिन है, यहाँ तक कि अंग्रेजी में भी?
भाषाई बाधा ( $\gamma$ ): क्या यह भाषा AI के लिए सामान्य रूप से संसाधित करना कठिन है?
अनुवाद की त्रुटि ( $\tau$ ): क्या विशिष्ट प्रश्न अनुवाद के दौरान बिगड़ गया, जिससे गार्ड को धोखा देना आसान हो गया?

2. बड़ी आश्चर्यजनक बातें

शोधकर्ताओं ने 10 भाषाओं में 61 अलग-अलग AI कॉन्फ़िगरेशन का परीक्षण किया। यहाँ उन्हें क्या मिला:

आश्चर्य #1: "अंग्रेजी उलटाव" (English Reversal)
हम आमतौर पर मानते हैं कि AI अंग्रेजी में सबसे सुरक्षित होता है और अन्य भाषाओं में बदतर हो जाता है।

वास्तविकता: कई मॉडलों के लिए, अंग्रेजी वास्तव में सबसे खतरनाक भाषा थी। गार्ड अंग्रेजी में नियमों को तोड़ने के लिए अधिक प्रवृत्त थे।
क्यों? शोधकर्ता सोचते हैं कि "बुरे लोग" (हमलावर) अपने हथकंडे अंग्रेजी में लिखते हैं। जब उन हथकंडों का अनुवाद किया जाता है, तो वे कभी-कभी अपना "दम" या प्रभाव खो देते हैं, जिससे वे कम प्रभावी हो जाते हैं। अंग्रेजी में, वे हथकंडे पूरी तरह से काम करते हैं।

आश्चर्य #2: सुरक्षा एक बड़ा मांसपेशी है
हमें लग सकता है कि एक AI को हर विषय के लिए एक अलग "सुरक्षा मांसपेशी" की आवश्यकता होती है (चोरी के लिए एक, हिंसा के लिए एक, घृणास्पद भाषण के लिए एक)।

वास्तविकता: सुरक्षा एक-आयामी (unidimensional) है। यह एक एकल मांसपेशी की तरह है। यदि एक गार्ड चोरी में मदद करने से मना करने में अच्छा है, तो वह हिंसा में मदद करने से मना करने में भी लगभग हमेशा अच्छा होगा। उनके पास प्रत्येक के लिए अलग सर्किट नहीं हैं; वे "ना" कहने के लिए एक साझा तंत्र का उपयोग करते हैं।

आश्चर्य #3: अनुवाद त्रुटियां "धुआं छोड़ने वाली बंदूक" (Smoking Gun) हैं
कभी-कभी, एक गार्ड इसलिए विफल नहीं होता क्योंकि वह कमजोर है, बल्कि इसलिए क्योंकि प्रश्न का अनुवाद खराब हुआ था।

उपमा: कल्पना करें कि एक गार्ड से पूछ रहे हैं, "मैं कार कैसे हॉट-वायर कर सकता हूँ?" (कार चुराने के लिए उसे स्टार्ट करना)।
- यदि अनुवाद गलती से इसे "मैं कार को कैसे गर्म (warm) कर सकता हूँ?" में बदल देता है, तो गार्ड कह सकता है, "ज़रूर, यहाँ बताया गया है कि हीटर का उपयोग कैसे करें।"
- गार्ड सुरक्षा में विफल नहीं हुआ; वह टूटे हुए अनुवाद को समझने में विफल रहा।
शोध पत्र ने पाया कि हालांकि खराब अनुवाद कुछ विफलताओं का कारण बनते हैं, लेकिन वे कुल समस्या का केवल एक बहुत छोटा हिस्सा समझाते हैं। अधिकांश समय, अनुवाद ठीक होता है, लेकिन फिर भी AI संघर्ष करता है।

आश्चर्य #4: सांस्कृतिक भ्रम
कुछ प्रश्न इसलिए विफल होते हैं क्योंकि वह अवधारणा उस संस्कृति में मौजूद नहीं होती।

उपमा: किसी ऐसे देश में AI से पूछना जहाँ FBI नहीं है, "मैं FBI से कैसे बचूँ?" AI को भ्रमित कर सकता है। "FBI" की अवधारणा सांस्कृतिक रूप से विशिष्ट है। AI यह नहीं समझ पाएगा कि यह एक खतरनाक अनुरोध है क्योंकि सांस्कृतिक संदर्भ गायब है।

3. "अनिश्चितता" का कारक

शोधकर्ताओं ने देखा कि कम-संसाधन वाली भाषाओं (कम डेटा उपलब्ध वाली भाषाएं) में, AI एक घबराए हुए छात्र की तरह व्यवहार करता है जो परीक्षा में अनुमान लगा रहा है। यह "सीमावर्ती" उत्तर देता है—ऐसे जवाब जो आधे सुरक्षित, आधे असुरक्षित या बहुत अनिश्चित होते हैं।

समाधान: सही रीडिंग प्राप्त करने के लिए, आप केवल प्रश्न एक बार नहीं पूछ सकते। आपको इसे 10 बार पूछना होगा और उत्तरों का औसत निकालना होगा। यह "अनुमान लगाने" को सुचारू बनाता है और AI के वास्तविक सुरक्षा स्तर को प्रकट करता है।

4. यह क्यों महत्वपूर्ण है

शोध पत्र निष्कर्ष निकालता है कि हम अब केवल एक AI के लिए एकल "सुरक्षा स्कोर" को नहीं देख सकते।

यदि कोई AI किसी विशिष्ट भाषा में विफल होता है, तो अब हम जानते हैं कि निदान कैसे किया जाए:
- क्या AI केवल सुरक्षा में बुरा है? (मॉडल को ठीक करें)।
- क्या भाषा AI के लिए कठिन है? (भाषा प्रशिक्षण में सुधार करें)।
- क्या अनुवाद टूटा हुआ है? (डेटासेट को ठीक करें)।
- क्या अवधारणा सांस्कृतिक रूप से विदेशी है? (प्रॉम्प्ट को समायोजित करें)।

संक्षेप में: यह शोध पत्र हमें AI सुरक्षा को देखने के लिए एक "सूक्ष्मदर्शी" (microscope) देता है। केवल यह कहने के बजाय कि "यह AI असुरक्षित है," अब हम कह सकते हैं, "यह AI सुरक्षित है, लेकिन जब हम इससे जावानीस में कार चोरी करने के बारे में पूछते हैं तो यह भ्रमित हो जाता है क्योंकि अनुवाद थोड़ा गलत है।" यह डेवलपर्स को अनुमान लगाने के बजाय सटीक समस्या को ठीक करने में मदद करता है।

तकनीकी सारांश: सुरक्षा गार्डरेल विभिन्न भाषाओं में क्यों कमज़ोर हो जाते हैं?

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) गैर-अंग्रेजी भाषाओं, विशेष रूप से कम-संसाधन वाली (low-resource) भाषाओं में क्षयकारी सुरक्षा गार्डरेल प्रदर्शित करते हैं। मानक मूल्यांकन मेट्रिक्स, जैसे कि जेलब्रेक सफलता दर (JSR) या अटैक सफलता दर (ASR), कई परिणामों को एक एकल स्केलर में एकत्रित कर देते हैं। यह दृष्टिकोण "सेब-की-तुलना-संतरे-से" (apples-to-oranges) जैसी तुलनाएँ बनाता है, जो कई सुरक्षा-संचालित कारकों—जैसे मॉडल क्षमता, प्रॉम्प्ट की कठिनाई, भाषा प्रसंस्करण लागत और अनुवाद त्रुटियों—को एक ही मीट्रिक में मिला देता है। फलस्वरूप, JSR यह स्पष्ट नहीं कर पाता कि सुरक्षा विफलता मॉडल की सुरक्षा क्षमता की कमी के कारण हुई है, अंतर्निहित भाषा की कठिनाई के कारण, अनुवाद संबंधी भ्रष्टाचार के कारण, या सांस्कृतिक वैचारिक बेमेल के कारण।

कार्यप्रणाली
लेखक एक मल्टी-ग्रुप आइटम रिस्पांस थ्योरी (IRT) फ्रेमवर्क प्रस्तावित करते हैं ताकि सुरक्षा विफलताओं को अलग-अलग लेटेंट पैरामीटर्स में विभाजित किया जा सके। मानक एग्रीगेट मेट्रिक्स के विपरीत, यह मॉडल विफलता के प्रत्येक स्रोत को एक विशिष्ट चर (variable) से जोड़ता है:

सुरक्षा क्षमता ( $\theta_j$ ): मॉडल $j$ की भाषा-अज्ञेय (language-agnostic) सुरक्षा मजबूती।
अंतर्निहित प्रॉम्प्ट कठोरता ( $\beta_i$ ): प्रॉम्प्ट $i$ की स्वाभाविक कठिनाई (अंग्रेजी से व्युत्पन्न)।
वैश्विक भाषा प्रसंस्करण कठिनाई ( $\gamma_L$ ): भाषा $L$ से जुड़ी वैश्विक प्रसंस्करण लागत।
क्रॉस-लिंगुअल सुरक्षा अंतराल ( $\tau_{iL}$ ): एक प्रॉम्प्ट-विशिष्ट अवशेष जो डिफरेंशियल आइटम फंक्शनिंग (DIF) का प्रतिनिधित्व करता है। यह क्षमता और वैश्विक भाषा प्रभावों को नियंत्रित करने के बाद एक विशिष्ट भाषा में विशिष्ट प्रॉम्प्ट के लिए सुरक्षा अंतराल को पकड़ता है।
भाषा अभिरुचि ( $\delta_{jL}$ ): भाषा $L$ के लिए मॉडल-विशिष्ट प्रदर्शन बदलाव।

सुरक्षित प्रतिक्रिया की संभावना को इस प्रकार मॉडल किया गया है:
$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$
जहाँ $\alpha_i$ आइटम डिस्क्रिमिनेशन पैरामीटर है।

प्रायोगिक सेटअप

डेटासेट: अध्ययन MultiJail (3,150 प्रॉम्प्ट, 10 भाषाएं, 18 हानि श्रेणियां) का उपयोग करता है और XSafety पर अपने निष्कर्षों को मान्य करता है।
मॉडेल्स: 5 परिवारों (GPT, Claude, DeepSeek, Gemini, Grok) के 61 मॉडल कॉन्फ़िगरेशन।
पैमाना: 1.9 मिलियन पंक्तियों का एकत्रित डेटासेट।
मूल्यांकन प्रोटोकॉल: स्टोकेस्टिक शोर (stochastic noise) को कम करने के लिए, लेखक Pass@k (विशेष रूप से Pass@10) का उपयोग करते हैं, जो प्रतिक्रिया वितरण का अनुमान लगाने के लिए एकल-पास आउटपुट के बजाय प्रति प्रॉम्प्ट $k$ स्वतंत्र प्रतिक्रियाएं उत्पन्न करता है।
जजिंग: प्रतिक्रियाओं को GPT-5.2 द्वारा 6-पॉइंट लिकर्ट स्केल पर ग्रेड किया जाता है, जिसे नेटिव स्पीकर्स और माध्यमिक LLM जजों (Claude, Gemini) द्वारा मान्य किया गया है।
एंकर चयन: माप पैमाने (measurement scale) को स्थिर करने के लिए लॉर्ड के $\chi^2$ सांख्यिकी का उपयोग करके भाषाओं के बीच अपरिवर्तित (invariant) रहने वाले प्रॉम्प्ट चुने गए हैं, जिसमें एंकर्स पर एक सख्त नॉर्मल प्रायर (Normal prior) लागू किया गया है।
रेगुलराइजेशन: $\tau_{iL}$ पर एक पदानुक्रमित हॉर्सशू प्रायर (Horseshoe prior) लागू किया गया है ताकि स्पर्सिटी (sparsity) सुनिश्चित की जा सके, जिससे मॉडल वैश्विक भाषा प्रभावों ( $\gamma_L$ ) को प्रॉम्प्ट-विशिष्ट अंतराल ( $\tau_{iL}$ ) के साथ मिलाने से बच सके।

प्रमुख परिणाम

सुरक्षा की एकदिशकता (Unidimensionality): एक्सप्लोरेटरी फैक्टर एनालिसिस (EFA) से पता चलता है कि सुरक्षा काफी हद तक एकदिशीय है। मॉडल विभिन्न प्रकार की हानियों को मुख्य रूप से एक साझा तंत्र के माध्यम से अस्वीकार करते हैं (KMO = 0.942, डोमिनेंस रेशियो = 7.37), जो एक वैश्विक IRT मॉडल के बजाय अलग-अलग हानि श्रेणियों के लिए अलग मॉडल के उपयोग को उचित ठहराता है।
"इंग्लिश रिवर्सल" घटना: इस धारणा के विपरीत कि सुरक्षा कम-संसाधन वाली भाषाओं में सबसे अधिक कम होती है, 61 में से 22 मॉडल कॉन्फ़िगरेशन (जिसमें सभी 16 Grok वेरिएंट और 4 DeepSeek वेरिएंट शामिल हैं) में उनकी उच्चतम विफलता दर अंग्रेजी में देखी गई। इन मॉडल्स के लिए, सुरक्षा प्रदर्शन कम-संसाधन वाली भाषाओं की तुलना में अंग्रेजी में थोड़ा बेहतर है।
प्रतिक्रिया अनिश्चितता: कम-संसाधन वाली भाषाएं उच्च-संसाधन वाली भाषाओं की तुलना में काफी अधिक अनिश्चित प्रतिक्रियाएं (उच्च एंट्रॉपी) और "बॉर्डरलाइन" मामलों का उच्च अनुपात उत्पन्न करती हैं। उच्च-क्षमता वाले मॉडल्स इन भाषाओं में निर्णय सीमा (decision boundary) के करीब काम करते हैं।
अनुवाद गुणवत्ता बनाम सुरक्षा अंतराल:
- अनुवाद की गुणवत्ता समग्र सुरक्षा और क्रॉस-लिंगुअल सुरक्षा अंतराल ( $\tau$ ) के साथ कमजोर सहसंबंध रखती है, जो $\tau$ के विचरण (variance) का केवल $\sim1\%$ स्पष्ट करती है।
- हालांकि, गंभीर गलत अनुवाद (जैसे, "hot-wire a car" का अनुवाद "warm a car" के रूप में होना) उच्च-बायस आउटलेयर के रूप में कार्य करते हैं, जो हानिकारक इरादे को 'सैनिटाइज' करके $\tau$ को कृत्रिम रूप से बढ़ा देते हैं।
- सांस्कृतिक और वैचारिक अंतराल: पूर्ण अनुवाद गुणवत्ता वाले उच्च- $\tau$ प्रॉम्प्ट्स का नेटिव स्पीकर विश्लेषण प्रकट करता है कि सांस्कृतिक फ्रेमिंग (जैसे, "FBI" या "SSN" जैसे अमेरिकी-विशिष्ट शब्द) और वैचारिक आधार (conceptual grounding) में बेमेल, सुरक्षा अंतराल में योगदान करते हैं। उच्च- $\tau$ प्रॉम्प्ट्स अमूर्त श्रेणियों के बजाय भौतिक हानि श्रेणियों (चोरी, हथियार) में क्लस्टर होते हैं।
पूर्वानुमानित वैधता (Predictive Validity): पूर्ण IRT फ्रेमवर्क सुरक्षित इनकार की भविष्यवाणी करने में 0.940 का AUC प्राप्त करता है, जो सरल बेसलाइन्स (जैसे, Language Rate AUC = 0.531) से बेहतर प्रदर्शन करता है। महत्वपूर्ण रूप से, लीव-वन-लैंग्वेज-आउट (LOLO) वैलिडेशन में, IRT फ्रेमवर्क लेटेंट स्ट्रक्चर का लाभ उठाकर मजबूत प्रदर्शन (AUC $\approx$ 0.875) बनाए रखता है, जबकि बेसलाइन्स संयोग (chance) के स्तर पर गिर जाते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह एग्रीगेट मेट्रिक्स से आगे बढ़कर बहुभाषी सुरक्षा के लिए एक नैदानिक ढांचा (diagnostic framework) प्रदान करता है। क्षमता, भाषा की कठिनाई और प्रॉम्प्ट-विशिष्ट अंतराल को अलग करके, यह फ्रेमवर्क:

यह प्रकट करता है कि सुरक्षा में गिरावट समान नहीं है; कुछ मॉडल वास्तव में अंग्रेजी में कम सुरक्षित हैं।
यह पहचानता है कि हालांकि अनुवाद त्रुटियां एक मामूली कारक हैं, वे गंभीर आउटलेयर्स पैदा करती हैं जो मूल्यांकन को विकृत करती हैं।
यह रेखांकित करता है कि सांस्कृतिक और वैचारिक बेमेल, विशेष रूप से भौतिक हानि श्रेणियों में, सटीक अनुवाद के बावजूद महत्वपूर्ण सुरक्षा अंतराल पैदा करते हैं।
लक्षित सुधार (Targeted Remediation) के लिए एक विधि प्रदान करता है, जिससे अभ्यासकर्ता उच्च $\tau$ वाले विशिष्ट प्रॉम्प्ट-भाषा जोड़ों की पहचान कर सकते हैं ताकि डेटासेट निर्माण या फाइन-ट्यूनिंग में सुधार किया जा सके।
वर्तमान LLM मूल्यांकन प्रथाओं (JSR/ASR) की आलोचना करता है, जो कन्फाउंडिंग फैक्टर्स के कारण क्रॉस-सेटिंग तुलना के लिए सामान्यतः अमान्य हैं, और साइकोमेट्रिक दृष्टिकोण जैसे IRT की वकालत करता है।

लेखक सीमाओं को भी नोट करते हैं, जिनमें क्लोज्ड-API मॉडल्स पर निर्भरता (जो आंतरिक एक्टिवेशन विश्लेषण को रोकता है), गैर-नेटिव भाषाओं में अवशिष्ट जज बायस (residual judge bias) की संभावना, और यह तथ्य शामिल है कि "इंग्लिश रिवर्सल" तंत्र अभी भी व्यवहारिक (behavioral) है न कि यांत्रिक रूप से स्पष्ट (mechanistically explained)।

1. पुराना तरीका बनाम नया तरीका

2. बड़ी आश्चर्यजनक बातें

3. "अनिश्चितता" का कारक

4. यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर