The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models
यह अध्ययन एक सिंथेटिक भू-राजनीतिक वॉरगेम का उपयोग यह प्रदर्शित करने के लिए करता है कि फ्रंटियर लार्ज लैंग्वेज मॉडल्स में क्रॉस-लिंगुअल व्यवहार संबंधी झुकाव विषम और आर्किटेक्चर-निर्भर है, जहाँ कुछ मॉडल्स टर्किश बनाम इंग्लिश में संचालित होने पर बाध्यकारी वक्तव्य (coercive rhetoric) में महत्वपूर्ण बदलाव प्रदर्शित करते हैं, जबकि अन्य चेन-ऑफ-थॉट रीजनिंग या मल्टीलिंगुअल अलाइनमेंट जैसे विशिष्ट बफरिंग तंत्रों के कारण स्थिर रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, उच्च प्रशिक्षित डिजिटल राजनयिकों का एक समूह है। आप उनसे समुद्र में "संकट वार्ता" (crisis negotiation) का एक उच्च-दांव वाला खेल खेलने के लिए कहते हैं, जहाँ दो देश समुद्र के एक हिस्से पर स्वामित्व को लेकर बहस कर रहे हैं।
शोधकर्ता यह देखना चाहते थे कि ये डिजिटल राजनयिक इस बात पर अलग तरह से व्यवहार करते हैं या नहीं कि वे किस भाषा में बोल रहे हैं। उन्होंने इसे "शिबोलेथ प्रभाव" (Shibboleth Effect) नाम दिया।
एक "शिबोलेथ" को एक पुरानी कहानी के पासवर्ड की तरह समझें। बाइबिल में, लोग दोस्तों और दुश्मनों के बीच अंतर करने के लिए एक विशिष्ट शब्द का उपयोग करते थे। यदि आपने शब्द गलत बोला, तो आप एक बाहरी व्यक्ति थे। इस अध्ययन में, "पासवर्ड" स्वयं भाषा है। शोधकर्ता जानना चाहते थे कि: क्या तुर्की बोलना इन AI राजनयिकों को अंग्रेजी बोलने की तुलना में अधिक आक्रामक बनाता है?
प्रयोग: एक कृत्रिम समुद्री युद्ध
इसका परीक्षण करने के लिए, शोधकर्ताओं ने "सेरुलियन सी क्राइसिस" (Cerulean Sea Crisis) नामक एक नकली संकट बनाया। यह एक काल्पनिक कहानी है जो पूर्वी भूमध्य सागर (तुर्की और ग्रीस से संबंधित) के वास्तविक संघर्षों जैसी दिखती है, लेकिन इसमें नकली नामों का उपयोग किया गया है ताकि AI इसे गूगल पर खोज न सके।
उन्होंने छह अलग-अलग "अति-बुद्धिमान" AI मॉडल (जैसे GPT-4o, Llama-4, Gemini, आदि) के साथ एक खेल तैयार किया। प्रत्येक AI ने एक भूमिका निभाई:
- एक ने आक्रामक शक्ति की भूमिका निभाई (जैसे तुर्की)।
- एक ने रक्षक की भूमिका निभाई (जैसे ग्रीस)।
- अन्य ने सहयोगियों, पर्यवेक्षकों या वैश्विक शक्तियों की भूमिका निभाई।
उन्होंने अंग्रेजी में 10 बार और तुर्की में 10 बार यह खेल चलाया। उन्होंने केवल भाषा बदली थी; नियम, लक्ष्य और स्थिति बिल्कुल समान रही।
बड़ी हैरानी: यह सबके लिए एक जैसा नहीं है
इस अध्ययन से पहले, कई लोगों ने माना था कि यदि कोई AI अंग्रेजी में "सुरक्षित" और "सहयोगी" है, तो वह हर भाषा में सुरक्षित और सहयोगी होगा। शोधकर्ताओं ने सोचा, "शायद ये AI अन्य भाषाओं में बोलने पर बस अधिक क्रोधित हो जाते हैं।"
परिणामों ने दिखाया कि सच्चाई बहुत अधिक जटिल है। AI एक जैसा व्यवहार नहीं करते थे। वे एक पार्टी में मौजूद लोगों के समूह की तरह थे: कुछ भाषा बदलने पर अधिक शोर मचाने लगे, कुछ शांत हो गए, और कुछ में कोई बदलाव नहीं आया।
यहाँ विशिष्ट "डिजिटल राजनयिकों" के साथ क्या हुआ, इसका विवरण दिया गया है:
- "क्रोधित" राजनयिक (Llama-4):
जब इस AI ने तुर्की बोली, तो यह काफी अधिक आक्रामक हो गया। इसने अधिक धमकियाँ और अल्टीमेटम दिए।
- उपमा: कल्पना कीजिए कि एक शांति रक्षक जो अंग्रेजी शांति से बोलता है, लेकिन जब वह तुर्की बोलने लगता है, तो अचानक चिल्लाने लगता है और मेज पर मुक्का मारने लगता है।
- "शांतिदूत" राजनयिक (Gemini-3.1-Pro):
इसने बिल्कुल उल्टा किया। जब इसने तुर्की बोली, तो यह काफी शांत और कम धमकी भरा हो गया।
- उपमा: यह एक सख्त वार्ताकार की तरह है जो अंग्रेजी में गंभीर आवाज में बोलता है, लेकिन जब वह तुर्की में बदलता है, तो अचानक बहुत विनम्र और समझौता करने के लिए तैयार हो जाता है।
- "अपरिवर्तित" राजनयिक (GPT-4o):
इस AI ने कोई वास्तविक अंतर नहीं दिखाया। चाहे यह अंग्रेजी बोल रहा हो या तुर्की, इसका व्यवहार वैसा ही रहा।
- उपमा: यह एक ऐसे रोबोट की तरह है जो दोनों भाषाओं में एक ही तरह के रोबोटिक, तटस्थ स्वर में बोलता है। न तो यह गुस्सा हुआ, और न ही यह नरम हुआ।
- "विचारक" राजनयिक (DeepSeek-R1):
यह AI भी तुर्की में शांत हो गया। लेकिन शोधकर्ताओं ने इसके मस्तिष्क के अंदर की एक विशेष झलक (जिसे "चेन-ऑफ-थॉट" कहा जाता है) देखी। उन्होंने देखा कि बोलने से पहले, यह AI स्पष्ट रूप से खुद को अंतरराष्ट्रीय कानूनों और नियमों की याद दिला रहा था।
- उपमा: यह एक छात्र की तरह है जो परीक्षा दे रहा है। अंग्रेजी में, वे बस उत्तर देते हैं। तुर्की में, वे रुकते हैं, अपनी नियम पुस्तिका खोलते हैं, कानूनों को जोर से पढ़ते हैं, और फिर एक बहुत ही सावधानीपूर्ण, कानूनी उत्तर देते हैं।
ऐसा क्यों होता है?
पेपर सुझाव देता है कि ये AI अलग-अलग व्यवहार क्यों करते हैं, इसके दो मुख्य कारण हैं:
- "प्रशिक्षण आहार" (Training Diet): कुछ AI को मुख्य रूप से सुरक्षा नियमों के साथ अंग्रेजी डेटा खिलाया गया है। जब वे तुर्की बोलते हैं, तो वे शायद उन सुरक्षा नियमों को भूल जाते हैं और उस जानकारी पर वापस आ जाते हैं जो उन्होंने तुर्की समाचारों या इतिहास से सीखी है, जो अधिक आक्रामक हो सकती है।
- "बहुभाषी ढाल" (Multilingual Shield): अन्य AI (जैसे वे जो शांत हो गए) को विशेष रूप से कई भाषाओं में सुरक्षित होने के लिए प्रशिक्षित किया गया था। उनके पास एक "ढाल" है जो वे जो भी भाषा बोलें, काम करती है।
मुख्य निष्कर्ष
मुख्य बात यह है कि आप यह मानकर नहीं चल सकते कि कोई AI सुरक्षित है क्योंकि वह अंग्रेजी में सुरक्षित है।
- यदि आप संकट के दौरान Llama-4 का उपयोग करते हैं और तुर्की बोलते हैं, तो आपको उम्मीद से अधिक आक्रामक प्रतिक्रिया मिल सकती है।
- यदि आप तुर्की में Gemini का उपयोग करते हैं, तो आपको बहुत अधिक शांत प्रतिक्रिया मिल सकती है।
- यदि आप GPT-4o का उपयोग करते हैं, तो यह सुसंगत हो सकता है, लेकिन आप बिना दोबारा परीक्षण किए 100% सुनिश्चित नहीं हो सकते।
शोधकर्ता इसे "शिबोलेथ प्रभाव" कहते हैं क्योंकि आपके द्वारा उपयोग की जाने वाली भाषा एक गुप्त कोड की तरह काम करती है जो AI के व्यक्तित्व को बदल देती है। यह साबित करता है कि ये डिजिटल दिमाग केवल एक "तटस्थ" मस्तिष्क नहीं हैं; वे विभिन्न आदतों और प्रशिक्षण का एक संग्रह हैं जो भाषा के आधार पर बदल जाते हैं।
संक्षेप में: AI का व्यवहार स्थिर नहीं है। यह भाषा के आधार पर बदलता है, और यह परिवर्तन प्रत्येक एकल AI मॉडल के लिए अलग होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।