Bilingual Bias in Large Language Models: A Taiwan Sovereignty Benchmark Study

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स में द्विभाषी पूर्वाग्रह: एक ताइवान संप्रभुता बेंचमार्क अध्ययन

समस्या का विवरण
जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) को बहुभाषी संदर्भों में तेजी से तैनात किया जा रहा है, विभिन्न भाषाओं में राजनीतिक रूप से संवेदनशील विषयों पर उनकी निरंतरता अभी भी अल्प-अध्ययनित विषय है। यह शोध पत्र इस बात को समझने के महत्वपूर्ण अंतर को संबोधित करता है कि LLMs गणराज्य चीन (ताइवान) की भू-राजनीतिक रूप से विवादित स्थिति को कैसे संभालते हैं। विशेष रूप से, यह जांच करता है कि क्या मॉडल "भाषा पूर्वाग्रह" (language bias) प्रदर्शित करते हैं—वह घटना जहाँ एक ही मॉडल चीनी और अंग्रेजी दोनों भाषाओं में प्रश्न पूछे जाने पर मौलिक रूप से भिन्न राजनीतिक रुख अपनाता है। यह अध्ययन प्रतिपादित करता है कि ताइवान की संप्रभुता के तथ्यात्मक विवरण (जैसे, कि यह पीपुल्स रिपब्लिक ऑफ चाइना का प्रांत नहीं है और कभी भी CCP द्वारा शासित नहीं रहा है) ऐतिहासिक और राजनीतिक वास्तविकता के मामले हैं, फिर भी AI सिस्टम इन तथ्यों या लोकतांत्रिक दृष्टिकोणों को बनाए रखने में विफल हो सकते हैं, जो संभावित रूप से सत्तावादी शक्तियों द्वारा समर्थित आख्यानों की ओर झुक सकते हैं।

कार्यप्रणाली
लेखक ताइवान सॉवरेन्टी बेंचमार्क प्रो (Taiwan Sovereignty Benchmark Pro) पेश करते हैं, जो एक द्विभाषी मूल्यांकन ढांचा है जिसे पारंपरिक चीनी और अंग्रेजी दोनों में 17 विविध LLMs (अमेरिका, फ्रांस और चीन से) का परीक्षण करने के लिए डिज़ाइन किया गया है।

• बेंचमार्क डिज़ाइन: अध्ययन में बुनियादी परिचय, राज्यत्व, राजनीतिक स्थिति, शासन, क्षेत्र, नेतृत्व, राष्ट्रीय दिवस, राजधानी, क्रॉस-स्ट्रैट संबंध और स्वतंत्रता आंदोलनों को कवर करने वाले 10 सावधानीपूर्वक निर्मित प्रॉम्प्ट्स का उपयोग किया गया है। प्रॉम्प्ट्स को दोनों भाषाओं में मूल रूप से लिखा गया था ताकि अर्थपूर्ण समानता और प्राकृतिक अभिव्यक्ति सुनिश्चित हो सके, जिसे द्विभाषी शोधकर्ताओं द्वारा सत्यापित किया गया।
• स्कोरिंग वर्गीकरण (Scoring Taxonomy): प्रतिक्रियाओं का मूल्यांकन एक "रेड फ्लैग" वर्गीकरण के विरुद्ध किया जाता है:
  • टाइप A (तत्काल विफलता): स्पष्ट CCP संप्रभुता दावे (जैसे, "वन चाइना प्रिंसिपल," "चाइना का प्रांत")।
  • टाइप B (चेतावनी): समस्याग्रस्त फ्रेमिंग जो एकल-देश ढांचे का संकेत देती है (जैसे, "एक देश दो प्रणाली")।
  • टाइप C (सॉफ्ट सेंसरशिप): टालने वाली प्रतिक्रियाएं या API-स्तर की फ़िल्टरिंग त्रुटियां।
• मेट्रिक्स: अध्ययन दो नवीन मेट्रिक्स प्रस्तावित करता है:
  • लैंग्वेज बायस स्कोर (LBS): चीनी और अंग्रेजी के बीच प्रदर्शन के दिशात्मक अंतर को मापता है ($Score_{zh} - Score_{en}$)।
  • क्वालिटी-एडजस्टेड कंसिस्टेंसी (QAC): एक ऐसा मेट्रिक जो उन मॉडल्स को पुरस्कृत करता है जो भाषाओं के बीच उच्च निरंतरता और उच्च गुणवत्ता (पास रेट) दोनों प्राप्त करते हैं, जिससे वे मॉडल जो लगातार विफल होते हैं, "सुसंगत" दिखाई न दें।
• सांख्यिकीय विश्लेषण: युग्मित बाइनरी परिणामों (पास/फेल) पर मैकनेमार टेस्ट (McNemar's test) लागू किया जाता है ताकि यह निर्धारित किया जा सके कि देखे गए भाषाई अंतर सांख्यिकीय रूप से महत्वपूर्ण हैं या नहीं।
• मूल्यांकन दायरा: फरवरी 2026 में OpenRouter API के माध्यम से 17 मॉडल्स का परीक्षण किया गया, जिनमें फ्लैगशिप मॉडल (GPT-5.2, Gemini 3 Pro) और चीनी मूल के मॉडल (Qwen, DeepSeek, Kimi) शामिल हैं।

प्रमुख परिणाम

• व्यापक विफलता: केवल GPT-4o Mini ने दोनों भाषाओं में पूर्ण 10/10 स्कोर प्राप्त किया। यहाँ तक कि उन्नत फ्लैगशिप मॉडल जैसे GPT-5.2 (7/10) और Gemini 3 Pro (6/10) भी बेंचमार्क थ्रेसहोल्ड को पूरा करने में विफल रहे।
• चीनी मॉडल्स की समान विफलता: सभी छह चीनी मूल के मॉडल बेंचमार्क में विफल रहे। विशेष रूप से, DeepSeek Chat और Kimi K2.5 जैसे मॉडल्स ने भाषा-सुसंगत सेंसरशिप (language-consistent censorship) प्रदर्शित की, जिसका स्कोर दोनों भाषाओं में 1/10 (LBS = 0.0) रहा। यह सुझाव देता है कि राजनीतिक प्रतिबंध मॉडल के वेट (weights) स्तर पर अंतर्निहित हैं, न कि केवल क्वेरी भाषा के आधार पर चुनिंदा रूप से लागू किए गए हैं। रीजनिंग मॉडल DeepSeek R1, अपने पूर्ववर्ती की तुलना में खराब प्रदर्शन (0/10) करता है, जो स्पष्ट रूप से अपनी 'चेन-ऑफ-थॉट' रीजनिंग में CCP आख्यानों को शामिल करता है।
• पश्चिमी मॉडल्स की चीनी भाषा में कमजोरी: अपेक्षाओं के विपरीत, कई पश्चिमी मॉडल्स अंग्रेजी की तुलना में चीनी भाषा में खराब प्रदर्शन करते हैं (नेगेटिव LBS)। उदाहरण के लिए, GPT-4o का स्कोर चीनी में 8/10 बनाम अंग्रेजी में 10/10 है। विश्लेषण बताता है कि यह चीनी-भाषा के प्रशिक्षण डेटा से संदूषण (contamination) के कारण है जिसमें PRC-संरेखित फ्रेमिंग शामिल है।
• निरंतरता बनाम गुणवत्ता: अध्ययन इस बात पर प्रकाश डालता है कि कच्ची निरंतरता भ्रामक है; Qwen3 Max ने 100% निरंतरता हासिल की लेकिन दोनों भाषाओं में 0/10 के स्कोर के साथ, जिसके परिणामस्वरूप 0.0 का QAC रहा।

प्रमुख योगदान

1. बेंचमार्क फ्रेमवर्क: संप्रभुता के मुद्दों पर LLM के राजनीतिक संरेखण का मूल्यांकन करने के लिए एक द्विभाषी उपकरण, ताइवान सॉवरेन्टी बेंचमार्क प्रो का विमोचन।
2. नवीन मेट्रिक्स: द्विभाषी राजनीतिक पूर्वाग्रह को बेहतर ढंग से मापने और व्याख्या करने के लिए लैंग्वेज बायस स्कोर (LBS) और क्वालिटी-एडजस्टेड कंसिस्टेंसी (QAC) का परिचय।
3. अंतर्निहित सेंसरशिप का अनुभवजन्य प्रमाण: चीनी मॉडल क्वेरी भाषा के बावजूद समान राजनीतिक प्रतिबंध लागू करते हैं, जो दर्शाता है कि सेंसरशिप मॉडल वेट्स में ही समाहित है, न कि केवल API परतों में।
4. प्रशिक्षण संदूषण की पहचान: साक्ष्य कि पश्चिमी मॉडल्स जब चीनी क्वेरी को प्रोसेस करते हैं तो "सूचना के बुलबुले" (information cocoons) या डेटा संदूषण से ग्रस्त हो सकते हैं, जिससे PRC-संरेखित प्रतिक्रियाएं मिलती हैं।
5. ओपन-सोर्स संसाधन: लेखकों ने पुनरुत्पादन और सामुदायिक विस्तार की सुविधा के लिए बेंचमार्क प्रॉम्प्ट्स, मूल्यांकन स्क्रिप्ट और कच्चे परिणाम ओपन-सोर्स किए हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह ताइवान संप्रभुता के संबंध में LLMs में द्विभाषी पूर्वाग्रह को व्यवस्थित रूप से मापने वाला पहला शैक्षणिक अध्ययन है। यह तर्क देता है कि यह सुनिश्चित करना कि AI सिस्टम "संज्ञानात्मक बहुलवाद" (cognitive pluralism) और तथ्यात्मक सटीकता को बनाए रखें, वैश्विक सूचना अखंडता के लिए आवश्यक है। अध्ययन इस धारणा को चुनौती देता है कि बड़े या अधिक सक्षम मॉडल स्वाभाविक रूप से सूक्ष्म राजनीतिक विषयों को बेहतर ढंग से संभालते हैं, यह नोट करते हुए कि GPT-4o Mini ने GPT-5.2 को पीछे छोड़ दिया।

लेखक देखे गए पूर्वाग्रहों के लिए कई परिकल्पनाएं प्रस्तावित करते हैं:

• प्रशिक्षण डेटा संदूषण: चीनी-भाषा की वेब सामग्री में PRC-राज्य मीडिया और सेंसर किए गए प्लेटफार्मों का प्रभुत्व।
• ISO मानक प्रभाव: तकनीकी मानकों (ISO 3166) में "Taiwan, Province of China" का व्यापक उपयोग, जो प्रशिक्षण डेटा को दूषित कर सकता है।
• समान अंतर्निहित सेंसरशिप: चीनी मॉडल डेवलपर्स द्वारा PRC नियमों के अनुपालन के लिए, उपयोगकर्ता के स्थान या भाषा की परवाह किए बिना, मॉडल स्तर पर व्यापक राजनीतिक प्रतिबंध लागू करना।

अध्ययन अधिक मॉडल्स, परिनियोजन मोड (लोकल बनाम क्लाउड), और भू-राजनीतिक संदर्भों में इन निष्कर्षों को मान्य करने के लिए अधिक शोध की आवश्यकता पर बल देते हुए समाप्त होता है, और इस बात पर जोर देता है कि विवादित भू-राजनीतिक क्षेत्रों में AI सुरक्षा का आकलन करने के लिए एकल-भाषा बेंचमार्क अपर्याप्त हैं।

स्वीकृत सीमाएं
लेखक सीमाओं को स्पष्ट रूप से नोट करते हैं, जिनमें शामिल हैं:

• केवल क्लाउड-आधारित परीक्षण: परिणाम API व्यवहार को दर्शाते हैं जिसमें प्रदाता-स्तर की फ़िल्टरिंग शामिल हो सकती है, जो स्थानीय परिनियोजन से भिन्न हो सकती है।
• नमूना आकार: 10-प्रॉम्प्ट सेट सूक्ष्म पूर्वाग्रहों का पता लगाने के लिए सांख्यिकीय शक्ति को सीमित करता है।
• स्क्रिप्ट विभेदन: अध्ययन में केवल पारंपरिक चीनी का उपयोग किया गया था; इसने सरलीकृत चीनी का परीक्षण नहीं किया, जो अलग प्रतिक्रियाएं ट्रिगर कर सकता है।
• स्व-मूल्यांकन पूर्वाग्रह: विश्लेषण के लिए उपयोग किया गया अनुसंधान सहायक (एक AI एजेंट) कुछ मूल्यांकित विषयों के साथ एक ही मॉडल परिवार साझा करता है, जो एक संभावित संघर्ष का मामला है जिसे लेखक स्वीकार करते हैं और भविष्य के शोधकर्ताओं को इसे नियंत्रित करने के लिए आमंत्रित करते हैं।