Language Bias under Conflicting Information in Multilingual LLMs
यह अध्ययन प्रकट करता है कि बहुभाषी लार्ज लैंग्वेज मॉडल्स (Large Language Models) विरोधाभासी जानकारी को सुलझाते समय लगातार भाषाई पूर्वाग्रह प्रदर्शित करते हैं, जो आमतौर पर एक एकल उत्तर का दावा करने के लिए संघर्ष को अनदेखा करते हैं और विभिन्न मॉडल आकारों एवं प्रशिक्षण मूलों में व्यवस्थित रूप से चीनी का पक्ष लेते हुए रूसी को कम महत्व देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुभाषी लाइब्रेरियन "LLM" को एक विशाल पुस्तकालय के भीतर छिपे एक विशिष्ट तथ्य को खोजने के लिए काम पर रख रहे हैं। लेकिन यहाँ एक मोड़ है: पुस्तकालय में एक ही चीज़ के बारे में दो अलग-अलग संस्करण लिखे हैं, जो अलग-अलग भाषाओं में हैं, और वे एक-दूसरे का खंडन करते हैं।
यह शोध पत्र, जिसका शीर्षक "Multilingual LLMs में विरोधात्मक जानकारी के तहत भाषाई पूर्वाग्रह (Language Bias under Conflicting Information in Multilingual LLMs)" है, एक जासूसी कहानी की तरह है जहाँ लेखक यह परीक्षण करते हैं कि जब इस लाइब्रेरियन के सामने ऐसे भ्रमित करने वाले, विरोधाभासी सुराग आते हैं, तो वह कैसा व्यवहार करता है।
यहाँ उनके अन्वेषण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. सेटअप: द "नीडल इन अ हेस्टैक" (घास के ढेर में सुई) गेम
एक विशाल घास के ढेर (टेक्स्ट का एक बड़ा ढेर) की कल्पना करें जिसमें हजारों समाचार लेख हैं। इसके अंदर दो छोटी सुइयां (विशिष्ट तथ्य) छिपी हुई हैं।
- सुई A कहती है: "कंपनी X का CEO जॉन है।"
- सुधी B कहती है: "कंपनी X का CEO सारा है।"
लेखकों ने इन सुइयों को अलग-अलग भाषाओं (अंग्रेजी, चीनी, रूसी, जर्मन, तुर्की) में इस ढेर में रखा। कभी-कभी दोनों सुइयां अंग्रेजी में होती हैं; कभी-कभी एक अंग्रेजी में और दूसरी रूसी में होती है। फिर वे AI से पूछते हैं: "CEO कौन है?"
2. बड़ा आश्चर्य: लाइब्रेरियन संघर्ष को अनदेखा कर देता है
लेखक उम्मीद कर रहे थे कि AI कहेगा, "रुको, मुझे दो अलग-अलग नाम दिख रहे हैं! मैं निर्णय नहीं ले सकता।"
इसके बजाय, AI एक जिद्दी खच्चर की तरह व्यवहार कर रहा था।
लगभग हर बार (लगभग 90% मामलों में), AI ने आत्मविश्वास के साथ एक नाम चुना और दूसरे को पूरी तरह से अनदेखा कर दिया। उसे विरोधाभास का एहसास ही नहीं हुआ। उसने बस एक पक्ष चुना और उस पर अड़ा रहा, भले ही वह "घास का ढेर" एक पूरी विश्वकोश जितना बड़ा क्यों न हो।
रूपक (Metaphor): यह एक शेफ से दो सूपों का स्वाद चखने के लिए कहने जैसा है जिनके स्वाद विपरीत हैं (एक नमकीन, एक मीठा) और फिर रेसिपी पूछने जैसा है। यह कहने के बजाय कि, "ये अलग हैं," शेफ बस एक स्वाद चुन लेता है और उसे परोस देता है, यह नाटक करते हुए कि दूसरा अस्तित्व में ही नहीं है।
3. असली रहस्य: क्या भाषा मायने रखती है?
चूंकि AI संघर्ष को पहचानने में सक्षम नहीं था, इसलिए लेखकों ने पूछा: "क्या वह भाषा जिसमें तथ्य लिखा गया है, यह बदल देती है कि AI किसे चुनेगा?"
उन्होंने एक बहुत ही स्पष्ट पैटर्न पाया, जैसे AI द्वारा पालन किया जाने वाला कोई छिपा हुआ नियम पुस्तिका हो:
- "रूसी" दंड (The "Russian" Penalty): चाहे उन्होंने किसी भी AI मॉडल का परीक्षण किया हो (सबसे नए, सबसे स्मार्ट वाले भी), यदि एक तथ्य रूसी में लिखा गया था, तो AI लगभग हमेशा उसे अनदेखा कर देता था। ऐसा लग रहा था जैसे AI की रूसी टेक्स्ट के लिए एक 'ब्लाइंड स्पॉट' (अंध बिंदु) है।
- "चीनी" प्रोत्साहन (The "Chinese" Boost): यदि संदर्भ बहुत लंबा और कठिन था, तो AI ने चीनी में लिखे गए तथ्यों के प्रति आश्चर्यजनक प्राथमिकता दिखाई। वह अन्य विकल्पों की तुलना में चीनी उत्तर को चुनने की अधिक संभावना रखता था।
- "अंग्रेजी" तटस्थ क्षेत्र (The "English" Neutral Zone): अंग्रेजी के साथ आमतौर पर निष्पक्ष व्यवहार किया गया, जब तक कि AI चीन में प्रशिक्षित न हो, जिसके मामले में वह अंग्रेजी की तुलना में गैर-अंग्रेजी उत्तरों को थोड़ा प्राथमिकता देता था।
रूपक: एक अदालत में एक जज की कल्पना करें। भले ही दोनों वकील (सुइयां) वैध सबूत पेश कर रहे हों, जज के मन में एक अवचेतन पूर्वाग्रह है। यदि वकील रूसी बोलता है, तो जज शायद ही उसे सुनता है। यदि वकील चीनी बोलता है, तो जज आगे झुककर बहुत ध्यान से सुनता है। जज को पता भी नहीं चलता कि वह ऐसा कर रहा है; वह बस सोचता है कि वह निष्पक्ष हो रहा है।
4. क्या AI का जन्म स्थान मायने रखता है?
लेखकों ने पश्चिम (USA, यूरोप) और पूर्व (चीन) में निर्मित AI का परीक्षण किया।
- समानताएं: दोनों समूहों को रूसी तथ्यों से नफरत थी और चीनी तथ्यों के प्रति प्रेम था।
- अंतर: चीनी-प्रशिक्षित AI में अंग्रेजी के प्रति थोड़ा अतिरिक्त पूर्वाग्रह था, जो अपनी स्थानीय भाषाओं या चीनी को प्राथमिकता देता था।
रूपक: यह दो अलग-अलग विचारधाराओं के स्कूल जैसा है। एक न्यूयॉर्क में है, एक बीजिंग में। दोनों में रूसी वक्ताओं के प्रति एक अजीब सी एलर्जी और चीनी वक्ताओं के प्रति एक समान प्रेम है, लेकिन बीजिंग स्कूल में अंग्रेजी बोलने वालों के प्रति थोड़ा अतिरिक्त द्वेष भी है।
5. हमें इसकी परवाह क्यों करनी चाहिए?
यह डरावना है क्योंकि हम इन AI का उपयोग समाचारों का सारांश बनाने, तथ्यों की जांच करने और निर्णय लेने के लिए करते हैं।
- समस्या: यदि आप किसी ऐसे समाचार लेख का सारांश मांगते हैं जहाँ एक रूसी स्रोत और एक अंग्रेजी स्रोत असहमत हैं, तो AI संभवतः आपको केवल वही बताएगा जो अंग्रेजी स्रोत ने कहा और यह नाटक करेगा कि रूसी स्रोत कभी अस्तित्व में ही नहीं था।
- परिणाम: AI केवल "हैलुसिनेशन" (मनगढ़ंत बातें बनाना) नहीं कर रहा है; यह व्यवस्थित रूप से पूरी भाषाओं को अनदेखा कर रहा है।
निष्कर्ष (The Takeaway)
लेखक निष्कर्ष निकालते हैं कि वर्तमान AI मॉडल "उसने कहा, उसने कहा" जैसी स्थितियों को संभालने में बहुत खराब हैं। वे साक्ष्य को तौलने वाले बुद्धिमान न्यायाधीशों की तरह व्यवहार नहीं करते; वे पक्षपाती प्रशंसकों की तरह व्यवहार करते हैं जो केवल उसी टीम को सुनते हैं जिसे वे पसंद करते हैं।
यहाँ तक कि सबसे उन्नत मॉडल भी (जैसे कि शोध पत्र में उल्लेखित काल्पनिक "GPT-5.2") इस बुनियादी परीक्षण में विफल रहते हैं। वे आपको आत्मविश्वास के साथ एक एकल उत्तर देते हैं, इस बात से पूरी तरह अनजान कि वे उस आधी कहानी को अनदेखा कर रहे हैं जो उस भाषा में लिखी गई थी जिसे वे पसंद नहीं करते।
संक्षेप में: यदि आप AI से सच्चाई जानना चाहते हैं, तो केवल उससे पूछें नहीं। उसे उस भाषा में पूछें जिसे वह पसंद करता है, क्योंकि यदि आप उस भाषा में पूछते हैं जिसे वह नापसंद करता है (जैसे इस अध्ययन में रूसी), तो वह ऐसा व्यवहार कर सकता है जैसे आपने कभी पूछा ही न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।