An Investigation of Linguistic Biases in LLM-Based Recommendations
यह अध्ययन दक्षिणी अमेरिकी, भारतीय और कोड-स्विच्ड हिंदी-अंग्रेजी बोलियों में एलएलएम-आधारित (LLM-based) रेस्तरां और उत्पाद अनुशंसाओं में भाषाई पूर्वाग्रहों की जांच करता है, जो यह प्रकट करता है कि विशिष्ट मॉडल परिवार भारतीय अंग्रेजी और कोड-स्विच्ड प्रॉम्प्ट के प्रति अत्यधिक संवेदनशीलता प्रदर्शित करते हैं, जिससे केवल मॉडल के आकार के आधार पर सुसंगत रुझानों के बिना विशिष्ट भिन्नताएं उत्पन्न होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास डिजिटल शेफ (AI मॉडल्स) का एक समूह है जो बहुत बुद्धिमान हैं और इस बात के विशेषज्ञ हैं कि आपको क्या खाना चाहिए या क्या खरीदना चाहिए। आप उनसे बिल्कुल एक ही सवाल पूछते हैं: "मुझे भूख लगी है, क्या अच्छा है खाने के लिए?" या "मुझे एक नई शर्ट चाहिए, आप क्या सुझाव देते हैं?"
लेकिन यहाँ एक ट्विस्ट है: आप सवाल को तीन अलग-अलग "लहजों" या बोलने की शैलियों में पूछते हैं:
- साउदर्न अमेरिकन इंग्लिश: दक्षिण अमेरिका के एक मिलनसार पड़ोसी की तरह।
- इंडियन इंग्लिश: भारत में अंग्रेजी बोलने का एक विशिष्ट तरीका।
- कोड-स्विच्ड (Code-Switched): अंग्रेजी और हिंदी का मिश्रण, जैसे "अरे यार, I'm dying of hunger!"
शोधकर्ता यह देखना चाहते थे कि क्या ये डिजिटल शेफ आपको अलग-अलग जवाब देंगे क्योंकि आपने सवाल किस "लहजे" में पूछा है, भले ही आपने पूछा एक ही था। उन्होंने AI के साथ एक "कोल्ड स्टार्ट" शेफ की तरह व्यवहार किया—जिसका अर्थ है कि उन्होंने AI को आपकी पिछली पसंद या नापसंद के बारे में कोई इतिहास नहीं दिया, बस सवाल और विकल्पों की एक सूची दी।
प्रयोग: "मेन्यू" टेस्ट
शोधकर्ताओं ने AI को 100 रेस्टोरेंट्स (आधे अमेरिकी, आधे भारतीय) और 100 उत्पादों (जैसे कपड़े, घरेलू सामान, या सौंदर्य प्रसाधन) की एक लंबी, संतुलित सूची दी। उन्होंने AI से उनके शीर्ष 20 पसंदीदा चुनने के लिए कहा, जो विशेष रूप से पूछे गए "लहजे" पर आधारित हों। उन्होंने अलग-अलग सूचियों के साथ इसे सैकड़ों बार किया ताकि यह सुनिश्चित हो सके कि परिणाम वास्तविक हैं और केवल कोई इत्तेफाक नहीं।
उन्हें क्या मिला: "लहजा" मायने रखता है
अध्ययन में पाया गया कि AI का "स्वाद" लहजे के आधार पर बदल जाता है, ठीक वैसे ही जैसे एक इंसान आपकी पसंद का अनुमान आपके लहजे से लगा सकता है।
1. रेस्टोरेंट के परिणाम:
- पैटर्न: जब इंडियन इंग्लिश या कोड-स्विच्ड (हिंदी-अंग्रेजी) में पूछा गया, तो AI द्वारा भारतीय रेस्टोरेंट्स की सिफारिश करने की संभावना बहुत अधिक थी। जब साउदर्न अमेरिकन इंग्लिश में पूछा गया, तो इसने कम भारतीय रेस्टोरेंट्स की सिफारिश की।
- "बिग ब्रेन" प्रभाव: परीक्षण किए गए सबसे बड़े AI मॉडल (Llama-3.1-70B) ने इन लहजों के प्रति सबसे अधिक संवेदनशीलता दिखाई। यह एक ऐसे शेफ की तरह था जो, किसी विशिष्ट लहजे को सुनकर, तुरंत सोचता है, "आह, इस व्यक्ति को भारतीय भोजन चाहिए होगा," और बिना यह कहे कि "मुझे भारतीय खाना चाहिए," एक प्लेट परोस देता है।
- "सबसे स्मार्ट" शेफ: दिलचस्प बात यह है कि GPT-OSS मॉडल (जो अपने तर्क कौशल के लिए जाने जाते हैं) लहजे से सबसे कम प्रभावित हुए। वे शब्दों के "फ्लेवर" को अनदेखा करने और वास्तव में उनके अर्थ पर ध्यान केंद्रित करने में सक्षम दिखे, जो एक ऐसे शेफ की तरह व्यवहार करते हैं जो कहता है, "आपने कहा कि आपको भूख लगी है; यहाँ पूरे मेन्यू से एक संतुलित भोजन है," चाहे आपने कैसे भी पूछा हो।
2. उत्पाद के परिणाम:
- पैटर्न: AI ने लहजे के आधार पर अपनी खरीदारी के सुझावों को भी बदला।
- कोड-स्विच्ड प्रॉम्प्ट्स अक्सर होम, स्पोर्ट्स और क्लोदिंग (घर, खेल और कपड़े) से जुड़ी वस्तुओं की अधिक सिफारिशों की ओर ले गए।
- इंडियन इंग्लिश प्रॉम्प्ट्स अक्सर अधिक ब्यूटी (सौंदर्य) उत्पादों की सिफारिशों की ओर ले गए।
- आकार हमेशा ठीक नहीं करता: आमतौर पर, हम सोचते हैं कि बड़े AI मॉडल "स्मार्टर" होते हैं और कम पक्षपाती होते हैं। लेकिन यहाँ, बड़े मॉडल हमेशा बेहतर व्यवहार नहीं करते थे। कभी-कभी, बड़े मॉडल छोटे मॉडलों की तुलना में लहजे के प्रति अधिक संवेदनशील थे, और कभी-कभी कम। इस पूर्वाग्रह को ठीक करने के लिए "बड़ा बेहतर है" जैसा कोई सरल नियम नहीं था।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि ये AI सिस्टम न केवल आपके शब्दों के अर्थ को पढ़ रहे हैं; वे आपके शब्दों की शैली पर भी प्रतिक्रिया दे रहे हैं।
इसे एक वेटर की तरह समझें जो, एक विशिष्ट लहजे को सुनकर, यह मान लेता है कि आप एक विशिष्ट प्रकार का व्यंजन चाहते हैं और आपके ऑर्डर देने से पहले ही उसे ले आता है। हालांकि यह कभी-कभी मददगार हो सकता है, शोधकर्ता चेतावनी देते हैं कि यह एक समस्या हो सकती है। इसका मतलब है कि AI आपकी भाषा के आधार पर यह धारणा बना रहा है कि आप कौन हैं और आपको क्या पसंद है, जो आपकी पसंद को सीमित कर सकता है और रूढ़ियों (stereotypes) को बढ़ावा दे सकता है।
संक्षेप में: यदि आप किसी अलग बोली में AI से सवाल पूछते हैं, तो यह आपको सिफारिशों की एक अलग सूची दे सकता है, भले ही आपने बिल्कुल एक ही चीज़ पूछी हो। AI आपके "शब्दों" को नहीं, बल्कि आपकी "आवाज़" को सुन रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।