Topics as Proxies for Sociodemographics: How Conversational Context Affects LLM Answers
यह शोध पत्र यह प्रकट करता है कि जहाँ बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) बातचीत के इतिहास से उपयोगकर्ता के सामाजिक-जनसांख्यिकीय विवरणों का सटीक अनुमान लगाने में संघर्ष करते हैं, वहीं उच्च-दांव वाले परामर्श (हाई-स्टेक्स एडवाइस) में असमानताएँ मुख्य रूप से जनसांख्यिकी के बजाय बातचीत के विषयों द्वारा उपयोगकर्ता समूहों के अप्रत्याशित प्रॉक्सी के रूप में कार्य करने के कारण संचालित होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित, सलाह देने वाली दुकान में जा रहे हैं। आप एक रोबोट क्लर्क (लार्ज लैंग्वेज मॉडल, या LLM) के साथ बैठते हैं और उससे एक गंभीर सवाल पूछते हैं, जैसे "मुझे कितनी सैलरी मांगनी चाहिए?" या "क्या यह मेडिकल लक्षण गंभीर है?"
लंबे समय तक, लोगों को इस बात की चिंता थी कि क्या वह रोबोट क्लर्क आपको देख रहा है—आपकी उम्र, आपका लिंग, आपकी जाति, या आप कहाँ रहते हैं—और क्या वह किसी दूसरे व्यक्ति को आपसे अलग जवाब देगा। इसे "डेमोग्राफिक बायस" (जनसांख्यिकीय पूर्वाग्रह) कहा जाता है।
यह पेपर एक जासूसी कहानी की तरह है जो यह जांच करती है कि क्या रोबोट वास्तव में आपकी पहचान के आधार पर आपको जज कर रहा है, या वह किसी और चीज़ के आधार पर आपको जज कर रहा है।
बड़ी खोज: यह इस बारे में नहीं है कि आप कौन हैं, बल्कि इस बारे में है कि आप किस विषय पर बात कर रहे हैं
शोधकर्ताओं को कहानी में एक चौंकाने वाला मोड़ मिला।
"पहचान" का मिथक:
सबसे पहले, उन्होंने परीक्षण किया कि क्या रोबलेट आपकी चैट हिस्ट्री को सुनकर यह पता लगा सकता है कि आप कौन हैं। उन्होंने रोबोट से पूछा, "हमारी बातचीत के आधार पर, आपकी उम्र और लिंग क्या है?"
- परिणाम: रोबोट अंदाजा लगाने में बहुत बुरा था। यह सिक्का उछालकर अनुमान लगाने से थोड़ा ही बेहतर था। यहाँ तक कि जब उन्होंने रोबोट के "दिमाग" (इसके आंतरिक कोड) के अंदर झाँका कि क्या उसे गुप्त रूप से यह पता है, तो जवाब अभी भी "नहीं" था। रोबोट के पास आपकी जनसांख्यिकी की कोई स्पष्ट मानसिक तस्वीर नहीं है।
"विषय" की वास्तविकता:
तो, यदि रोबोट नहीं जानता कि आप कौन हैं, तो अलग-अलग लोगों को अलग-अलग सलाह क्यों मिलती है?
शोधकर्ताओं ने पाया कि रोबोट वास्तव में एक विषय-प्रेमी (topic-obsessed) मशीन है। उसे इस बात से बहुत फर्क नहीं पड़ता कि आप कौन हैं, बल्कि इससे फर्क पड़ता है कि आप किस बारे में बात कर रहे हैं।
इसे एक रेस्टोरेंट मेनू की तरह समझें।
- यदि आप "लक्जरी स्टेक डिनर" ऑर्डर करते हैं, तो रोबोट मान लेता है कि आपका बजट अधिक है और वह उच्च वेतन का सुझाव देता है।
- यदि आप "बजट-फ्रेंडली सैंडविच" ऑर्डर करते हैं, तो वह मान लेता है कि आप पैसे बचाने की कोशिश कर रहे हैं और कम वेतन का सुझाव देता है।
समस्या यह है कि आपके जीवन के चुनाव (आपकी जनसांख्यिकी) अक्सर यह तय करते हैं कि आप क्या ऑर्डर करेंगे।
- कम उम्र के लोग "नौकरी की तलाश" (एक ऐसा विषय जो कम वेतन की सलाह की ओर ले जाता है) के बारे में अधिक बात कर सकते हैं।
- अमीर लोग "लक्जरी ट्रैवल" (एक ऐसा विषय जो उच्च वेतन की सलाह की ओर ले जाता है) के बारे में अधिक बात कर सकते हैं।
रोबोट यह नहीं कह रहा है, "आप युवा हैं, इसलिए मैं आपको कम भुगतान करूँगा।" वह कह रहा है, "आप नौकरी की तलाश के बारे में बात कर रहे हैं, इसलिए मैं आपको कम भुगतान करूँगा।" लेकिन क्योंकि युवा लोग स्वाभाविक रूप से नौकरी की तलाश के बारे में अधिक बात करते हैं, इसलिए ऐसा लगता है कि रोबol युवाओं के साथ भेदभाव कर रहा है।
"प्रॉक्सी" (Proxy) रूपक
पेपर बातचीत के विषयों को "प्रॉक्सी" कहता है।
कल्पना कीजिए कि आप किसी की लंबाई का अनुमान लगाने की कोशिश कर रहे हैं।
- प्रत्यक्ष विधि (Direct Method): आप उन्हें इंची टेप से मापते हैं (यह रोबोट द्वारा आपकी उम्र/लिंग का सीधे अनुमान लगाने की कोशिश है)। पेपर कहता है कि रोबोट इसमें बुरा है।
- प्रॉक्सी विधि (Proxy Method): आप देखते हैं कि उन्होंने क्या पहना है। यदि वे बच्चे की छोटी टी-शर्ट पहने हुए हैं, तो आप अनुमान लगाते हैं कि वे छोटे हैं। यदि वे एक बड़ा वयस्क कोट पहने हुए हैं, तो आप अनुमान लगाते हैं कि वे लंबे हैं।
पेपर का तर्क है कि बातचीत के विषय "कपड़े" हैं। रोबोट "जॉब हंटिंग" वाली शर्ट देखता है और "लो सैलरी" साइज का अनुमान लगा लेता है, भले ही वह वास्तव में व्यक्ति की उम्र न जानता हो।
यह समस्या कितनी बड़ी है?
शोधकर्ताओं ने जांचा कि क्या यह "कपड़े" वाला मुद्दा वास्तव में वास्तविक जीवन में परिणाम बदलता है।
- अच्छी खबर: अंतर आश्चर्यजनक रूप से कम हैं। भले ही रोबोट विभिन्न समूहों को अलग-अलग उत्तर देता है, लेकिन अंतर बहुत मामूली है। सैलरी के सवालों के लिए, अंतर अक्सर हजारों में से केवल कुछ सौ डॉलर का था। दूसरे शब्दों में, रोबोट बहुत अधिक अन्यायपूर्ण नहीं है; यह बस थोड़ा असंगत है।
- बुरी खबर: कानूनी या चिकित्सा सलाह जैसे उच्च-दांव (high-stakes) वाले मामलों में छोटे अंतर भी मायने रखते। और क्योंकि पूर्वाग्रह "विषय" (कपड़ों) के भीतर छिपा हुआ है न कि "पहचान" (व्यक्ति) के भीतर, इसलिए इसे पहचानना और ठीक करना बहुत कठिन है।
"जादुई मंत्र" का प्रयास
शोधकर्ताओं ने एक सरल सुधार आजमाया: उन्होंने रोबोट को कहा, "हे, उपयोगकर्ता की पृष्ठभूमि को अपने उत्तर को प्रभावित न करने दो। निष्पक्ष बनो!"
- परिणाम: यह राजनीतिक सवालों के लिए थोड़ा काम आया, लेकिन सैलरी या लाभ (benefits) के सवालों के लिए इसने बहुत कम मदद की। रोबोट विषय के प्रति इतना ट्यून है कि एक साधारण "निष्पक्ष रहो" का आदेश उसे बातचीत के संकेतों का पीछा करने से नहीं रोक पाता।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि जब हम AI पूर्वाग्रह की चिंता करते हैं, तो हमें केवल इस बात पर नहीं देखना चाहिए कि AI आपकी जाति या लिंग को जानता है या नहीं। हमें इस पर भी देखना होगा कि आप किस बारे में बात कर रहे हैं।
रोबोट आपके "होने" के लिए आपको जज नहीं कर रहा है; वह उस कहानी के लिए आपको जज कर रहा है जो आप सुना रहे हैं। और चूंकि अलग-अलग समूह के लोग स्वाभाविक रूप से अलग-अलग कहानियाँ सुनाते हैं (वास्तविक जीवन की परिस्थितियों के कारण), इसलिए रोबोट अलग-अलग सलाह देता है, इसलिए नहीं कि वह नस्लवादी या लिंगभेदी है, बल्कि इसलिए क्योंकि वह एक "विषय का अनुयायी" (topic follower) है जो आपकी बातचीत को अपनी स्थिति का अनुमान लगाने के लिए एक शॉर्टकट के रूप में उपयोग करता है।
संक्षेप में: रोबोट नहीं जानता कि आप कौन हैं, लेकिन वह जानता है कि आप किस बारे में बात कर रहे हैं, और उसका निर्णय बदलने के लिए इतना पर्याप्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।