DAIQ: Auditing Demographic Attribute Inference from Question in LLMs
यह शोध पत्र DAIQ प्रस्तुत करता है, जो एक ऐसा नैदानिक ढांचा (diagnostic framework) है जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स अक्सर और निरंतर सीखे गए जनसंख्या पूर्वग्रहों (population priors) पर भरोसा करके तटस्थ प्रश्नों से संवेदनशील जनसांख्यिकीय गुणों का अनुमान लगाते हैं, जिससे वर्तमान पूर्वाग्रह मूल्यांकनों में एक महत्वपूर्ण अंतराल उजागर होता है और यह प्रदर्शित होता है कि अपवर्जन-उन्मुख प्रॉम्प्टिंग (abstention-oriented prompting) इस ज्ञान संबंधी अतिरेक (epistemic overreach) को प्रभावी ढंग से कम कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कमरे में प्रवेश करते हैं और एक बहुत ही बुद्धिमान, सुशिक्षित बटलर (बड़ा नौकर) से एक साधारण प्रश्न पूछते हैं: "क्रूज पर जाने से पहले मुझे क्या जानना चाहिए?"
आपने उसे अपना नाम, अपनी उम्र, अपना काम या अपनी पृष्ठभूमि नहीं बताई है। आपने बस एक तटस्थ प्रश्न पूछा है।
इस शोध पत्र के अनुसार, कई आधुनिक AI "बटलर" (लार्ज लैंग्वेज मॉडल्स) केवल उत्तर नहीं देते। वे तुरंत यह अनुमान लगाने लगते हैं कि आप कौन हैं। वे यह तय कर सकते हैं कि आपके प्रश्न पूछने के तरीके के आधार पर, आप संभवतः एक धनी, शिक्षित, श्वेत पुरुष हैं जो शहर में रहता है।
इससे भी बुरा यह है कि वे अक्सर अपना उत्तर इस तरह से लिखते हैं जैसे वे उस विशिष्ट व्यक्ति से बात कर रहे हों, जो उनके अनुमान के अनुकूल लहजा या शैली का उपयोग करता है, भले ही उनके पास इस बात का कोई प्रमाण न हो कि आप वही व्यक्ति हैं।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है:
1. समस्या: "मन पढ़ने वाला" बटलर
शोधकर्ताओं ने DAIQ (डेमोग्राफिक एट्रिब्यूट इन्फरेंस फ्रॉम क्वेश्चन्स) नामक एक परीक्षण बनाया। इसे AI के लिए एक "झूठ पकड़ने वाली मशीन" (Lie Detector) समझें।
- सेटअप: उन्होंने 18 अलग-अलग AI मॉडल्स (जैसे GPT, Claude, Llama) से 200 से अधिक तटस्थ प्रश्न पूछे।
- जाल: प्रश्न इस तरह से डिज़ाइन किए गए थे कि कोई भी केवल प्रश्न पढ़कर पूछने वाले के लिंग, जाति, आय या शिक्षा का पता नहीं लगा सकता था।
- परिणाम: "मुझे नहीं पता कि आप कौन हैं" कहने के बजाय, अधिकांश AI अनुमान लगाने लगे। वे ऐसे व्यवहार करने लगे जैसे उनके पास कोई भविष्य बताने वाला यंत्र हो।
- "डिफ़ॉल्ट" सेटिंग: जब उन्होंने अनुमान लगाया, तो वे लगभग हमेशा "प्रमुख" समूह का अनुमान लगाते थे। उन्होंने "महिला" के बजाय "पुरुष", "श्वेत" के बजाय "अश्वेत", "गरीब" के बजाय "धनी" और "ग्रामीण" के बजाय "शहरी" का अनुमान लगाया।
- बहाना: जब उनसे पूछा गया कि उन्होंने ऐसा अनुमान क्यों लगाया, तो AI ने रूढ़ियों (Stereotypes) के आधार पर कारण दिए। उदाहरण के लिए, उन्होंने अनुमान लगाया कि क्रूज के बारे में पूछने वाला व्यक्ति "धनी" है क्योंकि "केवल अमीर लोग ही क्रूज पर जाते हैं," या "महिला" है क्योंकि "महिलाएं यात्रा की योजना बेहतर बनाती हैं।"
2. "साइलेंट पर्सनलाइजेशन" (मौन वैयक्तिकरण)
शोध में पाया गया कि ये अनुमान केवल हानिरहित जानकारी नहीं हैं। वे वास्तव में उत्तर को बदल देते हैं।
- उपमा: कल्पना कीजिए कि दो लोग "नल ठीक करने" के बारे में एक ही प्रश्न पूछते हैं।
- यदि AI अनुमान लगाता है कि पूछने वाला एक पुरुष है, तो वह तकनीकी, शब्दावली से भरा उत्तर दे सकता है।
- यदि AI अनुमान लगाता है कि पूछने वाला एक महिला है, तो वह सरल, अधिक "मार्गदर्शन देने वाला" उत्तर दे सकता है।
- वास्तविकता: शोधकर्ताओं ने पाया कि AI का उत्तर उसके अनुमान से सूक्ष्म रूप से आकार ले रहा था, न कि उपयोगकर्ता के वास्तविक प्रश्न से। इसे "साइलेंट पर्सनलाइजेशन" कहा जाता है। AI आपके साथ उस तरह से व्यवहार कर रहा है जैसा वह अपने दिमाग में बनाए गए रूढ़िवादी धारणा के आधार पर करता है।
3. बड़ा होना हमेशा बेहतर नहीं होता
आप सोच सकते हैं, "यदि मैं एक बहुत ही स्मार्ट, विशाल AI का उपयोग करता हूँ, तो वह अधिक सावधान होगा।"
- निष्कर्ष: जरूरी नहीं। कुछ सबसे बड़े, महंगे मॉडल्स वास्तव में अनुमान लगाने से खुद को रोकने में अधिक खराब थे। वे अपने गलत अनुमानों में बहुत आश्वस्त थे।
- अपवाद: कुछ छोटे या विशेष रूप से "एलाइनड" (संरेखित) मॉडल्स यह कहने में बेहतर थे कि "मुझे नहीं पता," लेकिन वे शिक्षा या आय जैसे विषयों पर फिर भी चूक गए।
4. समाधान: "रुकें और सोचें" प्रॉम्प्ट
शोधकर्ताओं ने AI को अनुमान लगाने से रोकने के लिए एक सरल तरकीब आजमाई। उन्होंने प्रॉम्प्ट में एक विशिष्ट निर्देश जोड़ा, जो मूल रूप से AI को यह बता रहा था: "उपयोगकर्ता कौन है इसका अनुमान न लगाएं। यदि आपके पास प्रमाण नहीं है, तो बस कह दें कि आप नहीं जानते।"
- परिणाम: यह एक जादुई स्विच की तरह काम कर गया। इसके लिए AI को फिर से प्रशिक्षित करने या उसका कोड बदलने की आवश्यकता नहीं थी। इसके लिए बस एक बेहतर निर्देश की आवश्यकता थी।
- परिणाम: AI ने लगभग पूरी तरह से अपने उपयोगकर्ताओं की जाति, लिंग और स्थान का अनुमान लगाना बंद कर दिया। वे अपनी अनिश्चितता के बारे में बहुत अधिक ईमानदार हो गए।
5. मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हम AI के पक्षपात (Bias) का परीक्षण गलत तरीके से कर रहे हैं।
- पुराना तरीका: हम पूछते हैं, "यदि मैं AI को बता दूँ कि उपयोगकर्ता अश्वेत है, तो क्या वह उनके साथ अनुचित व्यवहार करता है?"
- नया तरीका (DAIQ): हमें यह पूछने की आवश्यकता है, "यदि मैं AI को कुछ भी नहीं बताता हूँ, तो क्या वह उपयोगकर्ता के लिए एक जाति का आविष्कार करता है और फिर उस आविष्कार के आधार पर अनुचित व्यवहार करता है?"
लेखकों का निष्कर्ष है कि एक AI की अनुमान लगाने से बचने (Abstention) की क्षमता उतनी ही महत्वपूर्ण है जितनी कि तथ्यों को जानने पर निष्पक्ष होने की क्षमता। यदि कोई AI बिना सबूत के अपने अनुमानों में आश्वस्त है, तो यह गोपनीयता और निष्पक्षता के लिए एक जोखिम है।
संक्षेप में: यह शोध पत्र दिखाता है कि कई AI उन अत्यधिक उत्साही जासूसों की तरह हैं जो एक वाक्य के आधार पर आपके पूरे जीवन की कहानी मान लेते हैं, और उन धारणाओं पर कार्य करते हैं। अच्छी खबर यह है कि हम उन्हें बात करने के बेहतर तरीके से अनुमान लगाना छोड़ना सिखा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।