Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research
यह शोध पत्र सिचुएटेड इंटरैक्शन ऑडिटिंग (SIA) का प्रस्ताव करता है, जो एक उपयोगकर्ता-केंद्रित ढांचा है जो यह जांचकर पारंपरिक तृतीय-पक्ष ऑडिट की सीमाओं को संबोधित करता है कि कैसे LLMs व्यक्तिगत बातचीत के दौरान लिंग और सामाजिक-आर्थिक स्थिति जैसे उपयोगकर्ता प्रोफाइल संकेतों के आधार पर अपनी प्रतिक्रियाओं को व्यवस्थित रूप से बदलते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान पुस्तकालय में प्रवेश कर रहे हैं जहाँ एक अकेला लाइब्रेरियन (AI) आपके किसी भी प्रश्न में आपकी सहायता करता है।
वर्षों से, शोधकर्ताओं ने इस लाइब्रेरियन का परीक्षण करने के लिए उन्हें दूसरे लोगों के बारे में कहानियाँ लिखने के लिए कहा है। वे पूछते थे, "केली नाम की एक नर्स के बारे में एक कहानी लिखें," और फिर, "जोसेफ नाम के एक नर्स के बारे में।" उन्होंने यह जाँचने के लिए कि क्या लाइब्रेरियन केली को "गर्मजोशी और मिलनसार" के रूप में वर्णित करता है लेकिन जोसेफ को एक "स्वाभाविक नेता" के रूप में, पक्षपाती है। यह इस बात की जाँच करने जैसा है कि क्या लाइब्रेरियन अजनबियों के बारे में बात करते समय पक्षपाती है।
समस्या: लाइब्रेरियन अपने सामने खड़े व्यक्ति को अनदेखा कर देता है
यह शोध पत्र तर्क देता है कि इस तरह से परीक्षण करना तस्वीर का एक बड़ा हिस्सा चूक रहा है। वास्तविक जीवन में, आप केवल अजनबियों के बारे में लिखने के लिए लाइब्रेरियन से नहीं पूछते; आप उनसे आपकी मदद करने के लिए कहते हैं।
लेखक कहते हैं कि जब आप लाइब्रेरियन से सलाह मांगते हैं, तो लाइब्रेरियन केवल आपके प्रश्न को नहीं देखता; वह देखता है कि आप कौन हैं। वह आपके नाम, आपके बोलने के तरीके, या आपके लहजे के आधार पर आपकी पृष्ठभूमि, आपकी सामाजिक स्थिति, या आपके लिंग का अनुमान लगा सकता है।
शोध पत्र पुराने परीक्षण पद्धति को "थर्ड-पर्सन ऑडिट" (दूसरों के बारे में AI के बात करने के तरीके का निर्णय लेना) कहता है और एक नया तरीका प्रस्तावित करता है जिसे सिटुएटेड इंटरेक्शन ऑडिटिंग (SIA) कहा जाता है। यह इस बात को मापने जैसा है कि लाइब्रेरियन विशेष रूप से आपके साथ कैसे व्यवहार करता है।
नया प्रयोग: "नाम का खेल" (The Name Game)
इसे सिद्ध करने के लिए, शोधकर्ताओं ने चिली में एक परीक्षण चलाया। उन्होंने AI से पूछे गए प्रश्नों को नहीं बदला। उन्होंने प्रश्न बिल्कुल समान रखे, जैसे: "मैं वेतन वृद्धि के लिए बातचीत कैसे करूँ?" या "मैं इस कंप्यूटर त्रुटि को कैसे ठीक करूँ?"
लेकिन, उन्होंने उस "नेम टैग" को बदल दिया जिसे AI उत्तर देने से पहले देखता था।
- ग्रुप A: उन नामों और उपनामों का उपयोग किया जो उच्च सामाजिक स्थिति का संकेत देते हैं (जो चिली में धन और कुलीन परिवारों से जुड़े हैं)।
- ग्रुप B: उन नामों और उपनामों का उपयोग किया जो निम्न सामाजिक स्थिति का संकेत देते हैं (जो चिली में श्रमिक वर्ग या स्वदेशी पृष्ठभूमि से जुड़े हैं)।
उन्होंने क्या पाया: "संरक्षकता" बनाम "सशक्तिकरण" का अंतर
भले ही प्रश्न समान थे, लेकिन "नेम टैग" के आधार पर उत्तर अलग थे:
- स्वर का बदलाव (The Tone Shift): जब AI ने सोचा कि वह एक उच्च-स्थिति वाले व्यक्ति से बात कर रहा है, तो उसने सीधा, आत्मविश्वासी और "पावर वर्ड्स" (जैसे "नेटवर्क," "क्षमता," "रणनीति") का उपयोग करते हुए सलाह दी। यह एक साथी द्वारा उत्साहवर्धन देने जैसा लगा।
- संरक्षकता का बदलाव (The Patronizing Shift): जब AI ने सोचा कि वह एक निम्न-स्थिति वाले व्यक्ति से बात कर रहा है, तो उसने अधिक हिचकिचाहट भरी, भावनात्मक और "सुरक्षित" सलाह दी। इसने "शायद," "आप विचार कर सकते हैं," जैसे शब्दों का उपयोग किया, और "गुणवत्ता" या "संघर्षों को पार करने" पर ध्यान केंद्रित किया।
यह ऐसा ही है जैसे लाइब्रेरियन ने उच्च-स्थिति वाले व्यक्ति से कहा, "यहाँ आपकी जीत की रणनीति है," लेकिन निम्न-स्थिति वाले व्यक्ति से कहा, "यहाँ कुछ कोमल प्रोत्साहन है कि आप अपना सर्वश्रेष्ठ प्रयास करें।" निम्न-स्थिति वाले उपयोगकर्ता को वही तीक्ष्ण, कार्रवाई योग्य उपकरण नहीं मिल रहे थे; उन्हें उत्तर का एक नरम, अधिक अनिश्चित संस्करण मिल रहा था।
यह क्यों महत्वपूर्ण है
शोध पत्र का दावा है कि वर्तमान AI सुरक्षा परीक्षण इस मामले में अंधे हैं। वे यह जाँचते हैं कि क्या AI किसी कहानी के पात्र के प्रति बुरा व्यवहार करता है, लेकिन वे यह जाँच नहीं करते कि क्या AI आपकी पहचान के आधार पर आपके साथ अलग व्यवहार कर रहा है।
"कहीं से भी न दिखने वाला दृष्टिकोण" (The View from Nowhere) का रूपक
लेखक पुराने परीक्षण की तुलना "कहीं से भी न दिखने वाले दृष्टिकोण" से करते हैं—यह मान लेना कि उपयोगकर्ता एक खाली, अदृश्य भूत है। उनका तर्क है कि वास्तव में, उपयोगकर्ता एक वास्तविक व्यक्ति है जिसका एक इतिहास, एक नाम और एक सामाजिक स्थिति है। AI उस व्यक्ति के प्रति प्रतिक्रिया दे रहा है, न कि केवल स्क्रीन पर मौजूद टेक्स्ट के प्रति।
शोध पत्र के दावों का सारांश
- अंध बिंदु (The Blind Spot): हम AI के पक्षपात का परीक्षण इस बात को देखकर कर रहे हैं कि वह दूसरों का वर्णन कैसे करता है, लेकिन हम इस बात को अनदेखा कर रहे हैं कि वह हमारे साथ कैसा व्यवहार करता है।
- पद्धति (The Method): उन्होंने एक नया ढांचा (SIA) बनाया है जिससे यह मापा जा सके कि AI नाम और लेखन शैली जैसे उपयोगकर्ता संकेतों के आधार पर अपने स्वर, शब्दावली और सलाह को कैसे बदलता है।
- साक्ष्य (The Evidence): चिली के उनके केस स्टडी में, उन्होंने दिखाया कि AI समान प्रश्नों के लिए उच्च-स्थिति वाले उपयोगकर्ताओं को अधिक मुखर, तकनीकी सलाह देता है, जबकि निम्न-स्थिति वाले उपयोगकर्ताओं को अधिक अनिश्चित, भावनात्मक रूप से सहायक सलाह देता है।
- लक्ष्य (The Goal): वे चाहते हैं कि AI समुदाय काल्पनिक पात्रों के बारे में कहानियाँ लिखने के बजाय, विभिन्न प्रकार के लोगों के साथ वास्तविक बातचीत का अनुकरण करके मॉडल्स का परीक्षण करना शुरू करे।
यह शोध पत्र यह दावा नहीं करता है कि उसने इस समस्या को हल कर लिया है, न ही यह किसी विशिष्ट सॉफ़्टवेयर पैच की पेशकश करता है। यह केवल यह तर्क देता है कि हमें पक्षपात को देखने के हमारे तरीके को बदलने की आवश्यकता है ताकि इसमें यह भी शामिल हो सके कि AI पूछने वाले व्यक्ति के साथ कैसा व्यवहार करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।