"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness
यह शोध पत्र ऑनलाइन और ऑफलाइन विमर्श में बेघर होने के विरुद्ध सामाजिक पूर्वाग्रहों को ट्रैक करने के लिए एक नवीन बहु-डोमेन कॉर्पस और ऑडिट प्रोटोकॉल प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि लार्ज लैंग्वेज मॉडल्स ऐसे पूर्वाग्रहों की पहचान कर सकते हैं, लेकिन वे महत्वपूर्ण मिसकैलिब्रेशन (असंतुलन) से ग्रस्त हैं जो व्यवस्थित रूप से "NIMBY" भावनाओं को अत्यधिक फ्लैग करता है और तथ्यात्मक दावों का पता लगाने में कम रह जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, अराजक शहर के चौक के रूप में करें जहाँ लाखों लोग हर सेकंड अपने विचार, शिकायतें और कहानियाँ चिल्लाकर सुना रहे हैं। अब, कल्पना करें कि इनमें से कुछ चिल्लाहटें एक बहुत ही गंभीर, दर्दनाक समस्या के बारे में हैं: वे लोग जिनके पास सोने के लिए कोई जगह नहीं है। यह "बेघर होने" (homelessness) की दुनिया है, एक ऐसी स्थिति जहाँ लोगों के पास रहने के लिए सुरक्षित स्थान का अभाव है। इस डिजिटल शहर के चौक में, लोग इस बात पर बहस करते हैं कि आश्रय स्थल कहाँ बनाए जाएँ, क्या बेघर लोगों को मदद मिलनी चाहिए, या वे वहाँ क्यों हैं। कभी-कभी, ये बहसें मददगार होती हैं; अन्य समय में, ये पूर्वाग्रह, डर या द्वेषपूर्ण रूढ़ियों से भरी होती हैं।
कंप्यूटर पर भाषा का अध्ययन करने वाले वैज्ञानिकों (एक क्षेत्र जिसे नेचुरल लैंग्वेज प्रोसेसिंग कहा जाता है) ने "स्मार्ट रोबोट" बनाए हैं जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। इन रोबोटों को सुपर-फास्ट लाइब्रेरियन के रूप में सोचें जो एक पल में लाखों किताबें, ट्वीट्स और फोरम पोस्ट पढ़ सकते हैं। उनका काम अक्सर एक "बायस डिटेक्टर" (पक्षपात पहचानने वाला) के रूप में कार्य करना होता है, जो शोर के बीच विशिष्ट प्रकार की द्वेषपूर्ण या अनुचित भाषा को खोजने के लिए स्कैन करता है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक रोबोट तेज़ है और उसने बहुत कुछ पढ़ा है, इसका मतलब यह नहीं है कि वह पढ़े जा रहे शब्दों की भावना या संदर्भ को समझता है। वह एक सवाल को हमले के रूप में, या यह मान सकता है कि घर का उल्लेख करने का अर्थ है कि कोई बेघर लोगों से नफरत करता है। यह शोध एक महत्वपूर्ण प्रश्न पूछता है: क्या ये डिजिटल लाइब्रेरियन वास्तव में एक वास्तविक शिकायत और एक द्वेषपूर्ण पूर्वाग्रह के बीच अंतर कर सकते हैं, या वे केवल गलत सुरागों के आधार पर अनुमान लगा रहे हैं?
"नॉट इन माई बैकयार्ड" (मेरे आँगन में नहीं) का भ्रम
इस अध्ययन में, नोट्रे डेम विश्वविद्यालय और संयुक्त राष्ट्र विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इन स्मार्ट रोबोटों का परीक्षण एक बहुत ही विशिष्ट, जटिल विषय पर करने का निर्णय लिया: बेघर लोगों के प्रति पूर्वाग्रह (PEH)। वे यह देखना चाहते थे कि क्या रोबोट यह सटीक रूप से पहचान सकते हैं जब लोग "नॉट इन माय बैकयार्ड" (NIMBY) जैसी बातें कह रहे हों—जो कि एक फैंसी तरीका है यह कहने का कि, "मैं अपने घर के पास कोई बेघर आश्रय स्थल नहीं चाहता।"
ऐसा करने के लिए, उन्होंने एक विशाल डिजिटल लाइब्रेरी बनाई। उन्होंने दस अलग-अलग अमेरिकी शहरों से 50,447 से अधिक टेक्स्ट एकत्र किए, जिन्हें चार बहुत अलग जगहों से निकाला गया था: रेडिट थ्रेड्स, एक्स (पूर्व में ट्विटर) पोस्ट, समाचार लेख, और वास्तव में नगर परिषद की बैठकों के ट्रांसक्रिप्ट जहाँ वास्तविक लोग नीति के बारे में बहस करते हैं। इन्होंने 2015 से 2025 तक के एक दशक को कवर किया।
लेकिन एक लाइब्रेरी उतनी ही अच्छी होती है जितना उसका कैटलॉग। इसलिए, शोधकर्ताओं ने रोबोट्स को सब कुछ लेबल करने के लिए नहीं छोड़ा। वे मानव विशेषज्ञों को लेकर आए—ऐसे लोग जो गैर-लाभकारी संगठनों में बेघर आबादी के साथ काम करते हैं—जिन्होंने 1,698 पोस्ट के एक सावधानीपूर्वक चुने गए नमूने को पढ़ा। ये इंसान "गोल्ड स्टैंडर्ड" (मानक सत्य) के रूप में कार्य करते थे, जो सच बताने वाले थे जिन्होंने तय किया कि प्रत्येक पोस्ट का वास्तव में क्या अर्थ था। उन्होंने 16 अलग-अलग श्रेणियों वाली एक विस्तृत चेकलिस्ट का उपयोग किया, जिसमें "राय व्यक्त करने" से लेकर "हानिकारक सामान्यीकरण" और, निश्चित रूप से, "नॉट इन माई बैकयार्ड" तक शामिल थे।
रोबोट की बड़ी गलती
इसके बाद, शोधकर्ताओं ने छह अलग-अलग स्मार्ट रोबोटों (GPT-4.1, जेमिनी और LLaMA जैसे बड़े नामों सहित) को उन्हीं पोस्ट को पढ़ने और लेबल का अनुमान लगाने के लिए कहा। उन्हें उम्मीद थी कि रोबोट काफी अच्छे होंगे, शायद कठिन लेबल का लगभग 43% सही पहचान लेंगे (एक स्कोर जिसे मैक्रो-F1 कहा जाता है)। और निश्चित रूप से, कागजों पर वे ठीक दिख रहे थे। वे एक अच्छा काम करते हुए प्रतीत हो रहे थे।
लेकिन फिर, शोधकर्ताओं ने बारीकी से देखा, और तभी उन्हें गड़बड़ी का पता चला।
उन्होंने पाया कि रोबोट एक बड़े "कैलिब्रेशन एरर" (अंशांकन त्रुटि) से जूझ रहे थे। एक ऐसे स्मोक डिटेक्टर की कल्पना करें जो इतना संवेदनशील है कि ब्रेड टोस्ट करते समय भी "आग!" चिल्लाने लगता है। यहाँ यही हुआ। टीम द्वारा परीक्षण किया गया प्रत्येक रोबोट "नॉट इन माय बैकयार्ड" के रूप में लेबल करने के लिए बहुत अधिक उत्सुक था।
औसतन, रोबोट्स ने मानव विशेषज्ञों की तुलना में NIMBY पूर्वाग्रह को 11.5 प्रतिशत अंक अधिक दावा किया। सरल अंग्रेजी में: यदि किसी इंसान ने कहा, "यह व्यक्ति केवल एक तथ्य बता रहा है," तो रोबोट अक्सर चिल्ला उठता था, "यह व्यक्ति एक NIMBY है!"
उदाहरण के लिए, यदि किसी ने पोस्ट किया, "उनके पास वह किफायती आवास है, लेकिन नुकसान यह है कि यह [शहर] में है," तो इंसानों ने इसे केवल "तथ्य बताना" या "राय व्यक्त करना" लेबल किया। लेकिन छह में से चार रोबोटों ने तुरंत इसे "नॉट इन माय बैकयार्ड" के रूप में टैग कर दिया। क्यों? क्योंकि रोबोट दो सरल सुरागों से धोखा खा गए थे:
- आवास संबंधी शब्द: यदि टेक्स्ट में "आवास" (housing) या "किफायती आवास" (affordable housing) का उल्लेख था, तो रोबलेट ने मान लिया कि कोई इसके विरुद्ध है।
- प्रश्नवाचक चिह्न: यदि पोस्ट एक प्रश्न था, तो रोबोट ने मान लिया कि यह एक व्यंग्यात्मक, अलंकारिक हमला है।
रोबोट अनिवार्य रूप से अर्थ समझने के बजाय, शब्दों के एक उथले शब्दकोश के आधार पर "पूर्वाग्रह का अनुमान लगाने" का खेल खेल रहे थे। उन्होंने आवास के जिक्र को आवास के विरोध के प्रमाण के रूप में माना।
"तथ्य" की अनदेखी
रोबोट्स ने केवल पूर्वाग्रह का अधिक दावा ही नहीं किया; बल्कि उन्होंने सच्चाई को भी मिस कर दिया। अध्ययन में पाया गया कि रोबोट यह पहचानने में बहुत खराब थे कि कोई वास्तव में एक तथ्य या दावा प्रदान कर रहा है। उन्होंने तथ्यात्मक कथनों को पूरे 30.5 प्रतिशत अंक कम दर्ज किया।
यह एक खतरनाक मिश्रण है। यदि आप नगर परिषद के लिए जनमत की निगरानी के लिए इन रोबोटों का उपयोग करते हैं, तो आप वास्तविकता की एक विकृत तस्वीर प्राप्त करेंगे। आप सोचेंगे कि समुदाय बहुत अधिक शत्रुतापूर्ण और आश्रय स्थलों के विरुद्ध है (क्योंकि नकली NIMBЫ अलार्म बज रहे हैं), और आप यह भी सोचेंगे कि वे वास्तव में बहुत कम साक्ष्य-आधारित जानकारी दे रहे हैं (क्योंकि रोबोटों ने तथ्यों को अनदेखा कर दिया)।
भविष्य के लिए इसका क्या अर्थ है
शोधकर्ताओं ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने का एक तरीका भी बताया। वे समझ गए कि आप केवल रोबोट के कच्चे आंकड़ों पर भरोसा नहीं कर सकते। भले ही एक रोबोट कहता है कि वह "80% सटीक" है, फिर भी वह इस बारे में झूठ बोल सकता है कि कितने लोग पक्षपाती हैं।
पेपर सुझाव देता है कि यदि शहर या संगठन बेघर लोगों के खिलाफ कलंक (stigma) को ट्रैक करने के लिए इन AI टूल्स का उपयोग करना चाहते हैं, तो उन्हें एक "प्रवेलेंस ऑडिट" (व्यापकता ऑडिट) चलाना चाहिए। इसका अर्थ है, लगातार मानव विशेषज्ञों के एक छोटे, विश्वसनीय समूह के विरुद्ध रोबोट के काम की जांच करना ताकि यह देखा जा सके कि क्या रोबोट आंकड़ों को बढ़ा-चढ़ाकर दिखा रहा है। उन्होंने यह भी पाया कि छोटे, स्थानीय रोबोट (जैसे जिन्हें आप गोपनीयता के लिए अपने स्वयं के कंप्यूटर पर चला सकते हैं) बड़े, महंगे रोबोटों की तुलना में और भी खराब प्रदर्शन कर रहे थे।
अंत में, यह पेपर डिजिटल युग के लिए एक चेतावनी लेबल है। यह दिखाता है कि हालांकि AI दुनिया को सुनने के लिए एक शक्तिशाली उपकरण है, लेकिन वर्तमान में यह एक बहुत ही अनाड़ी श्रोता है। यह "आवास" और "प्रश्नवाचक चिह्न" जैसे शब्द सुनता है और इस निष्कर्ष पर पहुँच जाता है कि कोई बुरा व्यवहार कर रहा है। जब तक हम इन रोबोटों को तथ्य और भय के बीच के सूक्ष्म अंतर को समझना नहीं सिखाते, हम उन्हें अपने दम पर चलाने नहीं दे सकते। हमें यह सुनिश्चित करने के लिए मानव विशेषज्ञों को प्रक्रिया में रखना होगा कि हम केवल रोबोट की कल्पना को ही नहीं सुन रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।