💻 computer science

Picturing Perceptions: An Open-Source Toolkit to Uncover Bias in Humans and Machines

यह शोध पत्र PictoPercept को प्रस्तुत करता है, जो एक ओपन-सोर्स टूलकिट है जो वास्तविक दुनिया के श्रम डेटा के विरुद्ध विज़ुअल फोर्स्ड-चॉइस तुलनाओं का उपयोग करके विभिन्न जनसांख्यिकीय समूहों के संबंध में आय के प्रति मानव निर्णय और AI प्रणालियों दोनों में महत्वपूर्ण, अक्सर भिन्न, पूर्वाग्रहों को मापने और प्रकट करने का कार्य करता है।

मूल लेखक: Saurabh Khanna, Zhijun Chen, Chei Billedo, Jiayi Yan, Irene van Driel, Alex Barco Martelo, Hugo Moreda Cartagena, Haizea Gonzalez Atorrasagasti, Markel Adanez Perez, Daniela An, Qianyi Wang, Xinkangru

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saurabh Khanna, Zhijun Chen, Chei Billedo, Jiayi Yan, Irene van Driel, Alex Barco Martelo, Hugo Moreda Cartagena, Haizea Gonzalez Atorrasagasti, Markel Adanez Perez, Daniela An, Qianyi Wang, Xinkangrui Gao, Lauren Taylor, Olga Eisele, Sindy Sumter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप केवल किसी का चेहरा देखकर यह अनुमान लगाने की कोशिश कर रहे हैं कि वह कितना पैसा कमाता है। क्या आप सही अनुमान लगा पाएंगे? या आपका मस्तिष्क पुराने रूढ़ियों (stereotypes) पर निर्भर होगा, जैसे कि एक टूटा हुआ जीपीएस जो आपको बार-बार गलत रास्ते पर भेज देता है?

यह शोध पत्र PictoPercept (संक्षिप्त रूप में "पिक्टोपरसेप्ट") नामक एक नए टूल के बारे में है, जिसे ठीक यही जांचने के लिए बनाया गया है। यह एक "बायस डिटेक्टर" (पूर्वाग्रह पहचानने वाला यंत्र) की तरह है जो मनुष्यों और कंप्यूटरों दोनों के लिए काम करता है।

यहाँ शोधकर्ताओं द्वारा किए गए कार्यों और उनकी खोजों का सरल विवरण दिया गया है:

समस्या: पुराने उपकरण टूटे हुए थे

वर्षों से, वैज्ञानिक सर्वेक्षणों (लोगों से सीधे पूछकर) या रिएक्शन-टाइम टेस्ट (यह मापना कि लोग कितनी तेज़ी से बटन दबाते हैं) का उपयोग करके पूर्वाग्रह को मापने की कोशिश करते रहे हैं।

सर्वेक्षण (Surveys): यह किसी से पूछने जैसा है, "क्या आप नस्लवादी हैं?" अधिकांश लोग "नहीं" कहेंगे क्योंकि वे अच्छा दिखना चाहते हैं। यह एक चोर से पूछने जैसा है कि क्या वह चोरी करता है; वह झूठ बोलेगा।
रिएक्शन टेस्ट (Reaction tests): यह एक वीडियो गेम की तरह है जहाँ आपको शब्दों को तेज़ी से छाँटना होता है। लेकिन कंप्यूटरों में मनुष्यों की तरह "रिएक्शन टाइम" नहीं होता, इसलिए इन परीक्षणों का उपयोग यह जांचने के लिए नहीं किया जा सकता था कि AI पक्षपाती है या नहीं।
खोया हुआ मानचित्र (The Missing Map): इनमें से किसी भी पुराने उपकरण ने यह नहीं देखा कि लोगों के अनुमान वास्तविकता से मेल खाते हैं या नहीं। उन्होंने केवल यह मापा कि क्या लोग समूह A को समूह B की तुलना में पसंद करते हैं, बिना यह पूछे कि "क्या समूह A वास्तव में वास्तविक दुनिया में अधिक अमीर या गरीब है?"

समाधान: एक दृश्य "फोर्स्ड चॉइस" खेल

शोधकर्ताओं ने PictoPercept बनाया, जो एक ओपन-सोर्स टूलकिट है (इसका अर्थ है कि कोई भी इसका उपयोग मुफ्त में कर सकता है)।

खेल: आप स्क्रीन पर दो चेहरे देखते हैं। प्रॉम्प्ट पूछता है, "किसकी आय अधिक होने की संभावना है?" आपको एक को चुनना होता है। आप यह नहीं कह सकते कि "मुझे नहीं पता।"
चाल (The Trick): चेहरों को सावधानीपूर्वक इस तरह मिलाया गया है कि वे समान रूप से आकर्षक और भरोसेमंद दिखें। एकमात्र अंतर उनकी जाति और लिंग का है।
मानचित्र (The Map): शोधकर्ताओं ने अपने विकल्पों की तुलना यू.एस. ब्यूरो ऑफ लेबर स्टैटिस्टिक्स के वास्तविक डेटा से की। यदि डेटा कहता है कि एशियाई पुरुषों की कमाई सबसे अधिक है, लेकिन आप लगातार लातीनो पुरुषों को उच्चतम आय वाले व्यक्ति के रूप में चुनते हैं, तो यह टूल उसे "बायस स्कोर" (पूर्वाग्रह स्कोर) के रूप में गणना करता है।

उन्होंने इसका परीक्षण 283 वास्तविक अमेरिकी वयस्कों पर किया और साथ ही उन्हीं चित्रों को GPT-5 को भी दिखाया, जो एक शक्तिशाली AI मॉडल है।

बड़े आश्चर्य (परिणाम)

1. "मॉडल माइनॉरिटी" की अंधापन (The "Model Minority" Blind Spot)
सबसे बड़ा झटका एशियाई अमेरिकियों के बारे में था।

वास्तविकता: सरकारी डेटा के अनुसार, अमेरिका में एशियाई अमेरिकी सबसे अधिक आय वाले समूह हैं।
धारणा: लोगों ने उनकी आय का बहुत अधिक कम आकलन (underestimate) किया। यहाँ तक कि जब उन्हें एशियाई पुरुषों और महिलाओं के चेहरे दिखाए गए, तब भी लोगों ने अनुमान लगाया कि वे वास्तव में जितना कमाते हैं उससे कम कमाते हैं।
विडंबना: अध्ययन में शामिल एशियाई प्रतिभागियों ने भी अपने स्वयं के समूह की आय का कम आकलन किया! ऐसा लगता है जैसे पूरे देश का इस समूह की सफलता के प्रति एक अंधापन है, शायद इसलिए क्योंकि उन्हें नेतृत्व या मीडिया में पर्याप्त रूप से नहीं देखा जाता है।

2. "इनग्रुप" का मिथक (The "Ingroup" Myth)
हम अक्सर सोचते हैं कि लोग हमेशा अपने ही समूह का पक्ष लेते हैं (जैसे, श्वेत लोग श्वेतों का पक्ष लेते हैं, अश्वेत लोग अश्वकरों का पक्ष लेते हैं)।

वास्तविकता: यह सभी के लिए सच नहीं था।
- श्वेत पुरुषों ने अपने समूह के प्रति पक्षपात दिखाया, यानी अपनी आय का अधिक आकलन किया।
- हालाँकि, एशियाई प्रतिभागियों ने इसके विपरीत किया। उन्होंने अपने समूह का बहुत अधिक कम आकलन किया। उन्होंने केवल पूर्वाग्रह को नज़रअंदाज़ नहीं किया; बल्कि उन्होंने सक्रिय रूप से सोचा कि उनके अपने समूह की आय उनके मुकाबले कम है।
- अन्य समूहों (जैसे अश्वेत और लातीनो प्रतिभागियों) ने अपने समूहों के बारे में आश्चर्यजनक रूप से सटीक जानकारी दी, और उनमें कोई मजबूत पक्षपात या पूर्वाग्रह नहीं दिखा।

3. AI और भी अधिक पक्षपाती है
जब उन्होंने GPT-5 (AI) का परीक्षण किया, तो परिणाम डरावने थे।

AI ने न केवल मानवीय पूर्वाग्रह की नकल की; बल्कि उसने इसे बढ़ा (amplify) दिया।
AI महिलाओं के मामले में बहुत खराब था। इसने व्यवस्थित रूप से यह माना कि सभी महिला समूहों की आय बहुत कम है।
इसने माना कि सभी पुरुष समूहों की आय बहुत अधिक है।
जहाँ मनुष्य गलतियाँ करते थे, वहीं AI की त्रुटियाँ विशाल, सुसंगत और अत्यधिक थीं। यह एक ऐसे छात्र की तरह है जो न केवल गलत उत्तर देता है, बल्कि वह गलत उत्तर दस गुना अधिक अंतर से देता है।

यह क्यों महत्वपूर्ण है

शोध पत्र का तर्क है कि पूर्वाग्रह केवल किसी समूह से "नफरत" करने के बारे में नहीं है; यह वास्तविकता के विकृत मानचित्र के बारे में है।

यदि आप सोचते हैं कि कोई समूह जितना कमाता है उससे कम कमाता है, तो आप उन्हें भर्ती या ऋण देने में अनुचित व्यवहार कर सकते हैं।
यह टूल दिखाता है कि हमारा मस्तिष्क (और हमारे कंप्यूटर) अक्सर पुराने सॉफ्टवेयर पर चल रहे होते हैं जो वास्तविक दुनिया से मेल नहीं खाते।

निष्कर्ष (The Takeaway)

PictoPercept एक नया, ओपन-सोर्स तरीका है यह जाँचने का कि क्या हमारी धारणाएँ वास्तविकता से मेल खाती हैं। इसने पाया कि:

हम एशियाई अमेरिकियों की उच्च आय के प्रति अंधे हैं।
हम हमेशा अपने समूहों का पक्ष नहीं लेते; कभी-कभी हम अपना कम आकलन करते हैं।
GPT-5 जैसे AI मॉडल वर्तमान में मनुष्यों की तुलना में बहुत अधिक पक्षपाती हैं, विशेष रूप से महिलाओं के खिलाफ।

लेखकों का सुझाव है कि इससे पहले कि हम AI को बड़े निर्णय लेने दें (जैसे कि किसे ऋण या नौकरी मिले), हमें ऐसे उपकरणों की आवश्यकता है जो यह जाँच सकें कि क्या AI एक "फनहाउस मिरर" (विकृत दर्पण) के माध्यम से दुनिया को देख रहा है।

तकनीकी सारांश: पिक्चरिंग परसेप्शन (पिक्टोपरसेप्ट - PictoPercept)

समस्या विवरण
मानवीय निर्णय और कृत्रिम बुद्धिमत्ता (AI) प्रणालियों में पूर्वाग्रह (Bias), भर्ती, ऋण देने और आपराधिक न्याय जैसे महत्वपूर्ण क्षेत्रों में गंभीर चुनौतियाँ प्रस्तुत करते हैं। पूर्वाग्रह को मापने की मौजूदा पद्धतियाँ मौलिक सीमाओं से ग्रस्त हैं:

मानवीय पूर्वाग्रह मापन: पारंपरिक सर्वेक्षण-आधारित उपकरण टेक्स्ट-आधारित, स्पष्ट और सामाजिक वांछनीयता प्रभावों (social desirability effects) के प्रति संवेदनशील होते हैं। उन्हें अक्सर विभिन्न आयामों (जैसे लिंग, जातीयता) के लिए अलग-अलग उपकरणों की आवश्यकता होती है, जिससे प्रतिच्छेदी (intersectional) मूल्यांकन अक्षम हो जाता है। इसके अलावा, उनमें जनसांख्यिकीय वास्तविकता का आधार नहीं होता, जिससे वे मौजूदा असमानताओं की सटीक धारणा और विकृत धारणा के बीच अंतर करने में विफल रहते हैं।
AI पूर्वाग्रह मापन: वर्तमान AI निष्पक्षता अनुसंधान एल्गोरिदम ऑडिट और डेटासेट विश्लेषण पर निर्भर है, जो मानव पूर्वाग्रह अनुसंधान विधियों (जैसे सर्वेक्षण या इम्प्लिसिट एसोसिएशन टेस्ट) के साथ असंगत है। इम्प्लिसिट एसोसिएशन टेस्ट (IAT), जो प्रतिक्रिया समय (reaction times) के माध्यम से मानव अंतर्निहित पूर्वाग्रह के लिए प्रभावी है, उन AI प्रणालियों पर लागू नहीं किया जा सकता जिनमें मानव जैसी प्रतिक्रिया समय की कमी होती है या जो अलग कम्प्यूटेशनल तंत्रों के माध्यम प्रकार से कार्य करती हैं।
अंतराल (The Gap): एक ऐसे एकीकृत, ओपन-सोर्स फ्रेमवर्क की कमी है जो मानव और मशीन दोनों में पूर्वाग्रह को एक साथ माप सके, जो अमूर्त सापेक्ष प्राथमिकताओं के बजाय जनसंख्या-स्तरीय बेंचमार्क पर आधारित हो।

कार्यप्रणाली: पिक्टोपरसेप्ट (PictoPercept)
लेखक पिक्टोपरसेप्ट पेश करते हैं, जो जनसंख्या-स्तरीय बेंचमार्क पर आधारित दृश्य 'फोर्स्ड-चॉइस' (forced-choice) तुलनाओं के माध्यम से पूर्वाग्रह को मापने के लिए डिज़ाइन किया गया एक ओपन-सोर्स टूलकिट है।

उद्दीपन (Stimuli): अध्ययन शिकागो फेस डेटाबेस (CFD) से प्राप्त सामान्यीकृत चेहरे के फोटोग्राफ के जोड़ों का उपयोग करके 68 'फोर्स्ड-चॉइस' परीक्षणों (64 प्रयोगात्मक + 4 अटेंशन चेक) का उपयोग करता है। जनसांख्यिकीय प्रभावों को अलग करने के लिए छवियों को गैर-केंद्रित सह-चरों (आकर्षण, विश्वसनीयता, आयु, प्रभुत्व) पर सावधानीपूर्वक संतुलित किया गया है।
कार्य: प्रतिभागी (मानव और AI दोनों) चेहरों के जोड़े देखते हैं और इस प्रॉम्प्ट का उत्तर देते हैं: "किस व्यक्ति की व्यक्तिगत आय अधिक होने की संभावना है?" प्रतिभागियों को निर्देश दिया जाता है कि वे सिस्टम 1 (स्वचालित) प्रसंस्करण को पकड़ने के लिए प्रारंभिक धारणाओं पर भरोसा करें।
बेंचमार्किंग: पारंपरिक मापों के विपरीत, जो सापेक्ष सूचकांक (जैसे समूह A के लिए B की तुलना में प्राथमिकता) प्रदान करते हैं, पिक्टोपरसेप्ट वास्तविक अमेरिकी ब्यूरो ऑफ लेबर स्टैटिस्टिक्स (BLS) डेटा के विरुद्ध चयनों की तुलना करता है, जो आठ जनसांख्यिकीय श्रेणियों (पुरुष/महिला × एशियाई/ब्लैक/लैटिनो/व्हाइट) में साप्ताहिक आय के मध्य मान (median weekly earnings) को दर्शाता है।
पूर्वाग्रह गणना:
- वास्तविकता-आधारित पूर्वाग्रह स्कोर: देखे गए चयन की प्रायिकता ( $P_{observed}$ $P_{o b ser v e d}$ ) और वास्तविक आय डेटा से प्राप्त अपेक्षित चयन की प्रायिकता ( $P_{expected}$ $P_{e x p ec t e d}$ ) के बीच अंतर के रूप में गणना की जाती है।
  - $P_{expected}(i|i, j) = \frac{Earnings_i}{Earnings_i + Earnings_j}$
  - $Bias_{reality}(i) = P_{observed}(i) - P_{expected}(i)$
- सकारात्मक स्कोर वास्तविक आय के सापेक्ष एक समूह की आय का अति-अनुमान (overestimation) दर्शाता है; नकारात्मक स्कोर कम अनुमान (underestimation) को दर्शाता है।
प्रतिभागी:
- मानव: प्रोलिफिक एकेडेमिक के माध्यम से भर्ती किए गए 283 अमेरिकी वयस्कों का एक राष्ट्रीय स्तर का प्रतिनिधि नमूना।
- AI: GPT-5 विजन-लैंग्वेज मॉडल (OpenAI) का परीक्षण समान 64 प्रयोगात्मक छवि जोड़ों का उपयोग करके किया गया था। स्थिरता सुनिश्चित करने के लिए मॉडल को प्रत्येक परीक्षण के लिए 100 बार चलाया गया, और विश्लेषण के लिए बहुमत प्रतिक्रिया का उपयोग किया गया।

मुख्य परिणाम
अध्ययन ने पिक्टोपरसेप्ट को एक मनोवैज्ञानिक रूप से सुदृढ़ उपकरण (स्प्लिट-हाफ रिलायबिलिटी $r_{sb} = 0.779$ ) के रूप में मान्य किया और तीन प्राथमिक निष्कर्ष निकाले:

आय का व्यवस्थित गलत बोध (Systematic Misperception):
- प्रतिभागियों ने एशियाई अमेरिकियों की आय का नाटकीय रूप से कम अनुमान (underestimated) लगाया, जबकि इस समूह की वास्तविक आय अमेरिकी श्रम सांख्यिकी में सबसे अधिक है (एशियाई पुरुष: $1,759; एशियाई महिला:$ 1,363)।
- इसके विपरीत, प्रतिभागियों ने लैटिनो पुरुषों और श्वेत पुरुषों की आय का अति-अनुमान (overestimated) लगाया।
- अश्वेत महिलाओं की आय का भी काफी कम अनुमान लगाया गया।
इनग्रुप फैवरिटिज्म (Ingroup Favoritism) की विषमता:
- इनग्रुप फैवरिटिज्म सार्वभौमिक नहीं था। श्वेत पुरुष प्रतिभागियों ने स्पष्ट इनग्रपुट पक्षपात दिखाया (अपने स्वयं के समूह की आय का अति-अनुमान लगाकर)।
- इसके विपरीत, एशियाई प्रतिभागियों ने महत्वपूर्ण नकारात्मक इनग्रुप पक्षपात प्रदर्शित किया, जिससे उन्होंने एशियाई पुरुषों और एशियाई महिलाओं दोनों की आय का काफी कम अनुमान लगाया। यह अपने स्वयं के समुदाय के भीतर भी अपने समूह की आर्थिक सफलता के प्रति जागरूकता की कमी को दर्शाता है।
- श्वेत महिलाएं, अश्वेत प्रतिभागी और लैटिनो प्रतिभागी अपने स्वयं के समूहों के लिए लगभग सटीक धारणा या न्यूनतम इनग्रुप पक्षपात दिखाते हैं।
AI पूर्वाग्रह प्रवर्धन (Amplification):
- GPT-5 ने मानव प्रतिभागियों की तुलना में काफी अधिक मजबूत पूर्वाग्रह प्रदर्शित किए।
- AI ने सभी महिला समूहों के प्रति अत्यधिक व्यवस्थित कम अनुमान (underestimation) और सभी पुरुष समूहों के प्रति अति-अनुमान (overestimation) दिखाया।
- AI पूर्वाग्रह का परिमाण, विशेष रूप से लिंग के संबंध में, मानव औसत से अधिक था, जिसमें लैटिनो पुरुषों को सबसे चरम अति-अनुमान (बायस स्कोर > 1.0) प्राप्त हुआ।

महत्व और योगदान
यह शोध पत्र कई सैद्धांतिक और व्यावहारिक योगदान का दावा करता है:

पद्धतिगत प्रगति: पिक्टोपरसेप्ट मानव और AI दोनों में पूर्वाग्रह का आकलन करने के लिए एक एकीकृत ढांचा प्रदान करता है। दृश्य उद्दीपनों और फोर्स्ड-चॉइस कार्यों का उपयोग करके, यह निहित, स्वचालित प्रक्रियाओं (सिस्टम 1) को पकड़ता है और टेक्स्ट-आधारित सर्वेक्षणों में निहित सामाजिक वांछनीयता प्रभावों को कम करता है।
प्रतिच्छेदन (Intersectionality): यह उपकरण IAT जैसे फैक्टोरियल डिजाइनों की सीमाओं को संबोधित करते हुए, बिना अलग-अलग परीक्षण ब्लॉकों की आवश्यकता के, कई प्रतिच्छेदी आयामों (लिंग और जातीयता) का एक साथ मूल्यांकन करने की अनुमति देता है।
वास्तविकता में आधारित: अपनी माप को वस्तुनिष्ठ जनसंख्या सांख्यिकी (BLS डेटा) से जोड़कर, यह ढांचा असमानता की सटीक धारणा और पक्षपाती विरूपण के बीच अंतर करता है। यह ग्राउंड ट्रुथ के सापेक्ष पूर्वाग्रह की दिशा (अति-अनुमान/कम-अनुमान) और परिमाण की गणना करने की अनुमति देता है।
ओपन साइंस: एक ओपन-सोर्स टूलकिट के रूप में, पिक्टोपरसेप्ट पुनरावृत्ति (reproducibility) और संचयी ज्ञान विकास को बढ़ावा देता है, जो मालिकाना, बंद-स्रोत माप उपकरणों की सीमाओं को दूर करता है।
AI के लिए निहितार्थ: निष्कर्ष बताते हैं कि अत्याधुनिक AI मॉडल न केवल मानवीय रूढ़ियों को प्रतिबिंबित कर सकते हैं बल्कि उन्हें बढ़ा (amplify) भी सकते हैं, विशेष रूप से लिंग के संबंध में। यह इस धारणा को चुनौती देता है कि AI उच्च-जोखिम वाले निर्णय लेने में मानव निर्णय के तटस्थ विकल्प के रूप में कार्य करता है।

लेखक निष्कर्ष निकालते हैं कि पिक्टोपरसेप्ट पूर्वाग्रह मापन के लिए अधिक कुशल, एकीकृत और अनुभवजन्य रूप से आधारित दृष्टिकोण सक्षम करता है, जो जनसांख्यिकीय वास्तविकता से अलग व्यवस्थित गलत धारणाओं को प्रकट करता है और consequential डोमेन में तैनाती से पहले AI प्रणालियों के कठोर ऑडिट की आवश्यकता को रेखांकित करता है।