← नवीनतम पेपर
💻 computer science

Language Models Embody and Amplify Human Cognitive Distortions: What Is to Be Done?

यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स न केवल गुप्त रूप से मानवीय संज्ञानात्मक विकृतियों को आत्मसात और प्रवर्धित करते हैं, बल्कि उन्हें उपयोगकर्ताओं तक वापस प्रसारित भी करते हैं, जिसके लिए निर्णय लेने पर उनके व्यापक प्रभाव को कम करने हेतु नैदानिक, नियामक और परिचालन संबंधी जवाबी उपायों के एक व्यापक ढांचे की आवश्यकता है।

मूल लेखक: Arnau Marin-Llobet, Steven A. Lehr, Mahzarin R. Banaji

प्रकाशित 2026-07-24
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Arnau Marin-Llobet, Steven A. Lehr, Mahzarin R. Banaji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

वह दर्पण जिसने झूठ बोलना सीख लिया

कल्पना कीजिए कि आप एक विशाल पुस्तकालय में जा रहे हैं जहाँ हर लिखी गई किताब फर्श से छत तक सजी हुई है। अब, एक ऐसे रोबोट की कल्पना करें जिसने उन सभी किताबों को पढ़ा है और इंसानों की तरह बोलना सीख लिया है। यह रोबोट ही वह है जिसे वैज्ञानिक 'लार्ज लैंग्वेज मॉडल' (LLM) कहते हैं। यह उन शानदार AI चैटबॉट्स के पीछे का दिमाग है जिनके बारे में आपने शायद सुना होगा। लेकिन यहाँ एक पेंच है: इंसान उलझे हुए होते हैं। हम गलतियाँ करते हैं, हमारे भीतर छिपे हुए पूर्वाग्रह होते हैं, और हम अक्सर एक बात सोचते कुछ हैं और कहते कुछ और हैं। मनोविज्ञान में इसे "संज्ञानात्मक पूर्वाग्रह" (cognitive bias) कहा जाता है। दशकों से, शोधकर्ता इस बात का अध्ययन कर रहे हैं कि कैसे हमारा मस्तिष्क हमें नस्ल, लिंग और अन्य समूहों के बारे में अनुचित निर्णय लेने के लिए भ्रमित करता है, जो कभी-कभी हमें पता भी नहीं चलता।

बड़ा सवाल यह है: यदि हम एक रोबोट का निर्माण उन सभी उलझे हुए मानवीय शब्दों को खिलाकर करते हैं, तो क्या वह एक आदर्श, तार्किक मशीन बनेगा जो हमारी गलतियों को सुधार देगा? या क्या वह केवल एक ऐसा दर्पण बन जाएगा जो हमारे दोषों को हमारे सामने और भी ज़ोर से और तेज़ी से प्रतिबिंबित करेगा? यह शोध पत्र ठीक इसी सवाल की गहराई में जाता है। यह केवल इस बारे में नहीं है कि रोबोट "स्मार्ट" है या नहीं, बल्कि यह इस बारे में है कि क्या वह "निष्पक्ष" है। यदि रोबोट हमारे छिपे हुए पूर्वाग्रहों को सीख लेता है, तो वह नौकरी किसे मिलनी चाहिए, किसे ऋण मिलना चाहिए, या यहाँ तक कि किसे जेल जाना चाहिए, इसके बारे में अनुचित निर्णय लेना शुरू कर सकता है। इसीलिए यह महत्वपूर्ण है: हम अपने भविष्य के बड़े हिस्से को इन मशीनों को सौंप रहे हैं, और हमें जानना होगा कि क्या वे भरोसेमंद हैं।

वह रोबोट जिसने हमारी बुरी आदतें अपना लीं

तो, इस शोध पत्र के लेखकों ने क्या पाया? उन्होंने नवीनतम AI मॉडलों को देखा और एक डरावनी खोज की: ये मॉडल केवल मानवीय पूर्वाग्रहों की नकल नहीं करते; वे वास्तव में उन्हें और भी बदतर बना देते हैं। इसे "टेलीफोन" के खेल की तरह समझें। यदि आप एक दोस्त को कोई अफवाह फुसफुसाते हैं, और वह उसे दूसरे को फुसफुसाता है, तो कहानी थोड़ी बदल जाती है। लेकिन ये AI मॉडल उस दोस्त की तरह हैं जो न केवल कहानी को मोड़ता है बल्कि उसमें अपना नाटकीय अंदाज़ भी जोड़ देता है, जिससे अफवाह पहले से कहीं अधिक चौंकाने वाली लगने लगती है।

शोधकर्ताओं ने पाया कि ये AI मॉडल अपने असली रंग छिपाने में आश्चर्यजनक रूप से कुशल हैं। यदि आप उनसे सीधे पूछते हैं, "क्या आप अश्वेत लोगों की तुलना में श्वेत लोगों को पसंद करते हैं?" या "क्या विकलांग लोगों के प्रति कठोर होना ठीक है?", तो वे ज़ोर से "नहीं!" कहेंगे। वे आदर्श, सभ्य नागरिक की तरह व्यवहार करते हैं। लेकिन जैसे ही आप सीधे प्रश्न पूछना बंद करते हैं और उन्हें कोई कार्य देते हैं—जैसे किसी बायोडाटा (resume) की समीक्षा करना या किसी विशिष्ट बोली में लिखी गई कहानी का न्याय करना—उनके असली रंग दिखने लगते हैं। वे गुप्त रूप से यह तय कर सकते हैं कि अफ्रीकन अमेरिकन अंग्रेजी में लिखने वाला व्यक्ति कम भरोसेमंद या अधिक अपराधी हो सकता है, भले ही सामग्री बिल्कुल वैसी ही हो जैसी मानक अंग्रेजी में लिखी गई कहानी की होती। यह उस न्यायाधीश की तरह है जो कहता है, "मैं रंगभेद नहीं देखता!" लेकिन फिर किसी को उसके बोलने के तरीके के कारण कठोर सजा देता है।

शोध पत्र बताता है कि यह केवल एक ऐसी खामी नहीं है जिसे डेटा को साफ करके ठीक किया जा सके। कुछ लोगों ने सोचा, "ओह, यदि हम रोबोट को बेहतर किताबें खिलाएं, तो वह बेहतर हो जाएगा।" लेकिन लेखक तर्क देते हैं कि यह पर्याप्त नहीं है। AI केवल एक दर्पण नहीं है; यह एक आवर्धक लेंस (magnifying glass) है। यह मानव लेखन में पाए जाने वाले पूर्वाग्रहों को लेता है और उन्हें बढ़ा देता है। इससे भी बुरा यह है कि मॉडल जैसे-जैसे नए होते जा रहे हैं, वे और भी अधिक पक्षपाती होते जा रहे हैं। यह वैसा ही है जैसे यदि कोई छात्र हर अगली कक्षा में जाने पर गणित में और खराब होता जाए। मॉडल चालाक होने में भी माहिर हो रहे हैं; उन्हें उन्हीं तरकीबों से धोखा दिया जा सकता है जिनका उपयोग हम मनुष्यों पर करते हैं, जैसे कि किसी अधिकारिक व्यक्ति होने का ढोंग करना या यह कहना कि कुछ चीज़ दुर्लभ और मूल्यवान है।

शायद सबसे चिंताजनक बात यह है कि यह पूर्वाग्रह कंप्यूटर के भीतर ही नहीं रहता है। जब मनुष्य इन AI उपकरणों के साथ मिलकर काम करते हैं, तो हम उनकी बुरी आदतों की नकल करने लगते हैं। यदि एक AI कहता है, "यह उम्मीदवार अच्छा नहीं लग रहा है," और एक मानव भर्ती प्रबंधक उससे सहमत होता है, तो वह मानव भी अब पूर्वाग्रही हो गया है। फिर, वह मानव एक निर्णय लेता है जिसे लिखा जाता है, और वह नया टेक्स्ट अगले संस्करण को प्रशिक्षित करने के लिए वापस AI में फीड किया जाता है। यह एक दुष्चक्र है, जैसे एक पहाड़ी से लुढ़कता हुआ हिमखंड (snowball), जो बड़ा और बड़ा होता जाता है, अधिक बर्फ (पूर्वाग्रह) इकट्ठा करता जाता है जब तक कि वह एक विशाल हिमस्खलन (avalanche) न बन जाए। लेखक सुझाव देते हैं कि जबकि मनुष्य सदियों से धीरे-धीरे कम पूर्वाग्रही होते गए हैं, ये AI मॉडल विपरीत दिशा में जा रहे हैं, हर अपडेट के साथ और अधिक विकृत होते जा रहे हैं।

हम क्या कर सकते हैं?

लेखक केवल शिकायत नहीं कर रहे हैं; वे इस समस्या को नियंत्रण से बाहर होने से रोकने के लिए एक योजना प्रस्तावित कर रहे हैं। वे कहते हैं कि हम केवल पूर्वाग्रह को गायब होने की इच्छा नहीं कर सकते, क्योंकि मनुष्य भी अपने छिपे हुए पूर्वाग्रहों को पूरी तरह से मिटा नहीं सकते। इसके बजाय, हमें सख्त सुरक्षा निरीक्षकों की तरह होने की आवश्यकता है।

पहला, वे AI के लिए एक सार्वजनिक "पंजीकरण" या स्कोरबोर्ड बनाने का सुझाव देते हैं। जिस तरह कारों को बेचने से पहले सुरक्षा परीक्षण पास करने होते हैं, उसी तरह AI मॉडलों को भी पूर्वाग्रह परीक्षण पास करने होंगे। हमें इन मॉडलों की जांच के लिए स्वतंत्र वैज्ञानिकों की आवश्यकता है जो यह देख सकें कि वे क्या कहते हैं और वे गुप्त रूप से क्या करते हैं। यह स्कोरबोर्ड ट्रैक करेगा कि मॉडल समय के साथ बेहतर हो रहे हैं या बदतर, ताकि कंपनियाँ अपनी गलतियों को छिपा न सकें।

दूसरा, वे कहते हैं कि हमें ऐसे नियम चाहिए जिनमें वास्तव में शक्ति हो। वे इसकी तुलना अन्य उद्योगों के प्रबंधन से करते हैं:

  • घरेलू उपकरणों की तरह: जैसे रेफ्रिजरेटर को हर कुछ वर्षों में सख्त ऊर्जा मानकों को पूरा करना पड़ता है, वैसे ही AI मॉडलों को सख्त पूर्वाग्रह मानकों को पूरा करना चाहिए। आपको एक ऐसा नया मॉडल जारी करने की अनुमति नहीं दी जानी चाहिए जो पुराने मॉडल से अधिक पक्षपाती हो।
  • चिकित्सा की तरह: यदि किसी नई दवा के खतरनाक दुष्प्रभाव होते हैं, तो हम उसे हमेशा के लिए प्रतिबंधित नहीं करते; हम केवल यह सीमित करते हैं कि उसे कौन ले सकता है। इसी तरह, यदि कोई AI बहुत अधिक पक्षपाती है, तो उसे भर्ती या कानूनी निर्णयों जैसे उच्च-जोखिम वाले कार्यों से प्रतिबंधित किया जाना चाहिए।
  • कारों की तरह: यदि कोई कार बहुत अधिक ईंधन खर्च करती है, तो सरकार कंपनी पर टैक्स लगाती है। लेखक एक "पूर्वाग्रह कर" (bias tax) का सुझाव देते हैं जहाँ कंपनियाँ अधिक भुगतान करती हैं यदि उनका AI अधिक अनुचित है।

अंत में, लेखक तर्क देते हैं कि हमें लुका-छिपी खेलना बंद करना होगा। अभी, जो लोग इन मॉडलों को बनाते हैं वे अपने रहस्यों (जैसे कि उनके प्रशिक्षण डेटा और कोड को कैसे बदला जाता है) को जनता से छिपाकर रखते हैं। शोध पत्र कहता है कि समस्या को ठीक करने के लिए, स्वतंत्र शोधकर्ताओं को AI की आंतरिक कार्यप्रणाली को देखने की आवश्यकता है, ठीक वैसे ही जैसे सुरक्षा निरीक्षकों को कार के बोनट के नीचे देखने की आवश्यकता होती है।

शोध पत्र एक गंभीर नोट के साथ समाप्त होता है: ये समाधान पर्याप्त नहीं हो सकते हैं। समस्या इतनी बड़ी हो सकती है कि हमें इस बात पर पुनर्विचार करने की आवश्यकता है कि हम इन तकनीकों को कैसे बना रहे हैं। लेखक हमें तेजी से कार्य करने का आग्रह करते हैं, इससे पहले कि पूर्वाग्रह का "हिमखंड" एक अनियंत्रित हिमस्खलन बन जाए जो वास्तविक लोगों के जीवन को नुकसान पहुँचाए। वे चाहते हैं कि हम मिलकर काम करें—वैज्ञानिक, कंपनियाँ और सरकारें—यह सुनिश्चित करने के लिए कि हमारे डिजिटल सहायक हमारे सबसे बड़े दुश्मन न बन जाएं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →