🤖 AI

Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

यह शोधपत्र उच्च-जोखिम वाले जनरेटिव एआई वर्कफ़्लो में ज्ञानमीमांसीय विश्वसनीयता (epistemic trustworthiness) के लिए एक मानदण्डिक ढांचे का प्रस्ताव करता है, जिसमें यह तर्क दिया गया है कि उचित निर्भरता के लिए प्रणालियों को केवल सटीकता या निष्पक्षता जैसे पारंपरिक मेट्रिक्स पर निर्भर रहने के बजाय तीन गैर-विनिमेय शर्तों—ज्ञानमीमांसीय विनम्रता (epistemic humility), ज्ञानमीमांसीय पहुंच (epistemic access), और ज्ञानमीमांसीय अन्याय के प्रति प्रतिरोध (resistance to epistemic injustice)—को संतुष्ट करना आवश्यक है।

मूल लेखक: Nimisha Karnatak, Max Van Kleek, Nigel Shadbolt

प्रकाशित 2026-08-07

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nimisha Karnatak, Max Van Kleek, Nigel Shadbolt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय में घूम रहे हैं जहाँ किताबें आपसे बात कर सकती हैं। यह सिर्फ एक साधारण पुस्तकालय नहीं है; यह भविष्य है कि हम उत्तर कैसे प्राप्त करेंगे, समस्याओं को कैसे हल करेंगे और बड़े निर्णय कैसे लेंगे। "बात करने वाली किताबें" जेनरेटिव एआई (Generative AI) सिस्टम हैं—अति-बुद्धिमान कंप्यूटर प्रोग्राम जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और एक मानव विशेषज्ञ की तरह सलाह दे सकते हैं। लेकिन यहाँ एक पेच है। ये किताबें बहुत ही प्रभावशाली ढंग से बोलने में माहिर हैं। ये पूर्ण, प्रवाहमयी वाक्यों में बोलती हैं जिससे आपको लगता है कि वे सब कुछ जानती हैं। यह एक पेचीदा स्थिति पैदा करता है। यदि कोई किताब बहुत सहज और आत्मविश्वासी लगती है, तो क्या आप उस पर भरोसा करते हैं? या आप रुककर पूछते हैं, "रुको, क्या तुम वास्तव में यह जानते हो, या तुम बस कूल दिखने के लिए इसे मनगढ़ंत बना रहे हो?"

यह शोध पत्र विज्ञान के एक विशिष्ट कोने की गहराई में जाता है जिसे एपिस्टेमोलॉजी (epistemology) कहा जाता है, जो केवल एक भारी शब्द है जिसका अर्थ है "हम जो जानते हैं, उसे कैसे जानते हैं।" यह एक सरल लेकिन बहुत बड़ा सवाल पूछता है: वास्तव में यह कब ठीक है कि हम कंप्यूटर के उत्तर पर भरोसा करें? लेखक तर्क देते हैं कि केवल इसलिए कि एक एआई सामान्य रूप से सटीक, सुरक्षित या निष्पक्ष है, इसका मतलब यह नहीं है कि आप किसी महत्वपूर्ण चीज़, जैसे कि चिकित्सा निदान या कानूनी मामले के लिए उसके उत्तर का उपयोग करने के लिए उचित रूप से समर्थित हैं। वे सुझाव देते हैं कि इन एआई "बात करने वाली किताबों" पर वास्तव में भरोसा करने के लिए, सिस्टम को हमें तीन विशिष्ट चीजें दिखानी होंगी: इसे स्वीकार करना होगा कि वह अनिश्चित है, इसे हमें यह देखने की अनुमति देनी होगी कि इसने अपना उत्तर कैसे प्राप्त किया (इसके पीछे की प्रक्रिया), और इसे हमारे ज्ञान और अनुभव का सम्मान करना होगा, न कि उन्हें अनदेखा करना होगा।

"विश्वसनीय रोबोट" परीक्षण: केवल सही होना पर्याप्त क्यों नहीं है

कल्पना कीजिए कि आपके पास "जीनी" (Genie) नाम का एक रोबोट सहायक है जो आपके होमवर्क में आपकी मदद करता है। जीनी अद्भुत है। यह ऐसे निबंध लिखता है जो एकदम सटीक लगते हैं, तुरंत समीकरण हल करता है, और कभी थकता नहीं है। लेकिन एक दिन, आप जीनी से एक बहुत महत्वपूर्ण प्रोजेक्ट के लिए मदद मांगते हैं: स्कूल के साइंस फेयर के लिए एक पुल बनाना। जीनी एक योजना देता है जो बहुत अच्छी दिखती है। यह बेहतरीन अंग्रेजी में लिखी गई है, और यह बहुत आत्मविश्वासी लगती है।

अब, यहाँ वह बड़ी समस्या है जिस पर यह शोध पत्र संकेत देता है: सिर्फ इसलिए कि जीनी आत्मविश्वासी लगता है, इसका मतलब यह नहीं है कि आप पुल बनाने के लिए सुरक्षित हैं।

इस पेपर के लेखक कहते हैं कि आपको जीनी (एक अवधारणा जिसे वे "एपिस्टेमिक वारेंटेड रिलायंस" कहते हैं) पर वास्तव में भरोसा करने के लिए उचित रूप से समर्थित होने के लिए, जीनी को तीन विशिष्ट परीक्षणों को पास करना होगा। यदि वह उनमें से एक में भी विफल रहता है, तो आपको वह पुल नहीं बनाना चाहिए, चाहे निबंध कितना भी अच्छा क्यों न दिखे।

1. "मुझे नहीं पता" बटन (एपिस्टेमिक ह्यूमिलिटी - बौद्धिक विनम्रता)

सबसे पहले, जीनी को विनम्र होना चाहिए। वास्तविक दुनिया में, बुद्धिमान लोग अपनी सीमाओं को जानते हैं। वे कहते हैं, "मैं इस हिस्से के बारे में पक्का नहीं हूँ," या "जवाब देने से पहले मुझे एक किताब देख लेनी चाहिए।"

उपमा: कल्पना कीजिए कि जीनी एक टूर गाइड है। एक भरोसेमंद गाइड कहता है, "मैं महल तक का रास्ता जानता हूँ, लेकिन मैं उस गुफा के बारे में निश्चित नहीं हूँ जो इसके पीछे है, इसलिए हमें सावधान रहना चाहिए।" एक खराब गाइड (जो इस परीक्षण में विफल होता है) कह सकता है, "मैं सब कुछ जानता हूँ!" भले ही वह खाई की ओर बढ़ रहा हो।
पेपर का निष्कर्ष: लेखकों ने पाया कि कई एआई सिस्टम खराब गाइड की तरह हैं। वे आपको गलत उत्तर दे सकते हैं, लेकिन वे इसे 100% आत्मविश्वास के साथ कहते हैं। इससे भी बुरा यह है कि यदि आप उनसे पूछते हैं, "क्या आप पक्का हैं?" तो वे अपनी बात पर अड़ सकते हैं और कह सकते हैं, "हाँ, मैं पूरी तरह से आश्वस्त हूँ!" भले ही वे मनगढ़ंत बातें बना रहे हों। पेपर का तर्क है कि एक भरोसेमंद एआई को यह कहने में सक्षम होना चाहिए, "मुझे यकीन नहीं है, और इसके बजाय आपको यह करना चाहिए," बजाय इसके कि वह केवल जानने का ढोंग करे।

2. "अपना काम दिखाओ" नियम (एपिस्टेमिक एक्सेस - बौद्धिक पहुँच)

दूसरा, जीनी को आपको यह देखने देना होगा कि वह कैसे सोचता है। स्कूल में, यदि आप गणित का प्रश्न सही हल करते हैं लेकिन अपना काम (स्टेप्स) नहीं दिखाते, तो शिक्षक फिर भी आपसे सवाल कर सकते हैं क्योंकि वे जाँच नहीं सकते कि आपने केवल किस्मत से सही उत्तर दिया है या नहीं।

उपमा: कल्पना कीजिए कि जीनी आपको एक खजाने का नक्शा देता है। एक भरोसेमंद जीनी आपको केवल नक्शा नहीं थमाता; वह आपको वह दिशा-सूचक यंत्र (compass), पुरानी डायरियाँ और सुराग दिखाता है जिनका उपयोग उसने नक्शा बनाने के लिए किया था। वह आपको सुरागों की जाँच करने देता है। एक बुरा जीनी बस आपको नक्शा थमाता है और कहता है, "मुझ पर भरोसा करो, खजाना यहीं है!" बिना एक भी सुराग दिखाए।
पेपर का निष्कर्ष: लेखकों ने वकीलों और डॉक्टरों द्वारा उपयोग किए जाने वाले एआई टूल्स का अध्ययन किया। उन्होंने पाया कि भले ही एआई ने सही उत्तर दिया हो, लेकिन अक्सर यह छिपा देता था कि उसने वह उत्तर कैसे पाया। कभी-कभी, एआई ऐसी किताब का हवाला देता था जो अस्तित्व में ही नहीं थी, या वह ऐसे कानून का उल्लेख करता था जो वर्षों पहले रद्द हो चुका था। पेपर कहता है कि यदि आप "सुरागों" (साक्ष्य) की जाँच नहीं कर सकते, तो आप वास्तव में उस नक्शे पर भरोसा नहीं कर सकते, भले ही मंजिल सही दिख रही हो।

3. "मेरी बात सुनो" नियम (एपिस्टेमिक इनजस्टिस के प्रति प्रतिरोध)

तीसरा, जीनी को आपका सम्मान करना होगा। उसे आपके ज्ञान और आपकी पृष्ठभूमि को महत्वपूर्ण मानना होगा।

उपमा: कल्पना लीजिए कि आप अपने पड़ोस की एक समस्या के बारे में जीनी से बात कर रहे हैं। एक भरोसेमंद जीनी आपकी कहानी सुनता है और कहता है, "यह समझ में आता है, और यहाँ बताया गया है कि हम इसे कैसे ठीक कर सकते हैं।" एक बुरा जीनी आपकी कहानी को अनदेखा कर सकता है क्योंकि आप एक "पेशेवर" की तरह नहीं बोलते, या वह आपके अनुभव को एक किताब की तुलना में कम महत्वपूर्ण मान सकता है।
पेपर का निष्कर्ष: पेपर दिखाता है कि एआई कभी-कभी लोगों के साथ अलग व्यवहार कर सकता है। उदाहरण के लिए, एक अध्ययन में, एआई ने एक डॉक्टर को विस्तृत चिकित्सा सलाह दी लेकिन बिल्कुल उसी सवाल पूछने वाले एक मरीज को बिना कोई मदद दिए केवल यह कह दिया कि "बस डॉक्टर के पास जाएँ।" एआई तकनीकी रूप से "असुरक्षित" नहीं था; वह बस मरीज के प्रति रूखा और उपेक्षापूर्ण था। लेखकों का तर्क है कि एक भरोसेमंद एआई को हर किसी के सुने जाने और समझे जाने के अधिकार का सम्मान करना चाहिए।

"तीन-पैर वाला स्टूल" नियम

सबसे महत्वपूर्ण बात जो पेपर ने खोजी है वह यह है कि ये तीन नियम एक स्टूल के पैरों की तरह हैं। आपको तीनों की आवश्यकता है।

यदि जीनी विनम्र है और आपको अपना काम चेक करने देता है, लेकिन वह आपकी पृष्ठभूमि को अनदेखा करता है, तो स्टूल गिर जाएगा।
यदि जीनी आपका सम्मान करता है और आपको अपना काम चेक करने देता है, लेकिन वह कभी यह स्वीकार नहीं करता कि वह अनिश्चित है, तो स्टूल गिर जाएगा।
यदि जीनी विनम्र है और आपका सम्मान करता है, लेकिन आप देख नहीं सकते कि उसने अपना उत्तर कैसे प्राप्त किया, तो स्टूल गिर जाएगा।

पेपर वास्तविक जीवन के उदाहरणों का उपयोग करके इसे सिद्ध करता है। उन्होंने एक मामले को देखा जहाँ वकीलों ने अदालत का दस्तावेज़ लिखने के लिए एक एआई का उपयोग किया, और एआई ने फर्जी अदालती मामले बना दिए। वकीलों को मुश्किलों का सामना करना पड़ा। पेपर कहता है कि यह केवल एक "गलती" नहीं थी; यह एआई की विनम्रता की विफलता (उसने यह नहीं कहा कि "मैं यह मनगढ़ंत बना रहा हूँ") और पहुँच की विफलता (वकील आसानी से जाँच नहीं कर सके कि मामले असली थे या नहीं) थी।

उन्होंने नौकरी के आवेदकों को रैंक करने वाले एआई हायरिंग टूल्स को भी देखा। भले ही एआई सामान्य रूप से "निष्पक्ष" था, लेकिन इसने कभी-कभी लोगों को केवल उनके नाम के आधार पर कम रैंक दी। यह "आपकी बात सुनने" (अन्याय के प्रति प्रतिरोध) की विफलता थी।

तो, हमें क्या करना चाहिए?

पेपर सुझाव देता है कि हमें केवल एआई को "अधिक स्मार्ट" या "अधिक सटीक" बनाने की कोशिश नहीं करनी चाहिए। हमें इसे इस्तेमाल करने के तरीके और इसके डिज़ाइन को बदलने की आवश्यकता है।

"घर्षण" (Friction) जोड़ें: लेखक सुझाव देते हैं कि कभी-कभी, कंप्यूटर को थोड़ा कठिन होना चाहिए। कल्पना कीजिए कि एआई कहता, "मैं इस बारे में 100% सुनिश्चित नहीं हूँ, इसलिए कृपया इस स्रोत का उपयोग करने से पहले इसकी दोबारा जाँच करें।" यह "घर्षण" आपको एआई पर आँख मूँदकर भरोसा करने से रोकता है।
स्टूल की जाँच करें: इससे पहले कि हम एआई को बड़े निर्णय लेने (जैसे अस्पतालों या अदालतों में) में मदद करने दें, हमें तीनों पैरों की जाँच करनी होगी। क्या यह विनम्र है? क्या हम इसका काम देख सकते हैं? क्या यह हमारा सम्मान करता है? यदि कोई भी पैर गायब है, तो हमें इसे उस काम के लिए उपयोग नहीं करना चाहिए।

संक्षेप में, पेपर हमें बताता है कि केवल सही होना पर्याप्त नहीं है। एक रोबोट पर वास्तव में भरोसा करने के लिए, उसे ईमानदार होना होगा कि वह क्या नहीं जानता, हमें अपना होमवर्क दिखाना होगा, और हमें उन बुद्धिमान लोगों की तरह मानना होगा जो एक वास्तविक उत्तर के हकदार हैं। यदि वह ये तीनों करता है, तो हम अंततः कह सकते हैं, "ठीक है, मैं तुम पर भरोसा करता हूँ।" यदि नहीं, तो हमें अपने दिमाग को ड्राइवर की सीट पर रखना चाहिए।