Effects of Generative AI Errors on User Reliance Across Task Difficulty
577 प्रतिभागियों वाले एक पूर्व-पंजीकृत प्रयोग में, शोधकर्ताओं ने पाया कि जबकि उच्च एआई त्रुटि दरें आम तौर पर उपयोगकर्ता के भरोसे को कम करती हैं, कार्य की विशिष्ट कठिनाई (आसान बनाम कठिन) ने इस प्रतिक्रिया को महत्वपूर्ण रूप से प्रभावित नहीं किया, जो यह सुझाव देता है कि उपयोगकर्ता जेनेरेटिव एआई की विशेषता वाले "जग्ड" (jagged) त्रुटि पैटर्न के प्रति स्वाभाविक रूप से प्रतिकूल नहीं हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "जीनी" (Genie) नाम का एक बिल्कुल नया, सुपर-स्मार्ट रोबोट सहायक है। जीनी महाकाव्य कविताएँ लिखने, पूरी लाइब्रेरी का सारांश बनाने और 50 भाषाएँ बोलने में अद्भुत है। लेकिन यहाँ एक अजीब बात है: कभी-कभी, जीनी एक साधारण पहेली में उलझ जाता है या "banana" जैसे सामान्य शब्द के अक्षरों को गिनने में असमर्थ हो जाता है।
शोधकर्ता इसे "जैग्ड फ्रंटियर" (Jagged Frontier - ऊबड़-खाबड़ सीमा) कहते हैं। यह एक पर्वत श्रृंखला की तरह है जहाँ चोटियाँ अविश्वसनीय रूप से ऊँची हैं (जीनी एक जीनियस है) लेकिन घाटियाँ आश्चर्यजनक रूप से गहरी हैं (जीनी सरल चीजों में अनाड़ी है)।
मुख्य प्रश्न जो यह शोध पत्र पूछता है: जब हमारा सुपर-स्मार्ट रोबोट मूर्खतापूर्ण गलतियाँ करता है, तो हम कैसी प्रतिक्रिया देते हैं? क्या हम तुरंत उस पर भरोसा करना छोड़ देते हैं? और क्या इससे कोई फर्क पड़ता है कि वह किस तरह की गलती करता है?
प्रयोग: "पे टू प्ले" (Pay to Play) का एक खेल
यह जानने के लिए, शोधकर्ताओं ने एक खेल तैयार किया। उन्होंने 577 लोगों से एक ऐसी भूमिका निभाने को कहा जिसमें उन्हें यह तय करना था कि क्या वे एक AI को आरेख (जैसे किसी प्रोजेक्ट के लिए फ्लोचार्ट) बनाने देने के लिए पैसे देंगे।
यह खेल इस प्रकार काम करता था:
- प्रशिक्षण चरण (The Training Phase): सबसे पहले, सभी ने AI को 10 आरेख बनाने की कोशिश करते हुए देखा। कुछ लोगों ने देखा कि AI अक्सर गलतियाँ करता है (50% त्रुटि दर), कुछ ने देखा कि यह कुछ गलतियाँ करता है (30%), और कुछ ने देखा कि यह बहुत कम गलतियाँ करता है (10%)।
- ट्विस्ट (The Twist): शोधकर्ताओं ने गलतियों को दो प्रकारों में विभाजित किया:
- "आसान" गलतियाँ (The "Easy" Mistakes): AI ने उन सरल आरेखों पर गलती की जिन्हें एक इंसान सेकंडों में बना सकता है।
- "कठिन" गलतियाँ (The "Hard" Mistakes): AI ने उन जटिल, उलझे हुए आरेखों पर गलती की जो एक इंसान को भी चकरा दें।
- प्रतिफल (The Payoff): देखने के बाद, खिलाड़ियों को एक नए कार्य के लिए AI का उपयोग करने के लिए बोली (bid) लगानी थी। यदि AI सफल होता, तो उन्हें नकद इनाम मिलता। यदि वह विफल होता, तो वे अपनी बोली खो देते। इसने ठीक से मापा कि वे AI पर कितना भरोसा करते हैं।
एक बड़ा आश्चर्य
शोधकर्ताओं के मन में एक धारणा (परिकल्पना) थी। उन्होंने सोचा था कि:
- तर्क: यदि कोई रोबोट किसी आसान काम में विफल होता है, तो यह कठिन काम में विफल होने की तुलना में बहुत अधिक डरावना लगना चाहिए। यह ऐसा ही है जैसे यदि एक गणित का जीनियस अपने जूते के फीते बाँधने में विफल हो जाता है, तो आप भौतिकी की समस्या हल करने में उसकी विफलता की तुलना में अधिक चिंतित होंगे।
- पूर्वानुमान: उन्हें उम्मीद थी कि लोग AI पर भरोसा करना बहुत तेज़ी से छोड़ देंगे यदि वह "आसान गलतियाँ" करता है।
लेकिन परिणाम अप्रत्याशित थे।
हालाँकि यह सच है कि अधिक गलतियाँ देखने से लोगों का AI पर भरोसा कम हो गया (जो कि समझ में आता है), लेकिन इससे कोई फर्क नहीं पड़ा कि गलतियाँ आसान कार्यों पर थीं या कठिन कार्यों पर।
- लोग AI का उपयोग करने के लिए उतने ही पैसे देने को तैयार थे, जितना कि उसे एक कठिन कार्य में विफल होते देखने के बाद, जितना कि एक सरल कार्य में विफल होते देखने के बाद।
रूपक (The Metaphor):
कल्पना कीजिए कि आप एक शेफ (रसोइया) को काम पर रख रहे हैं।
- परिदृश्य A: शेफ एक बिल्कुल साधारण ग्रिल्ड चीज़ सैंडविच जला देता है।
- परिदृश्य B: शेफ एक जटिल, 10-कोर्स वाले फ्रेंच भोज (banquet) को बनाने में विफल रहता है।
अधिकांश लोग सोचेंगे, "ओह नहीं, वह तो बुनियादी चीजें भी नहीं कर सकता!" और उन्हें तुरंत काम से निकाल देंगे। लेकिन इस अध्ययन में, लोगों ने दोनों परिदृश्यों के साथ एक जैसा व्यवहार किया। वे इस बात से घबराए नहीं कि AI "जैग्ड फ्रंटियर" जैसा है। उन्होंने बस समग्र सफलता दर को देखा और निर्णय लिया, "ठीक है, यह शेफ लगभग 70% विश्वसनीय है, इसलिए मैं इसे काम पर रखूँगा।"
एक अपवाद: "AI न्यूबीज़" (The "AI Newbies")
वहाँ लोगों का एक समूह था जिन्होंने अलग तरह से प्रतिक्रिया दी: वे लोग जो AI सामग्री का बहुत कम उपभोग करते हैं।
यदि आप AI समाचार नहीं देखते, AI के बारे में नहीं पढ़ते, या AI टूल का उपयोग अक्सर नहीं करते हैं, तो आप एक आसान कार्य में AI के विफल होने पर अधिक डर सकते हैं। इन "न्यूबीज़" के लिए, एक आसान कार्य में AI की विफलता एक बड़े खतरे के संकेत (red flag) की तरह महसूस हुई। लेकिन जो लोग AI के आदी हैं, वे इसे स्वीकार करने में सक्षम थे कि AI अजीब तरह से असंगत है।
यह क्यों मायने रखता है?
यह अध्ययन हमें हमारे भविष्य के साथ AI के बारे में कुछ महत्वपूर्ण सबक सिखाता है:
- हम आश्चर्यजनक रूप से तर्कसंगत (या सुन्न) हैं: हम हमेशा इसलिए नहीं डरते क्योंकि AI की विफलताएं "मानवीय" होती हैं। हम इस बात से सहज दिखते हैं कि एक उपकरण "जैग्ड" जीनियस हो सकता है, जब तक कि हमें पता हो कि उसके काम करने की सामान्य संभावना क्या है।
- अनुमान लगाने की क्षमता (Predictability) "मानवीय होने" से अधिक महत्वपूर्ण है: शोधकर्ता सुझाव देते हैं कि हमें इस बात से फर्क नहीं पड़ता कि AI मानव जैसा व्यवहार करता है या रोबोट जैसा। हमें इस बात की परवाह है कि क्या हम अनुमान लगा सकते हैं कि वह कब विफल होगा। यदि AI की गलतियाँ यादृच्छिक (random) या भ्रमित करने वाली हैं, तो हम भरोसा खो सकते हैं। लेकिन यदि गलतियाँ एक पैटर्न का पालन करती हैं (भले ही वह पैटर्न यह हो कि "वह सरल चीजों में बुरा है"), तो हम अनुकूलित हो सकते हैं।
- विश्वास का भविष्य: जैसे-जैसे AI स्मार्ट होता जाएगा, वह कठिन कार्यों पर कम गलतियाँ करेगा, लेकिन सरल कार्यों पर अभी भी लड़खड़ा सकता है। यह अध्ययन बताता है कि हम केवल इसलिए इन उपकरणों को छोड़ नहीं देंगे क्योंकि वे अजीब तरीकों से अपूर्ण हैं। हम संभवतः उनकी "जैग्ड" किनारों के आसपास काम करना सीख लेंगे।
निष्कर्ष
हम एक ऐसे युग में प्रवेश कर रहे हैं जहाँ हमारे उपकरण प्रतिभाशाली लेकिन कभी-कभी अनाड़ी होंगे। अच्छी खबर? इंसान अनुकूलनशील होते हैं। हमें अपने उपकरणों के पूर्ण होने या हमारे जैसा व्यवहार करने की आवश्यकता नहीं है। हमें बस उनकी "जैग्ड" प्रकृति को समझने की आवश्यकता है ताकि हम तय कर सकें कि कब उन्हें गाड़ी चलाने देनी है और कब खुद स्टीयरिंग संभालना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।