UX in the Age of AI: Rethinking Evaluation Metrics Through a Statistical Lens
यह शोध पत्र एडेप्टिव डायनेमिक UX स्टैटिस्टिकल फ्रेमवर्क (ADUX-Stat) का प्रस्ताव करता है, जो एक नवीन मूल्यांकन मॉडल है जो स्थिर उपयोगिता मेट्रिक्स के स्थान पर संभाव्यता संबंधी संरचनाओं—विशेष रूप से इंटरैक्शन एंट्रॉपी इंडेक्स, टेम्पोरल ड्रिफ्ट कोएफिशिएंट और बायेसियन यूजेबिलिटी कॉन्फिडेंस स्कोर—का उपयोग करता है ताकि AI-मध्यस्थ प्रणालियों की स्टोकेस्टिक और संदर्भ-संवेदनशील प्रकृति का प्रभावी ढंग से आकलन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी छात्र के प्रदर्शन का ग्रेड देने की कोशिश कर रहे हैं। पुराने दिनों में, यदि आप किसी छात्र को गणित की समस्या हल करने के लिए कहते, तो वे हमेशा आपको एक ही सटीक उत्तर देते। आप उन्हें एक सरल स्कोर दे सकते थे: "10 में से 10।" हम इसी तरह कंप्यूटर सॉफ़्टवेयर का परीक्षण करते थे। हम उपयोगकर्ताओं से एक बटन क्लिक करने के लिए कहते, और यदि वह काम करता, तो उन्हें एक अंक मिलता। यदि नहीं करता, तो उन्हें नहीं मिलता। सिस्टम अनुमानित था, जैसे एक वेंडिंग मशीन जो "A1" दबाने पर हमेशा आपको सोडा देती है।
लेकिन आज, कंप्यूटर अलग हैं। वे आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करते हैं। AI एक वेंडिंग मशीन नहीं है; यह एक बातूनी, रचनात्मक मित्र की तरह है। यदि आप अपने मित्र से एक ही प्रश्न दो बार पूछते हैं, तो वे अपने मूड, दिन के समय, या वे अभी किस बारें में बात कर रहे थे, के आधार पर दो थोड़े अलग उत्तर दे सकते हैं।
इस शोध पत्र के अनुसार, समस्या यह है कि हम अभी भी इस "बातूनी मित्र" को पुराने "वेंडिंग मशीन" परीक्षणों से ग्रेड देने की कोशिश कर रहे हैं। यह काम नहीं करता। पुराने परीक्षण यह मानकर चलते हैं कि कंप्यूटर हमेशा एक ही चीज़ करेगा, लेकिन AI अव्यवस्थित, अप्रत्याशित और समय के साथ बदलता रहता है।
इसे ठीक करने के लिए, लेखक, हरीश विजयकुमार, AI के उपयोग के अनुभव को मापने का एक नया तरीका प्रस्तावित करते हैं। वे इसे ADUX-Stat कहते हैं। एक एकल संख्या देने के बजाय, यह नई प्रणाली AI के व्यक्तित्व को समझने के लिए तीन "उपकरणों" का उपयोग करती है।
यहाँ बताया गया है कि ये तीन उपकरण सरल उपमाओं का उपयोग करके कैसे काम करते हैं:
1. "आश्चर्य मीटर" (इंटरैक्शन एंट्रॉपी इंडेक्स)
समस्या: कभी-कभी AI सहायक और सुसंगत होता है। अन्य समय में, यह अनियंत्रित और अप्रत्याशित होता है। यदि आप एक वॉयस असिस्टेंट से मौसम के बारे में पूछते हैं, और वह हर बार अलग उत्तर देता है, तो आपको निराशा होती है।
समाधान: यह उपकरण मापता है कि AI आपको कितना "आश्चरयित" करता है।
- कम आश्चर्य (अच्छा): AI एक भरोसेमंद लाइब्रेरियन की तरह कार्य करता है। आप एक किताब मांगते हैं, और वह हमेशा आपको सही किताब थमा देता है।
- उच्च आश्चर्य (बुरा या अराजक): AI एक जादूगर की तरह है जो टोपी से रैंडम खरगोश निकाल रहा है। कभी-कभी यह बहुत अच्छा होता है, कभी-कभी यह बकवास होता है।
यह उपकरण केवल यह नहीं कहता कि "यह काम कर गया"; यह मापता है कि आपके दृष्टिकोण से AI का व्यवहार कितना भिन्न होता है।
2. "टाइम-ट्रैवल कंपास" (टेम्पोरल ड्रिफ्ट कोएफिशिएंट)
समस्या: AI स्थिर नहीं है। यह सीखता है। एक AI जब आप पहली बार उससे मिलते हैं तो बुरा हो सकता है, लेकिन आप जितनी अधिक बात करते हैं, वह उतना ही स्मार्ट होता जाता है। या, यह बहुत अच्छा शुरू हो सकता है और धीरे-धीरे भ्रमित होकर खराब हो सकता है।
समाधान: यह उपकरण समय के साथ AI के प्रदर्शन को देखता है, जैसे एक एकल फोटो के बजाय एक फिल्म देखना।
- पॉजिटिव ड्रिफ्ट (सकारात्मक विचलन): AI बेहतर हो रहा है, जैसे एक छात्र जो कड़ी मेहनत करता है और सप्ताह दर सप्ताह अपने ग्रेड में सुधार करता है।
- नेगेटिव ड्रिफ्ट (नकारात्मक विचलन): AI खराब हो रहा है, जैसे एक कार का इंजन जो कुछ महीनों के बाद अजीब आवाज़ें करने लगता है।
यह हमें यह देखने में मदद करता है कि क्या AI एक "धीमा सीखने वाला" है या "धीमा घटने वाला", जो एक एकल परीक्षण कभी नहीं बता सकता।
3. "ईमानदारी का बुलबुला" (बेयसियन यूजेबिलिटी कॉन्फिडेंस स्कोर)
समस्या: पुराने परीक्षण आपको एक एकल संख्या देते हैं, जैसे "85% संतुष्टि"। लेकिन वह संख्या बहुत सटीक लगती है। यह ऐसा है जैसे कहना, "मेरी लंबाई ठीक 5 फीट 10.00 इंच है।" वास्तव में, मापन में त्रुटियां होती हैं, और AI के साथ, अनिश्चितता बहुत अधिक होती है।
समाधान: यह उपकरण एक एकल संख्या के बजाय एक रेंज (सीमा) देता है। यह कहने जैसा है, "मेरी लंबाई शायद 5 फीट 9 इंच और 5 फीट 11 इंच के बीच है।"
- यह एक विशेष गणितीय विधि (बेयसियन सांख्यिकी) का उपयोग करता है ताकि यह स्वीकार किया जा सके कि "हम 100% निश्चित नहीं हैं, लेकिन यहाँ सबसे संभावित सीमा है।"
- यदि आपके पास बहुत कम डेटा है, तो रेंज चौड़ी होती है (न जानने के बारे में ईमानदार)। यदि आपके पास बहुत अधिक डेटा है, तो रेंज संकीर्ण हो जाती है (अधिक आत्मविश्वासी)।
यह हमें यह दिखावा करने से रोकता है कि हम वास्तव में कितना जानते हैं।
उन्होंने इसका परीक्षण कैसे किया
लेखक ने इसका परीक्षण वास्तविक लोगों पर नहीं किया। इसके बजाय, उन्होंने एक "विचार प्रयोग" (thought experiment) किया। उन्होंने कल्पना की कि ये तीन उपकरण पाँच अलग-अलग प्रकार के AI उत्पादों पर कैसे काम करेंगे:
- चैटबॉट्स: उन्होंने भविष्यवाणी की कि उनमें उच्च "सरप्राइज" होगा क्योंकि वे कई अलग-अलग चीजें कह सकते हैं।
- रेकमेंडेशन इंजन (जैसे नेटफ्लिक्स): उन्होंने भविष्यवाणी की कि वे समय के साथ बेहतर होंगे ("पॉजिटिव ड्रिफ्ट") क्योंकि वे आपकी पसंद को सीखते हैं।
- फॉर्म फिलर्स: उन्होंने भविष्यवाणी की कि उनमें कम "सरप्राइज" होगा क्योंकि वे केवल ज्ञात डेटा फ़ील्ड भरते हैं।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें AI के साथ एक साधारण मशीन की तरह व्यवहार करना बंद करने की आवश्यकता है। हमें ऐसे नए उपकरणों की आवश्यकता है जो समझते हों कि AI अप्रत्याशित, समय के साथ बदलने वाला और अनिश्चित है।
लेखक स्वीकार करते हैं कि यह केवल एक नया मानचित्र है; उन्होंने अभी तक वास्तविक यात्रियों के साथ यात्रा नहीं की है। उन्हें उम्मीद है कि भविष्य में, शोधकर्ता वास्तविक लोगों के साथ AI उत्पादों का परीक्षण करने के लिए इन तीन उपकरणों का उपयोग करेंगे, ताकि हम अंततः एक मशीन से बात करने के अनुभव को उसी तरह माप सकें जैसा वह वास्तव में है: एक गतिशील, विकसित होती बातचीत, न कि एक निश्चित बटन प्रेस।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।