From Subjective Judgments to Auditable Standards:Protocol-Guided AI Auditing of Website Redundancy
यह शोधपत्र CORA को प्रस्तुत करता है, जो एक प्रोटोकॉल-निर्देशित ऑडिटिंग ढांचा है जो वेबसाइट अतिरेक (redundancy) को वर्शन्ड विजन-लैंग्वेज मॉडल्स और सख्त सत्यापन गेट्स का उपयोग करके विशिष्ट, ऑडिट करने योग्य मेट्रिक्स (रिपिटिशन लोड, नॉर्मल-यूज़ टैक्स, और फेल्योर-डोमेन रिकवरी रिज़र्व) में विभाजित करता है, ताकि स्केलर बेसलाइन्स की तुलना में बेहतर भविष्य कहने वाली सटीकता प्रदर्शित की जा सके, जबकि इसके वर्तमान स्थिति को एक सामान्य मानक के बजाय एक नियंत्रित बेंचमार्क उम्मीदवार के रूप में रेखांकित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हम एक ऐसे युग में रह रहे हैं जहाँ वेबसाइटें कृत्रिम बुद्धिमत्ता (AI) की मदद से बनाई जा रही हैं, और उन्हीं उपकरणों से अब उन पृष्ठों की गुणवत्ता का आकलन करने के लिए भी बार-बार कहा जा रहा है जिन्हें बनाने में उन्होंने मदद की है। लेकिन डिजिटल इंटरफ़ेस की गुणवत्ता को मापना केवल त्रुटियों को गिनने जितना सरल नहीं है। एक विशेषता जो किसी व्यक्ति को सहायक बैकअप की तरह लग सकती है, वह दूसरे व्यक्ति के लिए ध्यान भटकाने वाली अव्यवस्था (clutter) लग सकती है, जो इस बात पर निर्भर करता है कि वे क्या करने की कोशिश कर रहे हैं और क्या गलत हो सकता है। उपयोगिता (usability) के क्षेत्र में, शोधकर्ता इन बदलते और व्यक्तिपरक अनुभवों को कुछ ठोस और दोहराने योग्य चीज़ में बदलने के लिए लंबे समय से संघर्ष कर रहे हैं। चुनौती केवल कंप्यूटर से यह पूछने की नहीं है कि स्क्रीन को देखकर कहे कि "यह अस्त-व्यस्त है," बल्कि यह परिभाषित करने की है कि "अस्त-व्यस्त" का वास्तव में क्या अर्थ है, यह साबित करने की है कि कंप्यूटर सही चीजों को देख रहा है, और यह सुनिश्चित करने की है कि सॉफ्टवेयर संस्करण अपडेट होने मात्र से उत्तर न बदल जाए। एक सख्त पद्धति के बिना, कंप्यूटर का निर्णय केवल एक अनुमान से अधिक कुछ नहीं है, चाहे वह कितना भी आत्मविश्वास से भरा क्यों न लगे।
बेइहांग (Beihang) यूनिवर्सिटी और बीजिंग इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है, जिसमें वेबसाइट की अतिरेकता (redundancy) के मूल्यांकन को केवल एक राय के रूप में नहीं, बल्कि एक कठोर, तीन-भाग वाले माप के रूप में देखा गया है। वे अपने इस तरीके को CORA कहते हैं। किसी मॉडल से यह पूछने के बजाय कि कोई पृष्ठ कितना अव्यवस्थित है, CORA इस अवधारणा को तीन अलग-अलग प्रश्नों में विभाजित करता है। पहला, यह पूछता है कि क्या दोहराया जा रहा है: क्या यह दृश्य सजावट (visual decoration) है, सूचनात्मक पाठ (information text) है, या उपयोगकर्ता के पेज के साथ बातचीत करने का तरीका है? दूसरा, यह पूछता है कि सामान्य उपयोग के दौरान उस दोहराव की उपयोगकर्ता को क्या लागत चुकानी पड़ती है, जैसे कि अनावश्यक तत्वों से आगे बढ़ने के लिए अतिरिक्त क्लिक या समय। तीसरा, और शायद सबसे महत्वपूर्ण, यह पूछता है कि यदि कुछ टूट जाए तो क्या उपयोगी रहता है। यदि प्राथमिक बटन विफल हो जाता है, तो क्या कोई बैकअप मार्ग मौजूद है? यदि मुख्य मेनू क्रैश हो जाता है, तो क्या उपयोगकर्ता का मार्गदर्शन करने के लिए कोई लैंडमार्क है? इन तीन तत्वों—क्या दोहराया गया है, इसकी क्या लागत है, और विफलता के समय क्या शेष रहता है—को अलग करके, शोधकर्ताओं का लक्ष्य एक ऐसा माप बनाना है जो सटीक हो और अपनी सीमाओं के प्रति ईमानदार भी हो।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने एक पारदर्शी प्रयोगशाला वातावरण बनाया जहाँ वे वेबसाइट और कार्य के हर विवरण को नियंत्रित कर सकते थे। उन्होंने हजारों सिम्युलेटेड परिदृश्य बनाए जहाँ उन्होंने जानबूझकर दोहराए गए तत्वों को जोड़ा या हटाया, क्योंकि वे जानते थे कि "सही" उत्तर क्या होना चाहिए। फिर उन्होंने दो अलग-अलग कृत्रिम बुद्धिमत्ता मॉडलों को 'ऑडिटर' के रूप में कार्य करने के लिए कहा। इन मॉडलों को केवल अनुमान लगाने की अनुमति नहीं थी; उन्हें अपने हर दावे के लिए विशिष्ट साक्ष्य प्रदान करने के लिए बाध्य किया गया था, जो स्क्रीन के उन सटीक हिस्सों की ओर इशारा करे जो उनके निर्णय का समर्थन करते हों। किसी भी स्कोर को जारी करने से पहले, सख्त स्वतंत्र जाँचों के एक सेट को पास करना अनिवार्य था। सिस्टम ने सत्यापित किया कि मॉडल का साक्ष्य वास्तव में स्क्रीन से मेल खाता है, तर्क एक सुसंगत क्रम का पालन करता है, और मॉडल हर पेज के लिए एक ही उत्तर तो नहीं दोहरा रहा है। यदि इनमें से एक भी जाँच विफल होती, तो सिस्टम स्कोर को पूरी तरह से रोक देता, और ऐसा परिणाम जारी करने से इनकार कर देता जिसे पूरी तरह से सत्यापित न किया जा सके।
इस प्रयोग के परिणामों ने एक महत्वपूर्ण अंतर को उजागर किया: एक ऐसा कंप्यूटर जो उत्तर दोहरा सकता है और एक ऐसा कंप्यूटर जो वास्तव में किसी अवधारणा को माप सकता है, के बीच का अंतर। परीक्षणों के एक सेट में, शोधकर्ताओं ने पाया कि उनके तीन-भाग वाले तरीके ने दोहराव की "लागत" को बैकअप विकल्पों के "रिजर्व" से सफलतापूर्वक अलग कर दिया। जब उन्होंने सिम्युलेटेड वेबसाइटों में विफलताएं डालीं, तो सिस्टम ने सही ढंग से पहचाना कि जिन पृष्ठों में अधिक बैकअप मार्ग थे, वे अधिक मजबूत (robust) थे, भले ही वे देखने में अधिक अव्यवस्थित लग रहे थे। इस अलगाव ने सिस्टम को यह भविष्यवाणी करने में सक्षम बनाया कि टूटे हुए परिदृश्य में उपयोगकर्ता कितनी अच्छी तरह सफल होगा, जो कि केवल कुल अव्यवस्था को गिनने वाले तरीकों से कहीं बेहतर था। हालाँकि, जब शोधकर्ताओं ने वास्तविक निर्णय लेने के लिए कृत्रिम बुद्धिमत्ता मॉडलों की ओर रुख किया, तो परिणाम निराशाजनक थे। दोनों मॉडलों ने ऐसे उत्तर दिए जो अत्यधिक सुसंगत और दोहराने योग्य थे, लेकिन कोई भी सख्त सत्यापन जाँचों को पास करने में सक्षम नहीं था। एक मॉडल ने ऐसे उत्तर दिए जो सतह पर सही दिखते थे लेकिन स्क्रीन पर सही साक्ष्य दिखाने में विफल रहे। दूसरे मॉडल ने अनुरोधित विश्लेषण देने के बजाय केवल अपने स्वयं के अवलोकनों को ही सिस्टम को वापस लौटा दिया। क्योंकि सत्यापन द्वार (verification gate) अपने डिज़ाइन के अनुसार काम कर रहा था, इसलिए इसने दोनों मॉडलों में से किसी भी मॉडल से एक भी स्वचालित स्कोर जारी करने से इनकार कर दिया, भले ही उन्होंने हजारों प्रतिक्रियाएं उत्पन्न की थीं।
स्कोर जारी करने से यह इनकार प्रयोग की विफलता नहीं है, बल्कि इसकी प्राथमिक सफलता है। यह अध्ययन दर्शाता है कि पुनरावृत्ति (repeatability) और वैधता (validity) एक समान नहीं हैं। एक मशीन लगातार गलत उत्तर दे सकती है, या एक ऐसा सुसंगत उत्तर दे सकती है जिसका दृश्य साक्ष्यों से कोई वास्तविक संबंध न हो। निर्णय जारी करने से पहले साक्ष्य की जाँच करने वाला सिस्टम बनाकर, शोधकर्ताओं ने दिखाया कि इन विफलताओं को स्वचालित रूप से पकड़ना संभव है। इस अध्ययन ने कोई ऐसा 'जादुई समाधान' नहीं खोजा जो आज कंप्यूटरों को वेबसाइट की गुणवत्ता को पूरी तरह से परखने की अनुमति देता हो। इसके बजाय, इसने एक खाका (blueprint) प्रदान किया कि ऐसे सिस्टम का निर्माण कैसे किया जा सकता है: एक ऐसा सिस्टम जो कंप्यूटर को एक ऐसे 'वर्जन वाले उपकरण' (versioned instrument) के रूप में देखता है जिसे कैलिब्रेट और चेक किया जाना चाहिए, न कि एक ऐसे 'ओरेकल' के रूप में जो केवल सत्य बोलता है। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि उनका तरीका एक नियंत्रित, सिम्युलेटेड वातावरण में अच्छा काम करता है, यह अभी वास्तविक दुनिया के लिए तैयार नहीं है। इसका परीक्षण वास्तविक लोगों द्वारा उपयोग की जाने वाली वास्तविक वेबसाइटों पर नहीं किया गया है, और न ही इसकी तुलना मानव विशेषज्ञों से की गई है कि क्या कंप्यूटर के "रोके गए" स्कोर मानवीय अंतर्ज्ञान के अनुरूप हैं। फिलहाल, यह सिस्टम एक 'प्रूफ ऑफ कॉन्सेप्ट' के रूप में खड़ा है: एक तरीका यह सुनिश्चित करने का कि जब हम अंततः मशीनों को अपने डिजिटल स्थानों का न्याय करने देंगे, तो हमें पता होगा कि उन्होंने क्या देखा, वे क्या चूक गए, और उन्होंने चुप रहने का निर्णय क्यों लिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।