Principles and Guidelines for Randomized Controlled Trials in AI Evaluation
यह शोध पत्र शैडिश एट अल (Shadish et al.) के चार-वैधता मॉडल और टीओपी (TOP) दिशानिर्देशों को पांच सिद्धांतों और 33 परिचालन दिशानिर्देशों में अनुकूलित करके एआई (AI) मूल्यांकन में रैंडमाइज्ड कंट्रोल्ड ट्रायल्स (Randomized Controlled Trials) को मानकीकृत करने के लिए एक आधारभूत ढांचा स्थापित करता है, जो मानव-एआई (human-AI) अंतःक्रिया अध्ययनों की अनूठी चुनौतियों को संबोधित करने के लिए मानव प्रदर्शन, कारण संबंधी अनुमान (causal inference) और पारदर्शिता को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक नया, सुपर-स्मार्ट कैलकुलेटर वास्तव में लोगों को गणित के सवाल हल करने में बेहतर बनाने में मदद करता है, या यह सिर्फ उन्हें यह महसूस कराता है कि वे बेहतर काम कर रहे हैं।
लंबे समय से, AI का परीक्षण करने वाले वैज्ञानिक अपनी रेसिपी के बिना खुद ही सूप चखने वाले शेफ की तरह रहे हैं। वे कह सकते हैं, "यह सूप बहुत स्वादिष्ट है!" लेकिन उन्होंने आपको यह नहीं बताया कि उन्होंने इसमें कौन सी सामग्री डाली, कितना नमक मिलाया, या क्या उन्होंने इसे आँखों पर पट्टी बांधकर चखा था। कभी-कभी, "सूप" (AI) चखने के दौरान अपना स्वाद बदल लेता है, या चखने वाले लोग आम ग्राहक होने के बजाय पेशेवर शेफ होते हैं।
यह पेपर AI के परीक्षण के लिए एक नया, सख्त रेसिपी बुक है। यह कहता है: "अंदाजा लगाना बंद करें। आइए यह देखने के लिए एक उचित, वैज्ञानिक प्रयोग चलाएं कि क्या AI वास्तव में मनुष्यों की मदद करता है।"
यहाँ उनके "रेसिपी" का सरल विवरण दिया गया, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. मूल विचार: "ह्यूमन अपलिफ्ट" (मानव उत्थान) टेस्ट
आजकल के अधिकांश AI परीक्षण कार क्रैश टेस्ट की तरह हैं जहाँ वे बस कार को दीवार से टकराते हैं और देखते हैं कि कार कितनी टूटती है। यह पेपर कहता है कि हमें केवल कार का नहीं, बल्कि ड्राइवर का परीक्षण करने की आवश्यकता है।
- पुराना तरीका: "देखो, AI ने यह कोड लिखा!"
- नया तरीका: "हमने आधे लोगों को AI दिया और आधे को नहीं। क्या AI वाले लोगों ने वास्तव में बिना AI वाले लोगों की तुलना में बेहतर कोड लिखा, तेजी से सीखा, या कम गलतियाँ कीं?"
2. खेल के पाँच नियम (सिद्धांत)
लेखकों ने चिकित्सा और मनोविज्ञान से नियम उधार लिए और उनमें एक नया नियम जोड़ा। इन्हें एक पुल को थामे रखने वाले पाँच स्तंभों के रूप में सोचें। यदि एक भी कमजोर है, तो पुल (अध्ययन) ढह जाएगा।
नियम 1: क्या हम सही चीज़ माप रहे हैं? (कंस्ट्रक्ट वैलिडिटी - Construct Validity)
- उपमा: कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि क्या एक नया रनिंग शू आपको तेज़ बनाता है। यदि आप मापते हैं कि "जूता कितनी ज़ोर से चरचराता है," तो आप गति को नहीं माप रहे हैं।
- पेपर का बिंदु: केवल यह न गिनें कि AI ने किसी को कितने शब्द लिखने में मदद की (इसे आसानी से फर्जी बनाया जा सकता है)। यह मापें कि क्या सोचने की गुणवत्ता वास्तव में बेहतर हुई।
नियम 2: क्या वास्तव में बदलाव AI के कारण हुआ? (इंटरनल वैलिडिटी - Internal Validity)
- उपमा: यदि आप लोगों के एक समूह को एक नया विटामिन देते हैं और वे स्वस्थ हो जाते हैं, तो क्या यह विटामिन के कारण था? या इसलिए कि उन्होंने सलाद खाना और अधिक सोना भी शुरू कर दिया था?
- पेपर का बिंदु: आपको यह सुनिश्चित करना चाहिए कि दोनों समूहों के बीच एकमात्र अंतर AI ही हो। यदि "AI समूह" को बेहतर निर्देश या एक बेहतर कंप्यूटर भी मिला, तो आप सफलता का श्रेय AI को नहीं दे सकते। साथ ही, आपको "नो-AI" समूह को चुपके से AI की एक झलक देखने से रोकना होगा।
नियम 3: क्या यह सबके लिए काम करता है? (एक्सटर्नल वैलिडिटी - External Validity)
- उपमा: यदि कोई दवा लैब में 20 साल के पुरुषों पर काम करती है, तो क्या वह अस्पताल में 70 साल की महिलाओं पर भी काम करेगी?
- पेपर का बिंदु: AI का परीक्षण केवल कंप्यूटर विशेषज्ञों या केवल विश्वविद्यालय के छात्रों पर न करें। यदि आप ऐसा करते हैं, तो आप यह दावा नहीं कर सकते कि यह सभी के लिए काम करता है। आपको स्पष्ट रूप से कहना होगा: "यह इन लोगों के लिए, इस स्थिति में काम करता है।"
नियम 4: क्या संख्याएँ वास्तविक हैं? (स्टैटिस्टिकल कंक्लूजन वैलिडिटी - Statistical Conclusion Validity)
- उपमा: यदि आप एक सिक्का 3 बार उछालते हैं और हर बार 'हेड्स' आता है, तो आपको लग सकता है कि सिक्का जादुई है। लेकिन यदि आप इसे 1,000 बार उछालते हैं, तो यह शायद सिर्फ किस्मत है।
पेपर का बिंदु: छोटी सुधारों को देखकर उत्साहित न हों जो केवल किस्मत हो सकती हैं। लेखक कहते हैं कि हमें अपने गणित के साथ बहुत सख्त होना चाहिए (सामान्य 0.05 के बजाय अधिक सख्त "p-value" 0.005 का उपयोग करके) क्योंकि AI के दावे उच्च-जोखिम वाले होते हैं। हमें यह जानने की आवश्यकता है कि AI ने चीजों को कितना बेहतर बनाया, न कि केवल यह कि उसने चीजों को "बेहतर" बनाया।
नियम 5: अपना काम दिखाओ! (पारदर्शिता, दोहराव और सत्यापन - Transparency, Repeatability, and Verification)
- उपमा: यदि एक जादूगर कहता है, "मैंने खरगोश को प्रकट किया," लेकिन वह आपको टोपी या खरगोश नहीं दिखाता, तो आप उस पर विश्वास नहीं करेंगे।
- पेपर का बिंदु: AI तेज़ी से बदलता है। यदि आप यह नहीं लिखते कि आपने किस संस्करण का AI उपयोग किया, आपने क्या प्रॉम्प्ट टाइप किए, और अपना डेटा साझा नहीं करते हैं, तो कोई भी बाद में आपके काम की जाँच नहीं कर सकता। पेपर एक 4-स्तरीय "ट्रस्ट लैडर" (विश्वास की सीढ़ी) बनाता है:
- डिस्क्लोजर (प्रकटीकरण): "हमने आपको बताया कि हमने क्या किया।"
- शेयरिंग (साझा करना): "हमने आपको डेटा और कोड दिया।"
- वेरिफिकेशन (सत्यापन): "एक स्वतंत्र व्यक्ति ने जाँच की कि कोड वास्तव में चलता है।"
- रिपीटेबिलिटी (दोहराव): "दूसरी टीम ने नए लोगों के साथ इसे आज़माया और वही परिणाम प्राप्त किया।"
3. 33-चरणों वाली चेकलिस्ट
पेपर केवल नियम नहीं देता; यह शोधकर्ताओं के लिए एक 33-चरणों वाली चेकलिस्ट देता है।
- उदाहरण: "शुरू करने से पहले, ठीक से लिख लें कि आप क्या परीक्षण कर रहे हैं ताकि आप बीच में नियम न बदल सकें।"
- उदाहरण: "सुनिश्चित करें कि 'नो-AI' समूह के लोग अपने फोन पर चुपके से AI का उपयोग नहीं कर रहे हैं।"
- उदाहरण: "जाँच करें कि क्या AI काम को तेज़ बनाता है लेकिन खराब कर देता है, या धीमा बनाता है लेकिन बेहतर करता है।"
4. हमें इसकी आवश्यकता क्यों है?
अभी, दुनिया भ्रमित करने वाले AI अध्ययनों से भरी हुई है। कुछ कहते हैं कि AI अद्भुत है; अन्य कहते हैं कि यह बेकार है। लेखक कहते हैं कि यह इसलिए है क्योंकि हर कोई अलग-अलग नियमों से खेल रहा है।
- समस्या: यदि हम अध्ययनों पर भरोसा नहीं कर सकते, तो हम खतरनाक AI तैनात कर सकते हैं, या हम मददगार AI को अनदेखा कर सकते हैं।
- समाधान: यह पेपर एक "स्टैंडर्ड ऑपरेटिंग प्रोसीजर" है। यह विश्वास का पुल बनाने के लिए एक ब्लूप्रिंट है। यह शोधकर्ताओं को अपने अध्ययन की योजना बनाने में मदद करता है, समीक्षकों को यह जाँचने में मदद करता है कि अध्ययन अच्छा है या नहीं, और सरकारों को वास्तविक तथ्यों के आधार पर कानून बनाने में मदद करता है, न कि अनुमानों के आधार पर।
सारांश
इस पेपर को AI प्रयोगों के लिए FDA (फूड एंड ड्रग एडमिनिस्ट्रेशन) के रूप में समझें। जिस तरह आप किसी नई दवा को बिना कठोर, डबल-ब्लाइंड क्लिनिकल ट्रायल के नहीं लेना चाहेंगे, उसी तरह हमें इन सख्त, मानकीकृत परीक्षणों के बिना मनुष्यों की मदद करने वाले AI के दावों पर भरोसा नहीं करना चाहिए। यह "हमें लगता है कि AI कूल है" से "हमारे पास प्रमाण है कि AI इन लोगों को इस कार्य में बेहतर बनाने में मदद करता है" की ओर बढ़ने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।