Preregistration for Experiments with AI Agents
यह शोध पत्र पद्धतिगत कमजोरियों को कम करने और विश्वसनीयता बढ़ाने के लिए एआई एजेंटों के साथ प्रयोगों में प्री-रजिस्ट्रेशन प्रथाओं को अनिवार्य रूप से अपनाने का समर्थन करता है, साथ ही मॉडल चयन और प्रॉम्प्ट इंजीनियरिंग जैसे विशिष्ट शोधकर्ता स्वतंत्रता स्तरों (researcher degrees of freedom) को संबोधित करने के लिए एक अनुकूलित टेम्पलेट भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो यह साबित करने की कोशिश कर रहे हैं कि एक नया नुस्खा (रेसिपी) "परफेक्ट" सूप बनाता है।
पुराने दिनों में, इस सूप को बनाना महंगा और धीमा काम था। आपको ताजी सामग्री खरीदनी पड़ती थी, घंटों तक सब्जियां काटनी पड़ती थीं और एक बड़े बर्तन का उपयोग करना पड़ता था। क्योंकि इसमें बहुत अधिक समय और पैसा खर्च होता था, इसलिए शायद आप यह सूप साल में एक या दो बार ही बनाते थे। यदि इसका स्वाद खराब होता, तो आप शायद रेसिपी में थोड़ा बदलाव करते, लेकिन आप किसी पत्रिका के लेख के लिए "परफेक्ट" स्वाद खोजने के लिए 50 अलग-अलग संस्करण नहीं बनाते।
नई समस्या: "अनंत सूप" वाली रसोई
अब, कल्पना कीजिए कि आपके पास एक रोबोट शेफ (एक AI एजेंट) है जो सेकंडों में और एक पैसे की लागत में सूप बना सकता है। आप एक घंटे में 1,000 कटोरे सूप बना सकते हैं। आप हर एक कटोरे के लिए नमक, मसाले, तापमान और बर्तन का प्रकार बदल सकते हैं।
यह पेपर तर्क देता है कि क्योंकि यह इतना सस्ता और आसान है, इसलिए शोधकर्ता कुछ खतरनाक कर रहे हैं: वे हजारों कटोरे सूप बना रहे हैं, उन सभी को चख रहे हैं, और फिर दुनिया को केवल वह एक कटोरा दिखा रहे हैं जो स्वादिष्ट था। वे कह सकते हैं, "देखो! यह वैज्ञानिक रूप से सिद्ध है कि यह सबसे अच्छा है!" लेकिन वे आपको यह नहीं बता रहे हैं कि उन्होंने 999 अन्य कटोरे फेंक दिए जो बहुत खराब स्वाद वाले थे।
इसे "स्पेसिफिकेशन सर्च" (Specification Search) कहा जाता है। यह एक तालाब में लाखों हुक डालकर मछली पकड़ने जैसा है। यदि आप तब तक हुक डालते रहते हैं जब तक कि आपको मछली न मिल जाए, तो आप यह दावा नहीं कर सकते कि आप "भाग्यशाली" थे या मछली पकड़ना आसान था। आपने बस तब तक कोशिश की जब तक आपको वह नहीं मिल गया जो आप चाहते थे।
समाधान: "लॉक रेसिपी" (प्रि-रजिस्ट्रेशन)
इसे ठीक करने के लिए, पेपर एक सरल नियम का सुझाव देता है जिसे "प्रि-रजिस्ट्रेशन" (Preregistration) कहा जाता है।
इसे ऐसे सोचें: चूल्हा जलाने से पहले ही, आपको अपना नुस्खा एक कागज पर लिखना होगा, उसे एक लिफाफे में सील करना होगा, और उसे एक नोटरी को देना होगा। आप बिल्कुल स्पष्ट रूप से लिखेंगे:
- आप किस रोबोट शेफ का उपयोग करेंगे।
- वे सटीक शब्द जो आप रोबोट को बताएंगे (आपका "प्रॉम्ट")।
- आप कितना नमक और कितनी गर्मी का उपयोग करेंगे।
- आप किसे "अच्छा" सूप मानेंगे।
एक बार लिफाफा सील हो जाने के बाद, आप रेसिपी बदल नहीं सकते। आप सूप पकाते हैं, उसे चखते हैं, और परिणाम बताते हैं। यदि सूप नमकीन और खराब निकलता है, तो आपको उसे भी रिपोर्ट करना होगा। आप चुपके से नमक को चीनी से नहीं बदल सकते क्योंकि पहला कटोरा असफल रहा।
यह AI के लिए क्यों महत्वपूर्ण है
पेपर बताता है कि AI प्रयोग वर्तमान में एक "वाइल्ड वेस्ट" (अराजक) चरण में हैं। क्योंकि इन प्रयोगों को चलाना इतना सस्ता है, इसलिए शोधकर्ता अनजाने में (या कभी-कभी जानबूझकर) अपनी सेटिंग्स को तब तक बदलते रहते हैं जब तक कि उन्हें ऐसा परिणाम न मिल जाए जो रोमांचक दिखे।
- "गार्डन ऑफ फोर्किंग पाथ्स" (विभाजित रास्तों का बगीचा): एक बगीचे की कल्पना करें जिसमें लाखों रास्ते हैं। एक शोधकर्ता एक रास्ते पर चलता है, एक फूल देखता है, और वह फूल दिखाने का निर्णय लेता है। लेकिन वे आपको यह नहीं बताते कि उन्होंने बिना फूलों वाले 50 अन्य रास्तों पर भी कदम रखा था। प्रि-रजिस्ट्रेशन उन्हें मजबूर करता है कि वे कहें, "मैंने चलना शुरू करने से पहले यह रास्ता चुना था।"
- धोखा देने की लागत: मानव अध्ययनों में, धोखा देना कठिन है क्योंकि लोगों का साक्षात्कार लेना महंगा होता है। AI अध्ययनों में, धोखा देना आसान है क्योंकि यह सस्ता है। प्रि-रजिस्ट्रेशन उस "घर्षण" (कठिनाई) को वापस लाता है क्योंकि यह आपको अपने प्लान के प्रति जल्दी प्रतिबद्ध होने के लिए मजबूर करता है।
यह पेपर क्या प्रस्तावित करता है
लेखकों ने एक विशेष चेकलिस्ट (टेम्पलेट) बनाई है जिसे वैज्ञानिकों को अपने AI प्रयोग शुरू करने से पहले भरना होगा। यह चेकलिस्ट उनसे निम्नलिखित चीजें लॉक करने के लिए कहती है:
- रोबोट: आप बिल्कुल कौन सा AI मॉडल और संस्करण उपयोग कर रहे हैं।
- निर्देश: वे सटीक शब्द जो आप AI को टाइप करेंगे।
- नियम: यदि AI उत्तर देने से मना कर देता है या अजीब प्रतिक्रिया देता है, तो आप स्थिति को कैसे संभालेंगे।
- इतिहास: यदि आपने पहले अलग-अलग निर्देश आजमाए हैं, तो उन्हें यह स्वीकार करना होगा।
निष्कर्ष
यह पेपर यह नहीं कह रहा है कि "AI प्रयोग करना बंद कर दें।" यह कह रहा है कि "आइए हम परिणामों पर भरोसा कर सकें।"
शोधकर्ताओं को अपने प्लान को शुरू करने से पहले लॉक करने के लिए मजबूर करके, हम यह बता सकते हैं कि क्या कोई खोज वास्तविक है या वह केवल लाखों बार कोशिश करने के बाद मिली एक भाग्यशाली किस्मत है। लक्ष्य AI अनुसंधान के लिए विश्वास की प्रतिष्ठा बनाना है, इससे पहले कि यह बहुत बड़ा होकर ठीक न किया जा सके।
संक्षेप में: रोबोट शेफ को 1,000 सूप बनाने दें और केवल वही पेश करें जो अच्छा दिखता है, ऐसा न होने दें। इसके बजाय, उन्हें पहले रेसिपी लिखने के लिए कहें, एक बार खाना बनाएं, और जो भी निकले उसे परोसें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।