Mitigating LLM-based p-Hacking by Preregistering for the Next LLM
यह शोध पत्र विश्लेषण योजनाओं को पूर्व-पंजीकृत (प्रि-रजिस्टर) करके और पंजीकरण के बाद जारी किए गए पहले पात्र मॉडल पर पुष्टिकरण परीक्षणों को निष्पादित करके, एलएलएम-आधारित अनुसंधान में पी-हैकिंग (p-hacking) को कम करने के लिए एक प्रोटोकॉल का प्रस्ताव देता है और अनुभवजन्य रूप से उसे मान्य करता है, जिससे शोधकर्ताओं को विशिष्ट मॉडल व्यवहारों के प्रति ओवरफिट होने से रोका जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
समस्या: AI के साथ "किताबों में हेरफेर करना" (Cooking the Books)
कल्पना कीजिए कि एक वैज्ञानिक यह साबित करना चाहता है कि एक नई डाइट पिल (वजन घटाने की गोली) काम करती है। एक सख्त और उबाऊ प्रयोग करने के बजाय, वह एक बहुत ही स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल, या LLM) का उपयोग करता है ताकि लोगों की फूड डायरी को पढ़ा जा सके और यह तय किया जा सके कि उन्होंने कम खाना खाया या नहीं।
समस्या यह है कि ये AI बहुत लचीली मिट्टी (flexible clay) की तरह होते हैं। यदि वैज्ञानिक को AI का उत्तर पसंद नहीं आता, तो वे बस उस मिट्टी को थोड़ा सा आकार बदल सकते हैं:
- प्रश्न को थोड़ा बदल दें (जैसे: "क्या उन्होंने ज़्यादा खाया" के बजाय "क्या उन्होंने कम खाया" पूछें)।
- AI के "मूड" (एक सेटिंग जिसे 'टेम्परेचर' कहा जाता है) को बदल दें।
- AI को उत्तर देने के तरीके को बदल दें।
वे इन सेटिंग्स को बार-बार तब तक बदलते रहते हैं जब तक कि AI अंततः यह न कह दे, "हाँ, डाइट पिल काम करती है!" इसे p-hacking कहा जाता है। यह एक छात्र की तरह है जो परीक्षा दे रहा है, जवाब मिटा रहा है, और फिर से कोशिश कर रहा है जब तक कि उसे 'A' ग्रेड न मिल जाए। परिणाम वास्तविक दिखता है, लेकिन वास्तव में यह केवल प्रश्न पूछने का एक छल है, कोई वास्तविक खोज नहीं।
समाधान: "लॉक्ड बॉक्स" प्रोटोकॉल (The "Locked Box" Protocol)
लेखक इस धोखाधड़ी को रोकने के लिए एक नया नियम प्रस्तावित करते हैं। वे इसे "अगले LLM के लिए प्री-रजिस्ट्रेशन" कहते हैं।
यह कैसे काम करता है, इसके लिए "टाइम-ट्रैवल लॉटरी" की उपमा देखें:
- अभ्यास दौर (The Practice Round): शोधकर्ता अपने प्रयोग को समझने के लिए वर्तमान AI मॉडल्स के साथ प्रयोग करते हैं। वे तय करते हैं कि कौन से प्रश्न पूछने हैं और उत्तरों का विश्लेषण कैसे करना है।
- लॉक्ड बॉक्स (प्री-रजिस्ट्रेशन): परिणाम देखने से पहले, वे अपनी पूरी योजना लिखते हैं और उसे एक समय-बद्ध बॉक्स (time-locked box) में रख देते हैं। वे "पात्र मॉडल्स" (Eligible Models) की एक सूची भी लिखते हैं (जैसे: "आज के बाद Google, OpenAI, या Anthropic द्वारा जारी किया गया कोई भी नया AI")।
- प्रतीक्षा (The Wait): वे प्रतीक्षा करते हैं। वे प्रयोग को दोबारा छू नहीं सकते। उन्हें एक बिल्कुल नए AI मॉडल के रिलीज़ होने का इंतज़ार करना होगा जो उनकी सूची में फिट बैठता हो।
- खुलासा (The Reveal): जैसे ही वह नया AI आता है, शोधकर्ता अपना बॉक्स खोलते हैं और उस नए मशीन पर अपनी सटीक योजना चलाते हैं।
यह धोखाधड़ी को कैसे रोकता है?
क्योंकि वह नया AI उस समय अस्तित्व में नहीं था जब उन्होंने योजना लिखी थी। शोधकर्ता उस मशीन के लिए "किताबों में हेरफेर" नहीं कर सकते थे जो अभी पैदा भी नहीं हुई थी।
इसके अलावा, शोध पत्र में पाया गया कि AI मॉडल्स अलग-अलग व्यक्तियों की तरह होते हैं। एक ट्रिक जो व्यक्ति A को "हाँ" कहने के लिए मजबूर करती है, वह अक्सर विफल हो जाती है जब आप व्यक्ति B से वही प्रश्न पूछते हैं। यदि कोई शोधकर्ता पुराने AI को धोखा देता है, तो नया AI अक्सर उसे पहचान लेता है और एक साधारण, ईमानदार उत्तर देता है।
शोधकर्ताओं ने क्या किया (प्रमाण)
यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने वास्तव में अपने ही नियमों का पालन किया। उन्होंने दो नकली प्रयोग सेट किए जहाँ वे जानते थे कि उत्तर "कुछ नहीं हुआ" (null result) है:
- नकली AI समीक्षाएँ: उन्होंने AI से यह अनुमान लगाने को कहा कि वैज्ञानिक समीक्षाएँ मनुष्यों द्वारा लिखी गई हैं या AI द्वारा। (वे जानते थे कि सभी मानव-लिखित थीं, इसलिए किसी भी AI का "AI" कहना एक झूठ था)।
- नकली डाइट लॉग: उन्होंने AI से यह अनुमान लगाने को कहा कि क्या लोगों ने दूसरे दिन की तुलना में पहले दिन कम कैलोरी ली। (वे जानते थे कि दिन रैंडम थे, इसलिए उत्तर 50/50 होना चाहिए था)।
उन्होंने पुराने मॉडल्स पर AI को "बेवकूफ" बनाने के लिए 11 अलग-अलग तरीके आजमाए।
- परिणाम: पुराने मॉडल्स पर, ट्रिक्स अक्सर काम कर गईं।
- परीक्षण: उन्होंने अपनी योजना को प्री-रजिस्टर किया और उस पहले नए मॉडल पर चलाया जो बॉक्स लॉक करने के बाद रिलीज़ हुआ था।
- परिणाम (Outcome): ट्रिक्स लगभग 73% मामलों में विफल रहीं। नया AI पुराने ट्रिक्स के साथ खेलने से इनकार कर देता है।
"स्ट्रेस टेस्ट" (The Stress Tests)
शोधकर्ताओं ने यह भी पूछा: "क्या होगा अगर कोई धोखेबाज इस सिस्टम को मात देने की कोशिश करे?"
- अगर वे सबसे अच्छी ट्रिक चुनें? भले ही शोधकर्ता उस एकल ट्रिक को चुने जो पुराने मॉडल पर सबसे अच्छा काम करती थी, फिर भी वह नए मॉडल पर अधिकांश समय विफल रही।
- अगर वे केवल एक कंपनी के AI का उपयोग करें? भले ही वे केवल OpenAI पर दांव लगाएं या केवल Google पर, उसी कंपनी का नया मॉडल उस ट्रिक को तोड़ देता है।
- क्या यह वास्तविक खोजों को रोकता है? नहीं। यदि कोई वास्तविक प्रभाव (जैसे ऐसी डाइट पिल जो वास्तव में काम करती है) होता, तो नया AI उसे भी ढूंढ लेता। यह सिस्टम नकली ट्रिक्स को रोकता है बिना वास्तविक सत्य को रोके।
कमी (The Catch)
इसका एकमात्र नुकसान धैर्य है। आपको अगले AI मॉडल के आने का इंतज़ार करना होगा। उनके अध्ययन में, यह प्रतीक्षा औसतन लगभग 10 दिन थी।
निष्कर्ष (The Bottom Line)
यह शोध पत्र तर्क देता है कि AI अनुसंधान पर भरोसा करने के लिए, वैज्ञानिकों को केवल एक बार प्रयोग नहीं करना चाहिए। उन्हें अपनी योजना लिखनी चाहिए, उसे लॉक कर देना चाहिए, और उसे एक भविष्य के AI पर चलाना चाहिए जो अभी तक रिलीज़ नहीं हुआ है। क्योंकि नया AI पुराने ट्रिक्स के लिए एक अजनबी है, यह एक प्राकृतिक "झूठ पकड़ने वाले यंत्र" (lie detector) के रूप में कार्य करता है, जो नकली परिणामों को फ़िल्टर करता है और केवल वास्तविक परिणामों को ही छोड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।