Historical Backtesting for Scientific Question Discovery: A Protocol and Astronomy Pilot
यह शोध पत्र एक मॉडल-अज्ञेय (model-agnostic) "ऐतिहासिक बैकटेस्टिंग" प्रोटोकॉल प्रस्तुत करता है जो वैज्ञानिक प्रश्न जनरेटरों का मूल्यांकन एक ऐतिहासिक संग्रह के विरुद्ध प्रश्नों को स्थिर करके और उन्हें एक अस्थायी रूप से अलग भविष्य के संग्रह के विरुद्ध वस्तुनिष्ठ रूप से स्कोर करके करता है, जो यह प्रदर्शित करता है कि साक्ष्य-संरचना-प्रथम (evidence-structure-first) पीढ़ी, LLM-केवल प्रॉम्प्टिंग से बेहतर प्रदर्शन करती है और यह भी प्रकट करती है कि मानव एनोटेटर, AI न्यायाधीशों की तुलना में परिणाम वर्गीकरण (outcome taxonomies) पर सहमत होने में और भी अधिक संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान हमेशा से ही प्रश्नों से प्रेरित रहा है। एक शोधकर्ता दुनिया को देखता है, कुछ रहस्यमय पाता है, और पूछता है, "क्या होगा यदि?" या "क्यों?" दशकों से, आर्टिफिशियल इंटेलिजेंस (AI) को वैज्ञानिक शोध पत्रों के विशाल पुस्तकालयों को पढ़ने और उनका सारांश निकालने के लिए सिखाया गया है। अब, AI की एक नई पीढ़ी को कुछ कठिन करने के लिए कहा जा रहा है: उन्हीं पुस्तकालयों को देखना और उन अगले बड़े प्रश्नों का आविष्कार करना जो मनुष्यों को पूछने चाहिए। लेकिन हम यह कैसे जान सकते हैं कि क्या कोई AI वास्तव में इसमें कुशल है? यदि कोई कंप्यूटर एक नए अनुसंधान पथ का सुझाव देता है, तो क्या वह एक शानदार अंतर्दृष्टि है या केवल एक भाग्यशाली अनुमान? अब तक, इन प्रणालियों को आंकने का एकमात्र तरीका मानव विशेषज्ञों की राय मांगना या अन्य कंप्यूटरों को विचारों को रेटिंग देने देना था। दोनों विधियाँ व्यक्तिपरक (subjective) हैं। वे इस पर निर्भर करती हैं कि लोग उस समय क्या 'दिलचस्प' समझते हैं, न कि इस पर कि क्या वह विचार वास्तव में नई खोजों की ओर ले जाता है।
यह अनिश्चितता महत्वपूर्ण है क्योंकि वैज्ञानिक समुदाय इन AI-जनित संकेतोंों का अनुसरण करने में समय और पैसा निवेश कर रहा है। यदि प्रश्न खराब हैं, तो यह निवेश बर्बाद हो जाएगा। यदि प्रश्न शानदार हैं, तो वे ब्रह्मांड के बारे में हमारी समझ को तेज कर सकते हैं। मुख्य चुनौती यह है कि हम किसी वैज्ञानिक प्रश्न का मूल्य तब तक नहीं जान सकते जब तक कि भविष्य नहीं आ जाता और वैज्ञानिक समुदाय उसका उत्तर नहीं दे देता। आज पूछा गया प्रश्न दस वर्षों तक अनदेखा किया जा सकता है, या इसे अगले महीने ही हल किया जा सकता है। भविष्य को देखने का कोई तरीका न होने के कारण, हमारे पास यह बताने का कोई तरीका नहीं है कि क्या कोई AI वास्तव में दूरदर्शी है या केवल हालिया शोध पत्रों की शैली की नकल कर रहा है।
स्वतंत्र शोधकर्ताओं की एक टीम ने इस समस्या का समाधान खोजने के लिए समय को पीछे घुमाकर एक प्रस्ताव दिया है। भविष्य की भविष्यवाणी करने के बजाय, उन्होंने अतीत का परीक्षण करने के लिए एक प्रणाली बनाई। वे इसे "ऐतिहासिक बैकटेस्टिंग" (historical backtesting) कहते हैं। विचार सरल लेकिन शक्तिशाली है: अतीत की एक विशिष्ट तिथि तक उपलब्ध सभी वैज्ञानिक ज्ञान का एक स्नैपशॉट लें। उस AI प्रणाली को केवल वही पुराना ज्ञान दें और उससे नए अनुसंधान प्रश्न उत्पन्न करने के लिए कहें। फिर उन प्रश्नों को 'फ्रीज' (स्थिर) कर दें ताकि उन्हें बदला न जा सके। अंत में, उस तिथि के बाद प्रकाशित वैज्ञानिक शोध पत्रों को देखें—वे शोध पत्र जिन्हें AI ने कभी नहीं देखा—यह देखने के लिए कि वास्तव में क्या हुआ। क्या समुदाय ने उस प्रश्न का उत्तर दिया? क्या उन्होंने उसे अनदेखा कर दिया? क्या उन्होंने स्वतंत्र रूप से वही प्रश्न पूछा? या क्या उन्होंने प्रश्न की मूल धारणा को गलत साबित कर दिया? AI के इन फ्रीज किए गए प्रश्नों की वास्तविक इतिहास के साथ तुलना करके, शोधकर्ताओं ने विचारों पर राय के बजाय ठोस डेटा के साथ वैज्ञानिक प्रश्नों की गुणवत्ता को मापने का एक तरीका बनाया।
इस पद्धति का परीक्षण करने के लिए, शोधकर्ताओं ने एक्सोप्लैनेट (exoplanet) वायुमंडल के अध्ययन पर ध्यान केंद्रित किया, जो एक तेजी से आगे बढ़ने वाला क्षेत्र है जहाँ वैज्ञानिक दूरस्थ दुनियाओं से आने वाले प्रकाश का विश्लेषण करते हैं ताकि यह निर्धारित किया जा सके कि उनमें कौन सी गैसें मौजूद हैं। उन्होंने 31 दिसंबर, 2020 की कटऑफ तिथि निर्धारित की। उन्होंने उस तिथि से पहले प्रकाशित प्रत्येक प्रासंगिक शोध पत्र को एकत्र किया और उन्हें एक ऐसी प्रणाली में डाला जिसे साक्ष्य में विसंगतियों और विरोधाभासों को खोजने के लिए डिज़ाइन किया गया था। यह प्रणाली, जो विचारों को "गढ़ने" के लिए मानक भाषा मॉडल (language model) पर निर्भर नहीं है बल्कि साक्ष्यों में विशिष्ट संरचनात्मक संघर्षों की तलाश करती है, ने दस फ्रीज किए गए प्रश्न उत्पन्न किए। शोधकर्ताओं ने 2021 और 2026 के बीच प्रकाशित साहित्य का परीक्षण किया। परिणाम चौंकाने वाले थे। उत्पन्न किए गए दस में से प्रत्येक प्रश्न के साथ अगले वर्षों में वैज्ञानिक समुदाय ने सक्रिय रूप से जुड़ा। दो प्रश्नों का पूर्ण उत्तर दिया गया, सात को आंशिक रूप से संबोधित किया गया, और एक प्रश्न क्षेत्र में काम करने वाले वैज्ञानिकों द्वारा स्वतंत्र रूप से उठाया गया था लेकिन खुला रहा। सबसे महत्वपूर्ण बात यह है कि एक प्रश्न ने एक विशिष्ट ग्रह, HD 209458 b, के बारे में व्यापक रूप से स्वीकृत निष्कर्ष को चुनौती दी। समुदाय ने बाद में ठीक उन्हीं परीक्षणों को किया जिनका प्रश्न ने आह्वान किया था और मूल निष्कर्ष को गलत साबित कर दिया, जिससे पता चला कि कम पानी का स्तर माप पद्धति का एक दोष (artifact) था, न कि ग्रह की विशेषता।
शोधकर्ता यहीं नहीं रुके। उन्होंने महसूस किया कि दस प्रश्नों का एक छोटा नमूना पूरी कहानी नहीं बता सकता, इसलिए उन्होंने विभिन्न तरीकों से उत्पन्न सैकड़ों प्रश्नों को शामिल करने के लिए परीक्षण का विस्तार किया। उन्होंने अपने साक्ष्य-आधारित सिस्टम की तुलना अन्य दृष्टिकोणों से की, जिसमें एक मानक आर्टिफिशियल इंटेलिजेंस शामिल था जो केवल पुराने शोध पत्रों को पढ़ता है और नए प्रश्न लिखने की कोशिश करता है, और एक प्रणाली जो बस अतीत के सबसे प्रसिद्ध परिणामों को चुनती है और पूछती है कि क्या वे अभी भी सत्य हैं। जब उन्होंने 424 प्रश्नों के बड़े समूह को देखा, तो उन्होंने पाया कि मानक AI उन व्यापक, फैशन वाले प्रश्नों को पूछने में बहुत अच्छा था जो ध्यान आकर्षित करते हैं। हालांकि, यह शायद ही कभी किसी निश्चित उत्तर या पुराने विचारों के खंडन की ओर ले जाता था। इसके प्रश्न एक चौड़े जाल की तरह थे जो सब कुछ पकड़ता था लेकिन कुछ भी विशिष्ट नहीं रखता था। इसके विपरीत, साक्ष्य में संरचनात्मक संघर्षों को खोजने वाला सिस्टम उन प्रश्नों को खोजने में बहुत बेहतर था जो ठोस उत्तरों या स्थापित विश्वासों को पलटने की ओर ले जाते हैं।
उनके कार्य का एक महत्वपूर्ण हिस्सा यह परीक्षण करना था कि क्या आर्टिफिशियल इंटेलिजेंस केवल अपने प्रशिक्षण डेटा (training data) से उत्तरों को "याद" (recall) कर रहा है। चूंकि आधुनिक AI मॉडल विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं, जिसमें 2020 की कटऑफ के बाद प्रकाशित शोध पत्र भी शामिल हैं, इसलिए यह चिंता थी कि वे भविष्य की भविष्यवाणी करने के बजाय केवल भविष्य को याद कर रहे थे। शोधकर्ताओं ने वास्तविक दूरदर्शिता और स्मृति (memory) के बीच अंतर करने के लिए एक स्ट्रेस टेस्ट डिज़ाइन किया। उन्होंने अलग-अलग समय अवधियों के विरुद्ध समान प्रणालियों को चलाया, जिसमें एक ऐसा समय भी शामिल था जहाँ भविष्य उनके प्रशिक्षण के बाद घटित हुआ था। उन्होंने पाया कि मानक AI केवल तभी अच्छा प्रदर्शन करता था जब भविष्य उसके प्रशिक्षण डेटा के करीब होता था, जिससे पता चलता है कि वह स्मृति पर निर्भर था। लेकिन साक्ष्य-आधारित प्रणाली ने उन समय अवधियों में भी मूल्यवान, विशिष्ट प्रश्न खोजने में सफलता प्राप्त की जहाँ AI को उत्तरों का पता नहीं चल सकता था। इससे सिद्ध हुआ कि अच्छे प्रश्न खोजने की क्षमता साक्ष्य की संरचना से आती है, न कि AI की भविष्य की स्मृति से।
अध्ययन ने इन प्रणालियों के मूल्यांकन में एक आश्चर्यजनक खामी को भी उजागर किया। शोधकर्ताओं ने प्रश्नों को ग्रेड करने के लिए मानव विशेषज्ञों और विभिन्न AI मॉडलों दोनों का उपयोग करने का प्रयास किया। उन्होंने पाया कि मानव विशेषज्ञ अक्सर एक-दूसरे से असहमत होते हैं, और विभिन्न AI मॉडल एक-दूसरे के साथ बहुत अधिक सहमत होते हैं बजाय मनुष्यों के। यह सुझाव देता है कि इन प्रश्नों को आंकने का मानक तरीका—एक एकल AI या मनुष्यों के एक छोटे समूह पर भरोसा करना—अविश्वसनीय है। शोधकर्ताओं ने निष्कर्ष निकाला कि किसी भी निर्णायक, चाहे वह मानव हो या मशीन, पर भरोसा करने से पहले हमें एक "अच्छे" प्रश्न की परिभाषा को अधिक स्पष्ट और सुसंगत बनाने की आवश्यकता है।
अंततः, यह कार्य वैज्ञानिक विचारों के मूल्य को मापने का एक नया तरीका प्रदान करता है। यह क्षेत्र को 'क्या दिलचस्प लगता है' की व्यक्तिपरक राय से दूर ले जाता है और वास्तव में क्या हुआ, इसके मापने योग्य रिकॉर्ड की ओर ले जाता है। शोधकर्ताओं ने अपना डेटा, अपना कोड और अपने फ्रीज किए गए प्रश्न सार्वजनिक कर दिए हैं, जिससे कोई भी समान परीक्षण चला सकता है। उन्होंने एक नया प्रयोग भी स्थापित किया है जहाँ आज उत्पन्न किए गए प्रश्नों को फ्रीज किया जाएगा और अगले चार वर्षों के वैज्ञानिक साहित्य के विरुद्ध स्कोर किया जाएगा। यह भविष्योन्मुखी परीक्षण एक प्रदूषण-मुक्त (contamination-free) माप प्रदान करेगा कि क्या AI वास्तव में वैज्ञानिकों को भविष्य देखने में मदद कर सकता है। निष्कर्ष बताते हैं कि जबकि आर्टिफिशियल इंटेलिजेंस शब्दावली और सारांश बनाने में उत्कृष्ट है, नए वैज्ञानिक प्रश्न खोजने की वास्तविक शक्ति साक्ष्यों में विरोधाभासों और अंतराल को व्यवस्थित रूप से खोजने में निहित है, जिसके लिए केवल एक शक्तिशाली भाषा मॉडल के बजाय एक संरचित दृष्टिकोण की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।