AutoDiscovery: Open-ended Scientific Discovery via Bayesian Surprise

यहाँ शोध पत्र "AUTODISCOVERY: Bayesian Surprise के माध्यम से ओपन-एंडेड वैज्ञानिक खोज" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्वायत्त वैज्ञानिक खोज (Autonomous Scientific Discovery - ASD) की चुनौती को संबोधित करता है, विशेष रूप से "लक्ष्य-संचालित" (goal-driven) सेटिंग्स (जहाँ एक मानव विशिष्ट शोध प्रश्न प्रदान करता है) से आगे बढ़कर ओपन-एंडेड खोज (जहाँ AI सिस्टम को बिना किसी स्पष्ट मार्गदर्शन के स्वतंत्र रूप से परिकल्पनाएँ उत्पन्न करने, परीक्षण करने और परिष्कृत करने की आवश्यकता होती है) की ओर बढ़ने पर केंद्रित है।

पहचाने गए मुख्य चुनौतियाँ:

• खोज स्थान की जटिलता (Search Space Complexity): संभावित वैज्ञानिक परिकल्पनाओं का स्थान विशाल है। सरल विविधता अनुमानी (diversity heuristics) इस स्थान को सार्थक रूप से नेविगेट करने में विफल रहते हैं।
• "दिलचस्प होने" की व्यक्तिपरकता (Subjectivity of "Interestingness"): मौजूदा विधियाँ अक्सर मानव प्रॉक्सी (जैसे, "दिलचस्प होना" या "नवीनता") पर निर्भर करती हैं जो व्यक्तिपरक, विशेषज्ञों के बीच असंगत और विश्वसनीय रूप से स्वचालित करने में कठिन हैं।
• दिशा का अभाव (Lack of Direction): बिना किसी स्पष्ट लक्ष्य के, AI एजेंट अन्वेषण (नए, अज्ञात परिकल्पना स्थानों को आज़माना) और शोषण (उभरते हुए लीड्स को परिष्कृत करना) के बीच प्रभावी ढंग से संतुलन बनाने में संघर्ष करते हैं।

2. कार्यप्रणाली: AUTODISCOVERY

लेखक AUTODISCOVERY का प्रस्ताव करते हैं, जो Bayesian Surprise को प्राथमिक रिवॉर्ड सिग्नल के रूप में उपयोग करके ओपन-एंडेड वैज्ञानिक अन्वेषण को संचालित करता है। यह प्रणाली एक डेटा-संचालित खोज (Data-Driven Discovery - DDD) सेटिंग के भीतर कार्य करती है, जहाँ एजेंट के पास डेटासेट और एक पायथन निष्पादन वातावरण (Python execution environment) तक पहुँच होती है।

A. मुख्य अवधारणा: Bayesian Surprise

यह पूछने के बजाय कि "क्या यह परिकल्पना दिलचस्प है?", सिस्टम पूछता है "इस नए डेटा ने मॉडल के विश्वास (belief) को कितना बदल दिया?"

• विश्वास उद्ለት (Belief Elicitation): सिस्टम LLM को एक बेयसियन ऑब्जर्वर (Bayesian observer) के रूप में मानता है। यह डेटा देखने से पहले एक परिकल्पना $H$ के बारे में LLM के पूर्व विश्वास ($\theta_H$) और प्रयोगात्मक परिणामों ($V_D$) को देखने के बाद इसके पश्चवर्ती विश्वास (posterior belief) का अनुमान लगाता है।
• सरप्राइज़ल गणना (Surprisal Calculation): सरप्राइज को पूर्व (prior) और पश्च (posterior) वितरणों के बीच कुलबैक-लीब्लर (Kullback-Leibler - KL) डाइवर्जेंस के रूप में मापा जाता है:
  $$BS(H, V_D) = D_{KL}(P(\theta_H | V_D) \parallel P(\theta_H))$$
• विश्वास परिवर्तन (Belief Shift): एक "सरप्राइज" को औपचारिक रूप से अपेक्षित विश्वास में एक महत्वपूर्ण दिशात्मक बदलाव (उदाहरण के लिए, "संभावित रूप से सत्य" से "संभावित रूप से असत्य" या इसके विपरीत) के रूप में परिभाषित किया गया है, जो एक निर्णय थ्रेशोल्ड (आमतौर पर 0.5) के पार होता है।

B. खोज एल्गोरिदम: Progressive Widening के साथ MCTS

परिकल्पनाओं के कॉम्बिनेटोरियल स्पेस को नेविगेट करने के लिए, AUTODISCOVERY Bayesian surprise द्वारा निर्देशित Monte Carlo Tree Search (MCTS) का उपयोग करता है।

• वृक्ष संरचना (Tree Structure): नोड्स परिकल्पनाओं का प्रतिनिधित्व करते हैं; किनारे (edges) नई प्रयोगों/परिकल्पनाओं में संक्रमण का प्रतिनिधित्व करते हैं।
• प्रोग्रेसिव वाइडनिंग (Progressive Widening): चूंकि शाखाकरण कारक (अगली परिकल्पनाओं की संख्या) अनंत है, एल्गोरिदम विज़िटेशन काउंट के आधार पर गतिशील रूप से बच्चों (children) की संख्या बढ़ाता है। यह खोज को स्थानीय इष्टतम (local optima) में फंसने से रोकता है और विविध अन्वेषण सुनिश्चित करता है।
• चयन नीति (Selection Policy - UCT): एल्गोरिदम अन्वेषण और शोषण के बीच संतुलन बनाने के लिए Upper Confidence Bound (UCT) फॉर्मूला का उपयोग करता है:
  $$UCT(H) = \underbrace{\frac{\sum S(h)}{N(H)}}_{\text{Exploitation}} + C \cdot \underbrace{\sqrt{\frac{2 \log N(H_{parent})}{N(H)}}}_{\text{Exploration}}$$
  जहाँ $S(h)$ सरप्राइज़ल रिवॉर्ड है।
• डुप्लिकेट हटाना (Deduplication): सिमेंटिक रेडंडेंसी को संभालने के लिए, सिस्टम LLM-आधारित Hierarchical Agglomerative Clustering (HAC) का उपयोग करता है। यह सिमेंटिक रूप से समान परिकल्पनाओं को समूहित करता है और उन्हें तब मर्ज करता है जब एक LLM पुष्टि करता है कि वे समान हैं, जिससे यह सुनिश्चित होता है कि खोज अद्वितीय अंतर्दृष्टि पर केंद्रित रहे।

C. मल्टी-एजेंट आर्किटेक्चर

खोज प्रक्रिया को एक सहयोगी मल्टी-एजेंट सिस्टम द्वारा प्रबंधित किया जाता है:

1. Hypothesis Generator: नए दावे प्रस्तावित करता है।
2. Experiment Programmer: परिकल्पना का परीक्षण करने के लिए पायथन कोड लिखता है।
3. Code Executor: सैंडबॉक्स्ड वातावरण में कोड चलाता है।
4. Analyst/Reviewer: परिणामों का विश्लेषण करता है, कोड की आलोचना करता है, और विश्वास अवस्था (belief state) को अपडेट करता है।
5. Belief Elicitor: सरप्राइज गणना के लिए आवश्यक पूर्व और पश्च संभाव्यता वितरणों का अनुमान लगाने के लिए LLM को कई बार सैंपल करता है।

3. मुख्य योगदान

1. सरप्राइज की औपचारिक परिभाषा: यह शोध पत्र ASD के संदर्भ में "सरप्राइज" की पहली औपचारिक परिभाषा प्रदान करता है, जिसे व्यक्तिपरक मानव मेट्रिक्स के बजाय बेयसियन विश्वास बदलावों (Bayesian belief shifts) में स्थापित किया गया है।
2. नया खोज ढांचा (AutoDS): यह एक विधि पेश करता है जो पूर्वनिर्धारित लक्ष्य के बिना ओपन-एंडेड परिकल्पना खोज करने के लिए Bayesian surprise को MCTS और progressive widening के साथ जोड़ती है।
3. अनुभवजन्य सत्यापन (Empirical Validation): लेखक प्रदर्शित करते हैं कि अन्य स्वचालित मेट्रिक्स की तुलना में Bayesian surprise के लिए अनुकूलित करना "दिलचस्प होने" के लिए एक बेहतर प्रॉक्सी है।

4. प्रयोगात्मक परिणाम

सिस्टम का मूल्यांकन जीव विज्ञान, अर्थशास्त्र, वित्त और व्यवहार विज्ञान (जैसे, तूफान का नुकसान, BMI अध्ययन, अल्जाइमर डेटा) के 21 वास्तविक दुनिया के डेटासेट में किया गया।

• बेसलाइन्स के विरुद्ध प्रदर्शन: AUTODISCOVERY (MCTS) मजबूत बेसलाइन्स को काफी पीछे छोड़ देता है, जिनमें शामिल हैं:
  • Repeated Sampling: स्वतंत्र, संदर्भ-मुक्त पीढ़ी।
  • Linear Search: क्रमिक, एकल-पथ पीढ़ी।
  • Greedy Search: हमेशा उच्चतम-मूल्य वाले नोड को चुनना (कोई अन्वेषण नहीं)।
  • Beam Search: प्रूनिंग के साथ ब्रैथ-फर्स्ट सर्च।
  • परिणाम: AUTODISCOVERY ने 500 परिकल्पनाओं के निश्चित बजट के तहत 5–29% अधिक आश्चर्यजनक खोजें उत्पन्न कीं।
• मानव मूल्यांकन: STEM PhD विशेषज्ञों के साथ एक अध्ययन में:
  • LLM द्वारा "आश्चर्यजनक" माने गए खोजों में से 67% को मानव विशेषज्ञों द्वारा भी आश्चर्यजनक माना गया।
  • अन्य स्वचालित रिवॉर्ड्स जैसे "LLM interestingness" (0.11–0.22) की तुलना में Bayesian surprise ने मानव आश्चर्य (0.67) के साथ बहुत उच्च सहसंबंध दिखाया।
• खोज दक्षता (Search Efficiency): MCTS दृष्टिकोण समय के साथ उच्च खोज दक्षता बनाए रखता है, जबकि greedy और beam search रणनीतियाँ खोज स्थान समाप्त होने पर खराब हो जाती हैं।

5. महत्व और निहितार्थ

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र ASD को "विशिष्ट प्रश्नों के उत्तर देने" से बदलकर "यह खोजने" की ओर ले जाता है कि "कौन से प्रश्न पूछने चाहिए"। यह उन मानव वैज्ञानिकों के वर्कफ़्लो की नकल करता है जो अप्रत्याशित पैटर्न खोजने के लिए डेटा का अन्वेषण करते हैं।
• नवीनता के लिए वस्तुनिष्ठ मीट्रिक: Bayesian surprise का उपयोग करके, सिस्टम "दिलचस्प होने" की व्यक्तिपरकता को दरकिनार करता है, जिससे मानव अंतर्ज्ञान के साथ अच्छी तरह से मेल खाने वाला एक गणितीय रूप से ठोस नवीनता मीट्रिक प्राप्त होता है।
• स्केलेबिलिटी: MCTS और progressive widening का संयोजन विशाल परिकल्पना स्थानों को नेविगेट करने के लिए एक स्केलेबल समाधान प्रदान करता है, जो कि स्वचालित विज्ञान में एक महत्वपूर्ण बाधा है।
• भविष्य की दिशाएं: लेखक नोट करते हैं कि हालांकि यह सिस्टम आशाजनक है, इसे वैज्ञानिक रूप से भ्रामक निष्कर्षों (spurious findings) को उत्पन्न करने से रोकने के लिए गार्डरेल्स (जैसे, मानव निरीक्षण) की आवश्यकता है। भविष्य के कार्यों में LLM के "पूर्व" (prior) विश्वासों को परिष्कृत करने के लिए साहित्य ग्राउंडिंग (literature grounding) को एकीकृत करना शामिल है।

संक्षेप में, AUTODISCOVERY पूर्णतः स्वायत्त वैज्ञानिक एजेंटों की ओर एक महत्वपूर्ण कदम है जो न केवल प्रयोग निष्पादित कर सकते हैं बल्कि स्वतंत्र रूप से सबसे वैज्ञानिक रूप से मूल्यवान और आश्चर्यजनक जांच के रास्तों की पहचान भी कर सकते हैं।