← नवीनतम पेपर
🤖 machine learning

When Should an AI Scientist Stop? Verifiable Experiment Steering and Refusal for Autonomous Discovery

यह शोध पत्र CARTOGRAPH प्रस्तुत करता है, जो स्वायत्त एआई वैज्ञानिकों (autonomous AI scientists) के लिए एक सत्यापन परत (verification layer) है जो वैज्ञानिक प्रयोगों में संरचनात्मक मॉडल अपर्याप्तताओं का प्रभावी ढंग से पता लगाने और गलत खोजों को रोकने के लिए प्रयोग स्टीयरिंग (experiment steering), अस्पष्टता समाधान (ambiguity resolution) और अवशिष्ट-आधारित इनकार तंत्र (residual-based refusal mechanisms) को एकीकृत करता है।

मूल लेखक: Neel Tushar Shah, Manglam Kartik

प्रकाशित 2026-06-09
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Neel Tushar Shah, Manglam Kartik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक उच्च-तकनीकी प्रयोगशाला में स्वायत्त एआई वैज्ञानिकों (autonomous AI scientists) की एक टीम काम कर रही है। उनका काम प्रयोग करना है ताकि यह पता लगाया जा सके कि दुनिया कैसे काम करती है। आमतौर पर, ये एआई सिस्टम नए प्रयोग प्रस्तावित करने और उन्हें चलाने में बहुत कुशल होते हैं। लेकिन उनकी एक कमी है: वे अक्सर तब भी काम जारी रखते हैं जब वे पूरी तरह से गलत होते हैं, या जब उनके द्वारा उपयोग किया जाने वाला "नियमों का समूह" (मॉडल की लाइब्रेरी) मौलिक रूप से त्रुटिपूर्ण होता है।

यह शोध पत्र एक नया "सुरक्षा गार्ड" पेश करता है जिसे CARTOGRAPH कहा जाता है। CARTOGRAPH को वैज्ञानिक के रूप में नहीं, बल्कि उसके बगल में बैठे एक मुख्य ऑडिटर (chief auditor) के रूप में सोचें, जो हर हरकत पर नज़र रख रहा है और वैज्ञानिक द्वारा किसी खोज का दावा करने से पहले तीन महत्वपूर्ण प्रश्न पूछता है।

CARTOGRAPH कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

1. तीन प्रश्न (चुनना, सुलझाना, मना करना)

यह शोध पत्र एआई के काम को तीन जुड़े हुए निर्णयों के रूप में देखता है:

  • Select (दिशा-सूचक/Compass): "भ्रम को दूर करने के लिए हमें अगला प्रयोग कौन सा करना चाहिए?"
    • उपमा: कल्पना कीजिए कि आप एक अंधेरे कमरे में छिपी हुई वस्तु को खोजने की कोशिश कर रहे हैं। आपके पास एक टॉर्च है। CARTOGRAPH ठीक उसी जगह रोशनी डालने की गणना करता है जहाँ से सबसे अधिक नई जानकारी मिल सके, बजाय इसके कि आप बेतरतीब ढंग से या ऐसी जगह रोशनी डालें जहाँ आप पहले ही देख चुके हैं।
  • Resolve (लक्ष्य रेखा/Finish Line): "क्या हम समाप्त हो गए? क्या हमें उत्तर मिल गया है?"
    • उपमा: यह एक पहेली की तरह है। CARTOGRAPH जाँचता है कि क्या पहेली का हर एक टुकड़ा मिल गया है। यदि चित्र पूर्ण और स्पष्ट है, तो वह कहता है, "रुकिए, हमें उत्तर मिल गया है।"
  • Refuse (स्टॉप साइन/Stop Sign): "एक मिनट रुकिए। हमारे पास जो पहेली के टुकड़े हैं, वे वास्तव में एक वास्तविक चित्र बनाने के लिए आपस में फिट नहीं बैठते। नियम पुस्तिका गलत है।"
    • उपमा: यह इस शोध पत्र की सबसे अनूठी विशेषता है। कल्पना कीजिए कि आप नाव के ब्लूप्रिंट (नक्शे) का उपयोग करके घर बनाने की कोशिश कर रहे हैं। आप कितनी भी कोशिश कर लें, दीवारें खड़ी नहीं होंगी। एक सामान्य एआई शायद कीलें ठोकना जारी रखेगा, और इस बात पर अड़ा रहेगा कि घर ठीक है। CARTOGRAPH उन डगमगाती दीवारों को देखता है, समझ जाता है कि ब्लूप्रिंट एक नाव के लिए है, और कहता है, "रुकिए! हम इस ब्लूप्रिंट के साथ घर नहीं बना सकते। हमें एक नया ब्लूप्रिंट चाहिए।"

2. यह "गलत ब्लूप्रिंट" का पता कैसे लगाता है (मना करने की प्रक्रिया)

शोध पत्र दिखाता है कि मानक एआई सिस्टम अक्सर "अति-आत्मविश्वासी" हो जाते हैं। वे एक ऐसा मॉडल चुन सकते हैं जो डेटा के साथ ठीक-ठाक फिट बैठता हो और जीत का दावा कर सकते हैं, भले ही वह मॉडल मौलिक रूप से गलत हो।

CARTOGRAPH एक रेसिडुअल गार्ड (Residual Guard) का उपयोग करता है।

  • उपमा: एक दर्जी के बारे में सोचें जो ग्राहक का माप ले रहा है। यदि ग्राहक ने ऐसा सूट पहना है जो शरीर से दो साइज छोटा है, तो दर्जी कपड़े और शरीर के बीच के "अंतर" (gap) को मापता है।
  • यह कैसे काम करता है: CARTOGRAPH लगातार एआई के मॉडलों द्वारा किए गए पूर्वानुमान और प्रयोगशाला में वास्तव में होने वाली घटनाओं के बीच के "अंतर" (residual) को मापता है।
    • यदि अंतर छोटा है, तो मॉडल अच्छा है।
    • यदि अंतर बहुत बड़ा है, तो CARTOGRAPH समझ जाता है कि मॉडल संरचनात्मक रूप से अपर्याप्त है। यह केवल यह नहीं कहता कि "शायद फिर से प्रयास करें"; यह किसी भी पिछले दावे को रद्द (revoke) कर देता है। यह कहता है, "हमें लगा था कि हमने उत्तर ढूंढ लिया है, लेकिन प्रमाण दर्शाते हैं कि हमारे उत्तरों की लाइब्रेरी टूटी हुई है।"

3. वास्तविक दुनिया के परीक्षण (शोध पत्र ने वास्तव में क्या पाया)

लेखकों ने इस प्रणाली का तीन मुख्य तरीकों से परीक्षण किया:

  • "कैस्केड" टेस्ट (उच्च-आयामी गणित/High-Dimensional Math): उन्होंने कई गतिशील भागों वाली एक जटिल गणितीय समस्या बनाई।
    • परिणाम: जब समस्या बहुत जटिल हो गई (जैसे 8 या 16 रास्तों वाला एक भूलभुलैया), तो CARTOGRAPH अन्य तरीकों की तुलना में कहीं अधिक श्रेष्ठ रहा। इसने 65% बार सही रास्ता खोजा, जबकि अन्य तरीकों ने केवल 2% बार। यह एक विशाल शहर में दिशाओं का अनुमान लगाने के बजाय जीपीएस (GPS) होने जैसा था।
  • "फार्माकोकाइनेटिक" टेस्ट (दवा का अवशोषण/Drug Absorption): उन्होंने परीक्षण किया कि शरीर दवा को कैसे अवशोषित करता है।
    • परिणाम: सरल मामलों में, CARTOGRAPH ने मानक तरीकों से बहुत अधिक बेहतर प्रदर्शन नहीं किया। शोध पत्र इस बारे में ईमानदार है: जब समस्या सरल होती है, तो फैंसी गणित बहुत अधिक मूल्य नहीं जोड़ता है। लेकिन, इसने सफलतापूर्वक पहचान की कि "नियम पुस्तिका" गलत थी। एक परीक्षण में, इसने अस्थायी रूप से एक ड्रग मैकेनिज्म की पहचान की, फिर उस पहचान को रद्द कर दिया जब नए डेटा ने दिखाया कि मॉडल फिट नहीं बैठता।
  • "A-Lab" ऑडिट (वास्तविक वैज्ञानिक दावे): लेखकों ने एक प्रसिद्ध स्वायत्त प्रयोगशाला (A-Lab) द्वारा किए गए 40 पिछले दावों का विश्लेषण किया, जो नई सामग्रियों की खोज करने की कोशिश कर रही थी।
    • परिणाम: CARTOGRAPH ने एक रेट्रोस्पेक्टिव ऑडिटर (पिछली घटनाओं की जांच करने वाले) के रूप में कार्य किया। इसने उन सभी 4 दावों को चिह्नित किया जिन्हें बाद में मानव विशेषज्ञों द्वारा अनिर्णायक या गलत साबित किया गया था। इसने उन 32 दावों को सफलतापूर्वक पास किया जो पुष्ट किए गए थे। यह साबित करता है कि यह वैज्ञानिक दावों के लिए "झूठ पकड़ने वाले यंत्र" (lie detector) के रूप में कार्य कर सकता है।

4. निष्कर्ष (The Bottom Line)

यह शोध पत्र तर्क देता है कि विज्ञान के लिए एआई को वास्तव में उपयोगी होने के लिए, इसे केवल प्रयोग प्रस्तावित करने की क्षमता से अधिक की आवश्यकता है। इसे एक सत्यापनीय "स्टॉप" सिग्नल (verifiable "Stop" signal) की आवश्यकता है।

  • वर्तमान एआई: "मुझे लगता है कि यही उत्तर है! आइए सुनिश्चित करने के लिए एक और प्रयोग करें।" (भले ही उत्तर गलत हो)।
  • CARTOGRAPH एआई: "मुझे लगता है कि यह उत्तर है। रुकिए, डेटा मॉडल के साथ फिट नहीं बैठता है। मॉडल टूटा हुआ है। रुकिए। हमें आगे बढ़ने से पहले अपने सिद्धांतों की लाइब्रेरी बदलने की आवश्यकता है।"

लेखक इस बात पर जोर देते हैं कि यह प्रणाली केवल गति के लिए नहीं, बल्कि शासन और सुरक्षा (governance and safety) के लिए डिज़ाइन की गई है। यह एक "ऑडिट ट्रेल" (क्यों रुका या क्यों दावा रद्द किया गया, इसका लॉग) बनाता है ताकि मनुष्य एआई के निर्णयों पर भरोसा कर सकें, या यह जान सकें कि उन्हें कब हस्तक्षेप करना है और "ब्लूप्रिंट" को ठीक करना है।

संक्षेप में: CARTOGRAPH वह हिस्सा है जो जानता है कि कब रुकना है, कब यह स्वीकार करना है कि नियम पुस्तिका गलत है, और कब कहना है, "हमारा काम यहाँ समाप्त हुआ," जिससे एआई को आत्मविश्वास के साथ गलतियाँ करने से रोका जा सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →