Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows
यह शोध पत्र यह प्रदर्शित करता है कि जबकि CMBAgent जैसे एजेंटिक एआई (agentic AI) सिस्टम खगोलीय कार्यप्रवाह (astrophysical workflows) में डोमेन संदर्भ के साथ महत्वपूर्ण प्रदर्शन लाभ दिखाते हैं, उनकी सबसे महत्वपूर्ण विफलता मोड आत्मविश्वास के साथ सिंटैक्टिक रूप से वैध लेकिन भौतिक रूप से गलत परिणाम उत्पन्न करना है, जिसमें स्व-निदान (self-diagnosis) का अभाव होता है, विशेष रूप से जटिल तर्क कार्यों में।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने ब्रह्मांड के जटिल रहस्यों को सुलझाने में मदद करने के लिए एक अत्यंत बुद्धिमान और अति-उत्साही शोध सहायक, CMBAgent को काम पर रखा है। यह सहायक एक बहुत ही स्मार्ट AI मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) द्वारा संचालित है और इसके पास वैज्ञानिक उपकरणों का एक विशाल पुस्तकालय है।
"Plausible but Wrong" (संभावित लेकिन गलत) नामक शोध पत्र वास्तव में इस बात की रिपोर्ट कार्ड है कि जब आप इस सहायक को वास्तविक, जटिल वैज्ञानिक कार्य देते हैं, तो यह वास्तव में कितनी अच्छी तरह काम करता है। शोधकर्ताओं ने एक डरावना लेकिन दिलचस्प सच पाया है: यह सहायक शायद ही कभी क्रैश होता है या यह स्वीकार करता है कि वह भ्रमित है। इसके बजाय, यह आपको एक ऐसा परिणाम आत्मविश्वास के साथ सौंप देता है जो सतह पर तो बिल्कुल सही दिखता है, लेकिन अंदर से पूरी तरह गलत होता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:
1. काम करने के दो तरीके
शोधकर्ताओं ने इस सहायक का दो अलग-अलग मोड में परीक्षण किया:
"वन-शॉट" मोड (त्वरित समाधान): आप एक प्रश्न पूछते हैं, और सहायक इसे एक बार में ही हल करने की कोशिश करता है, जैसे कोई छात्र बिना नोट्स देखे अंतिम परीक्षा दे रहा हो।
- निष्कर्ष: यदि सहायक को उन उपकरणों के उपयोग के लिए विशिष्ट "निर्देश पुस्तिका" (डोमेन कॉन्टेक्स्ट) देखने की अनुमति दी जाती है, तो इसे A+ मिलता है। यह उस छात्र की तरह है जो परीक्षा से पहले वास्तव में अपनी पाठ्यपुस्तक पढ़ता है।
- जाल: यदि आपसे वह निर्देश पुस्तिका छीन ली जाए, तो सहायक काम करना बंद नहीं करता है। वह बस हैलुसिनेशन (भ्रम) करने लगता है। वह ऐसा कोड लिखता है जो कंप्यूटर के लिए एकदम सही दिखता है (कोई सिंटैक्स एरर नहीं), लेकिन उसके अंदर की गणित अर्थहीन होती है। यह उस छात्र की तरह है जिसने उत्तरों के आकार को तो याद कर लिया है लेकिन संख्याओं को नहीं, इसलिए वह "24" के बजाय "42" लिख देता है और उसे पूरे आत्मविश्वास के साथ जमा कर देता है।
"डीप रिसर्च" मोड (लंबी परियोजना): आप सहायक को एक जटिल, बहु-चरणीय जांच करने के लिए कहते हैं, जैसे कोई जासूस कई दिनों तक एक अनसुलझे केस को सुलझाता है।
- निष्कर्ष: यहाँ सहायक विवरणों में खो जाता है। वह उन समस्याओं को हल करने की कोशिश करता है जो दिए गए डेटा के साथ वास्तव में असंभव हैं (जैसे केवल किसी की छाया देखकर उसकी सटीक ऊंचाई का अनुमान लगाना)।
- जाल: "हे, मैं इसे हल नहीं कर सकता" कहने के बजाय, सहायक एक समाधान गढ़ लेता है। वह एक ऐसा ग्राफ तैयार करता है जो वैज्ञानिक और तर्कसंगत दिखता है, लेकिन उसके आंकड़े भौतिक रूप से असंभव होते हैं। यह उस जासूस की तरह है जिसे बिना किसी सुराग के लापता व्यक्ति को खोजने के लिए कहा गया, और उसने बस एक सामान्य व्यक्ति का चित्र बना दिया और कहा, "ये रहे वे।"
2. "साइलेंट फेलियर" (मौन विफलता) की समस्या
शोधकर्ताओं ने जो सबसे खतरनाक चीज़ पाई है, उसे "साइलेंट फेलियर" कहा जाता है।
कल्पना कीजिए कि एक कार मैकेनिक है जिसे आपका इंजन ठीक करना है।
- ओवर्ट फेलियर (स्पष्ट विफलता): मैकेनिक कहता है, "मैं इसे ठीक नहीं कर सकता," या कार एक तेज़ आवाज़ करती है और रुक जाती है। आपको पता चल जाता है कि कुछ गलत है।
- साइलेंट फेलियर (जो AI करता है): मैकेनिक आपको चाबियाँ सौंप देता है, कार स्टार्ट होती है, और वह सड़क पर चलती है। लेकिन, मैकेनिक ने गलती से टैंक में गलत ईंधन डाल दिया है। कार कुछ समय के लिए चलेगी, लेकिन अंततः यह ऐसे तरीके से खराब होगी जिसका अनुमान लगाना कठिन होगा।
शोध पत्र दिखाता है कि यह AI एजेंट "साइलेंट फेलियर" का उस्ताद है। यह निम्नलिखित चीजें पैदा करता है:
- ऐसा कोड जो चलता है: कोई एरर मैसेज नहीं आता।
- ऐसे ग्राफ जो सही दिखते हैं: रेखाएं वहीं ऊपर-नीचे होती हैं जहाँ उन्हें होना चाहिए।
- ऐसे परिणाम जो तर्कसंगत लगते हैं: संख्याएं सही दायरे में होती हैं।
लेकिन भौतिक विज्ञान (physics) गलत है। यह उस शेफ की तरह है जो ऐसा सूप बनाता है जिसका स्वाद नमकीन है और जो दिखने में सूप जैसा है, लेकिन उसने गलती से नमक की जगह साबुन का इस्तेमाल कर लिया है। आपको तब तक पता नहीं चलेगा जब तक कि आप बीमार नहीं पड़ जाते।
3. "आत्मविश्वास के साथ गलत" होने का खतरा
शोध पत्र इस बात पर प्रकाश डालता है कि AI अति-आत्मविश्वासी है।
- जब डेटा अधूरा होता है (जैसे एक धुंधली फोटो से ग्रह के द्रव्यमान का अनुमान लगाना), तो AI यह नहीं कहता, "मुझे यकीन नहीं है।"
- इसके बजाय, वह एक संख्या चुनता है, एक ग्राफ बनाता है, और ऐसे व्यवहार करता है जैसे वह एक तथ्य हो।
- वह यह नोटिस करने में विफल रहता है कि उसका अपना तर्क टूट गया है। उदाहरण के लिए, एक परीक्षण में, AI ने दो ऐसी चीजों की गणना करने की कोशिश की जो गणितीय रूप से इस तरह जुड़ी हुई हैं कि उन्हें अलग करना असंभव है। समस्या को उठाने के बजाय, उसने बस एक रैंडम उत्तर दिया और उसे एक खोज (discovery) बताया।
4. निष्कर्ष (Takeaway)
शोधकर्ता यह नहीं कह रहे हैं कि AI विज्ञान नहीं कर सकता। वास्तव में, जब AI के पास सही "चीट शीट" (कॉन्टेक्स्ट) होता है और कार्य स्पष्ट होता है, तो यह अविश्वसनीय रूप से अच्छा काम करता है (बिना चीट शीट के मुकाबले लगभग 6 गुना बेहतर)।
हालाँकि, शोध पत्र हमें चेतावनी देता है कि हम इन एजेंटों पर अंधा विश्वास नहीं कर सकते।
- यदि आप एक मानव वैज्ञानिक से ऐसी गणना करने को कहते हैं जिसे वह समझ नहीं पा रहा है, तो वह कह सकता है, "मुझे नहीं पता।"
- यदि आप इस AI एजेंट से पूछते हैं, तो वह आत्मविश्वास के साथ एक ऐसी रिपोर्ट लिखेगा जो नोबेल पुरस्कार विजेता शोध पत्र जैसी दिखेगी, भले ही उसकी गणित बेकार हो।
मुख्य बात (The Bottom Line): सबसे बड़ा जोखिम यह नहीं है कि AI क्रैश हो जाएगा और काम करना बंद कर देगा। जोखिम यह है कि वह काम करता रहेगा, बहुत पेशेवर दिखेगा, और चुपचाप आपको गलत उत्तर देगा, जिससे वैज्ञानिक उन चीजों पर विश्वास करने लगेंगे जो सच नहीं हैं। शोध पत्र निष्कर्ष निकालता है कि इससे पहले कि हम AI को अपनी वैज्ञानिक प्रयोगशालाएं चलाने दें, हमें इन "आत्मविश्वास के साथ गलत" क्षणों को पकड़ने के लिए बेहतर तरीकों की आवश्यकता है, इससे पहले कि वे वास्तविक दुनिया की गलतियों में बदल जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।