EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards
यह शोध पत्र अर्थवर्स (EarthVerse) को प्रस्तुत करता है, जो 19 प्राकृतिक आपदा परिवारों के 405 पुनरुत्पादनीय कार्यों वाला एक व्यापक बेंचमार्क है जो गतिशील पृथ्वी प्रणालियों में एआई एजेंटों की एंड-टू-एंड वैज्ञानिक विश्वसनीयता का मूल्यांकन करता है, और वर्तमान मॉडलों में व्यक्तिगत चरण की सटीकता तथा निरंतर, समग्र तर्क के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब वैज्ञानिक यह समझने की कोशिश करते हैं कि पृथ्वी कैसे काम करती है, तो उनके पास शायद ही कभी यह समझने के लिए कोई एक, पूर्ण चित्र होता है कि क्या हो रहा है। इसके बजाय, उन्हें कई अलग-अलग स्रोतों से एक कहानी को जोड़कर तैयार करना पड़ता है: एक स्थानीय स्टेशन से मौसम की रिपोर्ट, अंतरिक्ष से ली गई उपग्रह छवि, किसी सरकारी एजेंसी द्वारा बाढ़ का सारांश, और ऐतिहासिक जलवायु डेटा का पुनर्मूल्यांकन। इनमें से प्रत्येक स्रोत सत्य का एक हिस्सा बताता है, लेकिन वे अक्सर अलग-अलग भाषाएं बोलते हैं, अलग-अलग क्षेत्रों को कवर करते हैं, और अलग-अलग समय पर घटनाओं को रिकॉर्ड करते हैं। पृथ्वी विज्ञान की असली चुनौती केवल इन रिपोर्टों को पढ़ना नहीं है, बल्कि यह पता लगाना है कि कौन सी रिपोर्ट आपस में मेल खाती है, उनकी निष्पक्ष रूप से तुलना कैसे की जाए, और क्या वे किसी आपदा या बदलते जलवायु के बारे में एक सुसंगत कहानी बताती हैं। यदि कोई वैज्ञानिक गलत डेटा चुनता है या समय का तालमेल बिगाड़ देता है, तो खतरे के बारे में उसका पूरा निष्कर्ष गलत हो सकता है, जिसके समुदायों की तैयारी या खतरे के प्रति प्रतिक्रिया करने के तरीके पर गंभीर परिणाम हो सकते हैं।
'अर्थवर्स' (EarthVerse) नामक एक नया अध्ययन एक कठिन प्रश्न पूछता है: क्या कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ अपने आप इस तरह का वैज्ञानिक जासूसी कार्य कर सकती हैं? शोधकर्ताओं ने यह देखने के लिए एक विशाल परीक्षण बनाया कि क्या कंप्यूटर एजेंट वास्तविक वैज्ञानिकों की तरह कार्य कर सकते हैं। उन्होंने 199 वास्तविक दुनिया की आपदाओं और चरम मौसम की घटनाओं (हीट वेव से लेकर भूकंप तक) पर आधारित 405 विशिष्ट जांच बनाईं। प्रत्येक जांच लगभग 34 विभिन्न फाइलों का एक पैकेज थी, जिसमें कच्चा डेटा (raw data), मानचित्र और रिपोर्ट शामिल थे। कंप्यूटर एजेंटों को एक वैज्ञानिक प्रश्न दिया गया था, जैसे कि हीट वेव की गंभीरता का निर्धारण करना, लेकिन उन्हें यह नहीं बताया गया था कि उन्हें किन फाइलों को देखना है। उन्हें पूरे पैकेज में खोज करनी थी, सही रिकॉर्ड खोजने थे, यह जांचना था कि क्या डेटा समय और स्थान के अनुसार मेल खाता है, आवश्यक गणनाएँ करनी थीं, और फिर एक अंतिम उत्तर लिखना था जो मिले हुए साक्ष्यों द्वारा पूरी तरह समर्थित हो।
परिणामों ने एक महत्वपूर्ण अंतर को उजागर किया कि ये प्रणालियाँ सरल परीक्षणों में क्या कर सकती हैं और जटिल, वास्तविक दुनिया के परिदृश्यों में वे कैसा प्रदर्शन करती हैं। जब शोधकर्ताओं ने 25 अलग-अलग AI प्रणालियों का परीक्षण किया, तो सबसे अच्छी प्रणालियाँ लगभग 85 प्रतिशत छोटे, व्यक्तिगत तथ्यों को सही ढंग से प्राप्त करने में सक्षम थीं। वे अक्सर सही संख्याएँ ढूंढ लेती थीं और गणित को सही ढंग से करती थीं। हालाँकि, जब शोधकर्ताओं ने यह देखा कि क्या पूरी जांच पूर्ण और विश्वसनीय थी, तो सफलता दर नाटकीय रूप रूप से गिर गई। केवल लगभग 35 प्रतिशत जांच ही इतनी अच्छी तरह से की गई थी कि उन्हें पूरी तरह से भरोसेमंद माना जा सके। इसका मतलब है कि यहाँ तक कि सबसे उन्नत प्रणालियाँ भी कहीं न कहीं तर्क की श्रृंखला में एक महत्वपूर्ण गलती कर देती थीं। वे सही तापमान रिकॉर्ड तो ढूंढ सकती थीं लेकिन गलत समय अंतराल का उपयोग करती थीं, या उन्होंने एक सांख्यिकी की सही गणना की होगी लेकिन यह जांचने में विफल रहीं कि क्या डेटा एक संगत स्रोत से आया था।
अध्ययन ने दिखाया कि समस्या ज्ञान की कमी या गणित करने में असमर्थता नहीं है। सिस्टम तथ्यों को जानते थे और संख्याओं की गणना कर सकते थे। विफलता तब हुई जब उन्हें यह तय करना था कि किस साक्ष्य पर भरोसा किया जाए और सभी टुकड़ों को एक साथ कैसे जोड़ा जाए। जब शोधकर्ताओं ने AI प्रणालियों को सही फाइलों की ओर सीधे संकेत देकर अतिरिक्त मदद दी, तो उनका प्रदर्शन काफी बढ़ गया, जिससे यह सिद्ध हुआ कि मुख्य बाधा सही जानकारी ढूँढना था, न कि उसे समझना। अध्ययन ने यह भी पाया कि यदि AI गलत डेटा देखते हुए फंसा हुआ है, तो केवल उसे अधिक सोचने या अधिक मेहनत करने के लिए कहना मददगार नहीं था। सिस्टम्स को अपना विचार बदलने, वापस जाकर एक बेहतर स्रोत खोजने और नए साक्ष्य के आधार पर अपने निष्कर्ष को अपडेट करने में सक्षम होना चाहिए था।
यह शोध सुझाव देता है कि जबकि कृत्रिम बुद्धिमत्ता इस बात में बहुत अच्छी हो रही है कि जब उत्तर पहले से ही प्रदान किया गया हो तो प्रश्नों का उत्तर कैसे दिया जाए, लेकिन यह स्वयं साक्ष्य का आधार बनाने के कठिन कार्य में अभी भी संघर्ष कर रही है। पृथ्वी विज्ञान की दुनिया में, जहाँ डेटा का एक भी गायब टुकड़ा किसी आपदा की समझ को बदल सकता है, यह अंतर अत्यंत महत्वपूर्ण है। अध्ययन निष्कर्ष निकालता है कि यदि AI को वैज्ञानिक क्षेत्रों में वास्तव में विश्वसनीय होना है, तो इसे अपने द्वारा किए गए प्रत्येक दावे और उस विशिष्ट साक्ष्य के बीच एक सुसंगत कड़ी बनाए रखने में सक्षम होना चाहिए, जो उस दावे का समर्थन करता है, यह सुनिश्चित करते हुए कि पूरी कहानी पहले डेटा बिंदु से लेकर अंतिम निष्कर्ष तक एकजुट रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।