A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline
यह शोध पत्र एक जटिल तंत्रिका विज्ञान (न्यूरोसाइंस) डेटा-टू-डिस्कवरी पाइपलाइन पर सामान्य-उद्देश्य वाले एआई कोडिंग एजेंटों का मूल्यांकन करने वाला एक अनुभवजन्य अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि एजेंट व्यक्तिगत चरणों को स्वचालित कर सकते हैं, वे वर्तमान में एंड-टू-एंड निष्पादन, पूर्व-निर्धारित मानदंडों के बिना आत्म-मूल्यांकन, और नए डेटा पर सामान्यीकरण करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ वैज्ञानिक केवल प्रयोग ही नहीं करते, बल्कि परिणामों का विश्लेषण करने के लिए आवश्यक जटिल कंप्यूटर कोड लिखने में भी महीनों बिताते हैं। तंत्रिका विज्ञान (न्यूरोसाइंस) के क्षेत्र में, शोधकर्ता मस्तिष्क के व्यवहार को कैसे नियंत्रित करता है, इसे समझने के लिए फल की मक्खियों (फ्रूट फ्लाइज़) जैसे सूक्ष्म जीवों का अध्ययन करते हैं। इसके लिए, वे घंटों का वीडियो रिकॉर्ड करते हैं, लेकिन कच्चा फुटेज केवल हिलते हुए बिंदुओं का एक धुंधला सा दृश्य होता है। इस धुंध को वैज्ञानिक खोज में बदलने के लिए, उन्हें एक "पाइपलाइन" की आवश्यकता होती है—सॉफ्टवेयर चरणों की एक लंबी, घुमावदार असेंबली लाइन। पहले, कंप्यूटर को वीडियो में मक्खियों को खोजना होगा। फिर, उसे उनकी हर हरकत को ट्रैक करना होगा, उनके शरीर के अंगों को मापना होगा, यह पता लगाना होगा कि वे चल रही हैं या स्थिर खड़ी हैं, और अंत में सांख्यिकीय परीक्षण (स्टैटिस्टिकल टेस्ट) चलाने होंगे कि क्या किसी विशिष्ट प्रयोग ने उनके व्यवहार को बदला है। पारंपरिक रूप से, इस असेंबली लाइन को बनाना एक विशाल, उबाऊ काम है जिसमें मानव विशेषज्ञों को कोडिंग करने में हफ्तों या महीनों लग जाते हैं।
हाल ही में, एक नए प्रकार के कृत्रिम बुद्धिमत्ता (एआई) का उदय हुआ है जिसे "एआई एजेंट" कहा जाता है। इन एजेंटों को अपने लिए निर्देश पढ़ने और कोड लिखने वाले सुपर-स्मार्ट, अथक डिजिटल इंटर्न के रूप में सोचें। बड़ा सवाल जो हर किसी के मन में है वह यह है: क्या ये एआई इंटर्न वैज्ञानिक अनुसंधान के उबाऊ, समय लेने वाले हिस्सों को संभाल सकते हैं? क्या वे असेंबली लाइन खुद बना सकते हैं, या उन्हें हर कदम पर एक इंसान के मार्गदर्शन की आवश्यकता होती है? यह वही रहस्य है जिसे हल करने के लिए शोधकर्ताओं की एक टीम ने हाथ बढ़ाया। वे देखना चाहते थे कि क्या ये एआई एजेंट न्यूरोसाइंस की अव्यवध्य और वास्तविक चुनौतियों को संभाल सकते हैं, या वे विवरणों में फंस जाएंगे।
शोधकर्ताओं ने अपने एआई इंटर्न को एक बहुत ही विशिष्ट, उच्च-दांव वाली चुनौती पर परखने का निर्णय लिया: एक "फ्लाई ऑप्टोजेनेटिक्स डेटा-टू-डिस्कवरी पाइपलाइन।" इस पाइपलाइन को एक सात-चरणीय बाधा दौड़ (ऑब्स्टेकल कोर्स) के रूप में कल्पना करें जिसे कच्चे वीडियो को वैज्ञानिक निष्कर्ष में बदलने के लिए डिज़ाइन किया गया है। कोर्स की शुरुआत फ्लाई बॉडी ट्रैकिंग से होती है, जहाँ एआई को वीडियो में कई मक्खियों को खोजना और उनका पीछा करना होगा, और जब वे आपस में टकराती हैं तब भी उनकी पहचान बनाए रखनी होगी। इसके बाद आता है रजिस्ट्रेशन, जहाँ एआई को डेटा को साफ करना होगा और उसे पिक्सेल निर्देशांकों से वास्तविक दुनिया के माप जैसे मिलीमीटर में अनुवादित करना होगा। फिर, एआई को कीपॉइंट ट्रैकिंग करनी होगी, जो मक्खी के हर हिस्से पर अत्यधिक सटीकता के साथ 21 विशिष्ट शरीर के अंगों को चिह्नित करने जैसा है।
कोर्स आगे बढ़ता है फीचर कंप्यूटेशन की ओर, जहाँ एआई गणना करता है कि मक्खियाँ कितनी तेजी से चल रही हैं या मुड़ रही हैं। इसके बाद यह वॉकिंग बिहेवियर क्लासिफिकेशन पर आता है, जो एआई से पूछता है कि क्या मक्खी चल रही है या बस स्थिर खड़ी है। छठा चरण गेट सेगमेंटेशन है, एक पेचीदा कदम जहाँ एआई को यह निर्धारित करना होगा कि एक विशिष्ट पैर हवा में है (स्विंगिंग) या जमीन पर है (पुशिंग)। अंत में, एआई फिनिश लाइन तक पहुँचता है स्टैटिस्टिकल कंपैरिजन्स के साथ, जहाँ उसे आंकड़े जुटाकर यह देखना होगा कि क्या प्रयोग ने वास्तव में मक्खियों के व्यवहार को बदला है। शोधकर्ताओं ने कई अलग-अलग एआई मॉडल का इस कोर्स पर परीक्षण किया, उन्हें एक बार में केवल एक चरण हल करने के लिए और एक बार पूरे सात-चरणीय मैराथन को शुरू से अंत तक चलाने के लिए।
परिणाम प्रभावशाली सफलता और निराशाजनक विफलता का मिश्रण थे, जिससे पता चला कि एआई कुछ कामों के लिए तैयार है लेकिन दूसरों के लिए नहीं। जब एआई एजेंटों को एक स्पष्ट "स्कोरकार्ड" के साथ एक एकल, अच्छी तरह से परिभाषित कार्य दिया गया—जैसे चलने के व्यवहार को पहचानने या शरीर के विशिष्ट अंगों को ट्रैक करने के लिए एक मॉडल को प्रशिक्षित करना—तो उन्होंने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया। इन "सुपरवाइज्ड लर्निंग" कार्यों में, एजेंट दोहराव कर सकते थे, अपने काम की जांच कर सकते थे और सुधार कर सकते थे जब तक कि वे सही न हो जाएं। उदाहरण के लिए, उन्होंने मक्खी के शरीर के 21 कीपपॉइंट्स को सफलतापूर्वक पहचानने में सफलता प्राप्त की, जो मानव विशेषज्ञों की सटीकता से मेल खाता है। यह सुझाव देता है कि वैज्ञानिक पाइपलाइन के विशिष्ट, नियम-आधारित हिस्सों के लिए, एआई एजेंट पहले से ही भारी काम करने में सक्षम हैं।
हालाँकि, कहानी नाटकीय रूप से बदल जाती है जब एआई एजेंटों को बिना किसी विस्तृत मानचित्र के पूरी पाइपलाइन को शुरू से अंत तक चलाने के लिए कहा गया। जब शोधकर्ताओं ने एजेंटों को "मक्खियों का विश्लेषण करें" जैसा एक व्यापक लक्ष्य दिया बिना इसे चरणों में विभाजित किए, तो एजेंट अपना ध्यान केंद्रित करने में संघर्ष करने लगे। वे अक्सर पिछले चरणों को भूल जाते थे, जटिल चरणों को सरल शॉर्टकट में मिला देते थे, या बुनियादी फॉर्मेटिंग त्रुटियां करते थे जिससे पूरी श्रृंखला टूट जाती थी। सबसे महत्वपूर्ण विफलता पहले चरण में हुई: फ्लाई बॉडी ट्रैकिंग। इस कार्य के लिए एआई को बिना किसी पूर्व-लिखित नियम पुस्तिका या स्पष्ट स्कोर के यह समझने के लिए "वैज्ञानिक निर्णय" (साइंटिफिक जजमेंट) का उपयोग करने की आवश्यकता थी कि मक्खियों को कैसे ट्रैक किया जाए। एजेंटों ने अपने काम की जांच करने के लिए वीडियो को देखने की कोशिश की, लेकिन वे जो देख रहे थे उसे समझने में काफी हद तक विफल रहे। वे एक त्रुटि देखते थे, दृश्य संकेत की गलत व्याख्या करते थे, और फिर वही गलती दोबारा करते थे, या उसे और भी बिगाड़ देते थे।
पेपर यह सुझाव देता है कि मुख्य बाधा यह नहीं है कि एआई कोड नहीं लिख सकता; बल्कि यह है कि वे "लंबे खेल" (लॉन्ग गेम) के साथ संघर्ष करते हैं। वे एक एकल पहेली को हल करने में माहिर हैं यदि नियम स्पष्ट हों, लेकिन जब उन्हें कई जटिल चरणों को एक साथ जोड़ने, कंप्यूटर संसाधनों को प्रबंधित करने, या अपनी गलतियों को सुधारने के लिए विजुअल निरीक्षण का उपयोग करने की आवश्यकता होती है, तो वे खो जाते हैं। शोधकर्ताओं ने पाया कि जबकि एआई वैज्ञानिक खोज के विशिष्ट चरणों को स्वचालित कर सकता है, एक पूरी तरह से स्वायत्त "एआई वैज्ञानिक" का सपना जो कच्चे डेटा से निष्कर्ष तक पूरा प्रयोग चला सके, अभी भी पहुंच से बाहर है। उन्हें बेहतर मार्गदर्शन, स्पष्ट लक्ष्यों और डेटा को वास्तव में "देखने" और समझने के तरीके की आवश्यकता है, इससे पहले कि उन पर पूरे शो को अकेले चलाने के लिए भरोसा किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।