Neurodata Without Boredom: Benchmarking Agentic AI for Data Reuse
यह शोध पत्र आठ हालिया अध्ययनों के डेटासेट को लोड करने, समझने और पुनर्गठित करने पर उनके प्रदर्शन का परीक्षण करके, खंडित तंत्रिका विज्ञान (न्यूरोसाइंस) डेटा के पुन: उपयोग को स्वचालित करने की एजेंटिक एआई की क्षमता का बेंचमार्किंग करता है, जिससे यह प्रकट होता है कि जहाँ एजेंट व्यक्तिगत उप-कार्यों में उत्कृष्ट हैं, वहीं वे वर्तमान में पूरी तरह से त्रुटि-मुक्त एंड-टू-एंड समाधान उत्पन्न करने में संघर्ष करते हैं और उन्हें मानव-इन-द-लूप निरीक्षण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो आठ अलग-अलग रसोईओं के व्यंजनों और सामग्रियों का उपयोग करके एक विशाल, स्वादिष्ट स्टू (stew) बनाना चाहते हैं। प्रत्येक रसोई का चीजों को व्यवस्थित करने का अपना तरीका है: एक जार का उपयोग करती है जिस पर "Spicy" (तीखा) लिखा है, दूसरी बक्सों का उपयोग करती है जिन पर "Hot" (गर्म) लिखा है, और तीसरी बस एक बाल्टी में सब कुछ फेंक देती है जिस पर एक चिपका हुआ नोट है जिस पर "Maybe" (शायद) लिखा है।
इस स्टू को बनाने के लिए, आपको पहले यह पता लगाना होगा कि हर एक कंटेनर में क्या है, लेबल को समझना होगा ताकि वे एक ही चीज़ का अर्थ निकालें, और फिर उन्हें आपस में मिलाना होगा। न्यूरोसाइंस की दुनिया में, यह "स्टू" चूहों के मस्तिष्क के काम करने के बारे में डेटा है, और ये "रसोईयाँ" विभिन्न शोध प्रयोगशालाएँ (research labs) हैं।
यह पेपर, जिसका शीर्षक "Neurodata Without Boredom" (बोरियत के बिना न्यूरोडेटा) है, एक सरल लेकिन कठिन प्रश्न पूछता है: क्या एक स्मार्ट कंप्यूटर रोबोट ("Agentic AI") हमारे लिए यह उबाऊ, अस्त-व्यस्त अनुवाद कार्य कर सकता है?
यहाँ शोधकर्ताओं द्वारा पाए गए निष्कर्षों का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
समस्या: "अनुवाद में खो जाने" का झंझट
न्यूरोसाइंस डेटा अविश्वसनीय रूप से खंडित (fragmented) है। कुछ लैब डेटा को एक मानक प्रारूप (standard format) में सहेजती हैं (जैसे एक सार्वभौमिक भाषा), जबकि अन्य कस्टम प्रारूपों का उपयोग करती हैं (जैसे एक गुप्त कोड जिसे केवल वे ही समझ सकते हैं)।
- पुराना तरीका: एक मानव वैज्ञानिक को लैब का पेपर पढ़ना पड़ता है, उनके कोड को देखना पड़ता है, उनकी फ़ाइलों को खोलना पड़ता है, और सब कुछ एक सामान्य प्रारूप में अनुवाद करने के लिए मैन्युअल रूप से समझना पड़ता है। यह धीमा, उबाऊ और मानवीय त्रुटियों के प्रति संवेदनशील है।
- नई उम्मीद: लार्ज लैंग्वेज मॉडल्स (LLMs) सुपर-फास्ट, अत्यधिक केंद्रित इंटर्न की तरह हैं। वे इंसानों की तुलना में कोड और टेक्स्ट को तेज़ी से पढ़ सकते हैं और वे बोर नहीं होते। शोधकर्ताओं ने सोचा: क्या ये AI इंटर्न अनुवाद का काम पूरी तरह से कर सकते हैं?
प्रयोग: "आठ रसोई" की चुनौती
शोधकर्ताओं ने आठ अलग-अलग न्यूरोसाइंस पेपर्स (आठ रसोईयों) के साथ एक परीक्षण सेट किया।
- सेटअप: उन्होंने दो अलग-अलग AI एजेंटों (जिन्हें Claude Code और Codex नाम दिया गया) को कच्चा डेटा (raw data), कोड और प्रत्येक रसोई का वैज्ञानिक पेपर दिया।
- कार्य: AI को एक अनुवादक की तरह काम करना था। इसे प्रत्येक लैब की अव्यवस्थित, अद्वितीय फ़ाइलों को पढ़ना था और उन्हें एक एकल, साफ प्रारूप में बदलना था जिसका उपयोग कंप्यूटर को चूहे के व्यवहार (जैसे, "चूहा बाईं ओर मुड़ेगा या दाईं ओर?") की भविष्यवाणी करने के लिए प्रशिक्षित करने हेतु किया जा सके।
- नियम: AI को एक सख्त चेकलिस्ट का पालन करना था, अपने नोट्स लिखने थे, और आगे बढ़ने से पहले यह साबित करना था कि वह डेटा को समझता है।
परिणाम: चरणों में अच्छे, लेकिन पूरी यात्रा में खराब
परिणाम प्रभावशाली क्षमता और निराशाजनक असंगति का मिश्रण थे।
1. AI एक बेहतरीन "स्टेप-डूअर" (चरण पूरा करने वाला) है
यदि आप AI को केवल एक छोटा सा कार्य करने के लिए कहते—जैसे "इस फ़ाइल को लोड करें" या "चूहों की संख्या गिनें"—तो यह आमतौर पर बहुत अच्छा काम करता है। यह अक्सर इन अलग-अलग चरणों में एक मानव विशेषज्ञ के समान या उससे भी बेहतर होता है।
2. AI "मैराथन" में संघर्ष करता है
समस्या तब आती थी जब AI को उन सभी चरणों को एक लंबी, त्रुटि-मुक्त श्रृंखला (chain) में जोड़ने के लिए कहा जाता था।
- उपमा: कल्पना कीजिए कि यह एक रिले रेस है। AI अपनी दौड़ का हिस्सा बहुत अच्छी तरह से दौड़ता है। लेकिन अक्सर, यह अगले धावक को बैटन सौंपने से ठीक पहले उसे गिरा देता है, या यह गलत व्यक्ति को बैटन सौंप देता है।
- वास्तविकता: कई मामलों में, AI ऐसा कोड लिखता था जो चलता तो था (क्रैश नहीं होता था), लेकिन उसके अंदर का डेटा थोड़ा गलत होता था। उदाहरण के लिए, यह तय कर सकता था कि एक "ट्रायल" (एक एकल प्रयोग) को सेकंड में गिना जाए जबकि पेपर में मिनट लिखा था, या यह गलती से महत्वपूर्ण ब्रेन सेल्स को बाहर कर सकता था क्योंकि इसने गलत नियम का अनुमान लगाया था।
3. "सूक्ष्म गलतियों" का जाल
सबसे खतरनाक त्रुटियाँ वे थीं जो सतह पर सही दिखती थीं।
- उदाहरण: एक मामले में, AI ने डेटा को "सेशन आईडी" के बजाय "एक्सपेरिमेंट आईडी" के आधार पर समूहबद्ध करने का निर्णय लिया। यह तार्किक लगा, लेकिन इसने एक ही रिकॉर्डिंग सेशन को कई नकली सेशन्स में विभाजित कर दिया, जिससे डेटा खराब हो गया। कोड पूरी तरह से चला, लेकिन विज्ञान टूट गया।
- सीख: ये गलतियाँ एक ऐसे अनुवादक की तरह थीं जो रेसिपी में "बाएं" और "दाएं" को बदल देता है। केक अभी भी पकेगा, लेकिन उसका स्वाद गलत होगा।
"सेल्फ-चेक" (स्वयं की जाँच) की विफलता
शोधकर्ताओं ने AI से अपने काम को ग्रेड देने के लिए भी कहा। उन्होंने पूछा, "क्या आपने कोई गलती की है?"
- परिणाम: AI एक बुरा जज था। वह अक्सर अपनी बड़ी गलतियों को भी नहीं पकड़ पाता था या बिल्कुल ठीक निर्णयों को गलती के रूप में चिह्नित कर देता था। यह एक ऐसे छात्र की तरह था जो सोचता है कि उसने उस टेस्ट में 'A' ग्रेड प्राप्त किया है जिसमें वह वास्तव में फेल हो गया था।
- निष्कर्ष: आप AI पर अपना होमवर्क खुद चेक करने के लिए भरोसा नहीं कर सकते। एक इंसान को अभी भी कंधे के ऊपर से नज़र रखने की ज़रूरत है।
अंतिम निर्णय
पेपर यह निष्कर्ष निकालता है कि एजेंटिक AI एक शक्तिशाली उपकरण है, लेकिन यह कोई जादू की छड़ी नहीं है।
- यह क्या कर सकता है: यह नए डेटासेट के साथ शुरुआत करने में लगने वाली "बोरियत" और समय को काफी कम कर सकता है। यह भारी काम और प्रारंभिक अनुवाद करने में सक्षम है।
- यह अभी क्या नहीं कर सकता: यह पूरी तरह से अकेले काम करने के लिए भरोसेमंद नहीं है। इसमें सूक्ष्म, उच्च-जोखिम वाली गलतियों को पकड़ने के लिए "कॉमन सेंस" और गहरी वैज्ञानिक अंतर्दृष्टि की कमी है।
- भविष्य का वर्कफ़्लो: सबसे अच्छा दृष्टिकोण एक "ह्यूमन-इन-द-लूप" (मानव-केंद्रित) प्रणाली है। इसे AI को एक बहुत तेज़, बहुत उत्साही इंटर्न के रूप में देखें जो 90% काम करता है, और मानव वैज्ञानिक को एक सुपरवाइज़र के रूप में देखें जो अंतिम उत्पाद की समीक्षा करता है ताकि उन ट्रिकी 10% गलतियों को पकड़ा जा सके जिन्हें AI ने मिस कर दिया था।
संक्षेप में, AI हमें डेटा फॉर्मेटिंग से बोर होने से बचाने में मदद कर सकता है, लेकिन हमें अभी भी स्टीयरिंग व्हील थामे रखने वाले व्यक्ति बनने की आवश्यकता है ताकि हम दुर्घटनाग्रस्त न हो जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।