BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification

एक प्रयोगशाला में, एक वैज्ञानिक शायद ही कभी किसी मुद्रित रेसिपी का बिल्कुल वैसा ही पालन करता है जैसा वह लिखी गई है। वेट-लैब बायोलॉजी (wet-lab biology) की दुनिया अनुकूलन (adaptation) से परिभाषित होती है। एक प्रोटोकॉल, जो कि वास्तव में एक प्रयोग के लिए विस्तृत निर्देशों का एक सेट है, अक्सर केवल एक शुरुआती बिंदु होता है। जब एक शोधकर्ता उस प्रयोग को एक नए सेल प्रकार, एक अलग मशीन, या एक थोड़े अलग रासायनिक वातावरण में ले जाता है, तो उन्हें चरणों को संशोधित करना पड़ता है। यह केवल एक संख्या बदलने के बारे में नहीं है; यह इस बारे में है कि कैसे एक बदलाव पूरे प्रक्रिया में लहर की तरह आगे बढ़ता है। यदि एक वैज्ञानिक पहले चरण में तापमान बदलता है, तो उसे तीसरे चरण में समय को समायोजित करने की आवश्यकता हो सकती है, या अंतिम चरण में एक रसायन को बदलना पड़ सकता है। इसे सही ढंग से करने के लिए कारण और प्रभाव की गहरी, व्यावहारिक समझ की आवश्यकता होती है, जहाँ बीच में एक छोटी सी त्रुटि अंत में परिणामों को खराब कर सकती है। दशकों से, इस तरह की तर्कशक्ति एक अनूठे मानवीय कौशल के रूप में रही है, जो अनुभव और अंतर्ज्ञान पर निर्भर करती है जिसे कंप्यूटरों ने दोहराने में संघर्ष किया है।

बेंचलिंग (Benchling) के शोधकर्ताओं ने, जो वैज्ञानिकों के लिए सॉफ्टवेयर बनाने वाली एक कंपनी है, यह परीक्षण करने का एक नया तरीका बनाया है कि क्या आर्टिफिशियल इंटेलिजेंस इस विशिष्ट प्रकार की सोच में महारत हासिल कर सकता है। उन्होंने बेंचबेंच-प्रोटोकॉल (BenchBench-Protocol) नामक एक परीक्षण पेश किया। कंप्यूटर को कोई काल्पनिक समस्या हल करने या पाठ्यपुस्तक से तथ्य सुनाने के बजाय, उन्होंने उसे एक वास्तविक चुनौती दी: एक प्रकाशित वैज्ञानिक प्रोटोकॉल को लें और उसे एक नई स्थिति के लिए संशोधित करें, ठीक वैसे ही जैसे एक मानव वैज्ञानिक करेगा। टीम ने इन चुनौतियों को शून्य से आविष्कार नहीं किया। उन्होंने बेंचलिंग प्लेटफॉर्म पर वास्तविक वैज्ञानिकों द्वारा किए गए हजारों वास्तविक प्रयोगों को देखा। उन्होंने ऐसे उदाहरण पाए जहाँ एक वैज्ञानिक ने एक मानक, प्रकाशित प्रोटोकॉल को अपनी विशिष्ट आवश्यकताओं के अनुरूप बदलने के लिए उसमें बदलाव किया था। मूल निर्देशों की तुलना वैज्ञानिक द्वारा किए गए संशोधित संस्करण से करके, शोधकर्ताओं ने उस सटीक तर्क को निकाला जिसका उपयोग मानव ने किया था। फिर उन्होंने इन वास्तविक जीवन के परिवर्तनों को 149 विशिष्ट परीक्षण प्रश्नों में बदल दिया। प्रत्येक प्रश्न आर्टिफिशियल इंटेलिजेंस से यह पूछता है कि वह एक प्रोटोकॉल को कैसे अनुकूलित करेगा और, महत्वपूर्ण रूप से, यह भी बताता है कि वे परिवर्तन क्यों आवश्यक हैं।

इन परीक्षणों को निष्पक्ष और सटीक बनाने के लिए, शोधकर्ताओं ने उत्तरों को ग्रेड देने के लिए कंप्यूटरों पर भरोसा नहीं किया। वे मानव विशेषज्ञों को लेकर आए। प्रत्येक 149 कार्यों की समीक्षा उन वैज्ञानिकों द्वारा की गई जिनके पास उन्नत डिग्री है और जिन्होंने कम से कम तीन साल प्रयोगशाला में काम किया है। विशेषज्ञों ने यह जांचा कि क्या प्रश्न समझ में आने योग्य थे, क्या सही उत्तर के नियम वैज्ञानिक रूप से सुदृढ़ थे, और क्या कार्य वास्तव में उस प्रकार के कार्य को दर्शाता है जो एक वास्तविक वैज्ञानिक करता है। उन्होंने केवल उन्हीं कार्यों को रखा जिन्हें गुणवत्ता और प्रासंगिकता के लिए उच्चतम रेटिंग मिली। अंतिम सेट जीव विज्ञान के नौ विभिन्न क्षेत्रों को कवर करता है, जैसे प्रोटीन और कोशिकाओं के साथ काम करना, डीएनए को अनुक्रमित करना और सूक्ष्मजीवों को उगाना। लक्ष्य एक ऐसा बेंचमार्क बनाना था जो यह मापे कि क्या एक मशीन बदलाव के डाउनस्ट्रीम परिणामों के माध्यम से तर्क कर सकती है, न कि केवल सही उत्तर का अनुमान लगा सकती है।

शोधकर्ताओं ने फिर नौ अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों को परीक्षण के लिए रखा। इन मॉडलों को मूल प्रोटोकॉल, एक नए प्रयोगात्मक लक्ष्य का विवरण, और जानकारी खोजने के लिए खोज उपकरणों (search tools) तक पहुंच दी गई। उन्हें एक मुक्त-रूप (free-form) प्रतिक्रिया लिखने के लिए कहा गया जिसमें बताया गया हो कि प्रोटोकॉल को कैसे संशोधित किया जाए। उत्तरों को विशेषज्ञ-सत्यापित नियमों के विरुद्ध ग्रेड किया गया। परिणामों ने दिखाया कि जबकि इन मॉडलों ने महत्वपूर्ण प्रगति की है, लेकिन उन्हें अभी भी लंबा रास्ता तय करना है। सबसे अच्छा प्रदर्शन करने वाले मॉडल, क्लॉड ओपस 5 (Claude Opus 5) ने 59.2 प्रतिशत का स्कोर प्राप्त किया। इसका अर्थ है कि इसने आधे से अधिक मामलों में आवश्यक परिवर्तनों और उनके परिणामों को सही ढंग से संबोधित किया। अन्य मॉडलों ने 34.1 प्रतिशत और 47.1 प्रतिशत के बीच स्कोर किया। यहाँ तक कि शीर्ष प्रदर्शन करने वाले ने भी बहुत सारा अंक अर्जित नहीं किया, जो यह दर्शाता है कि परीक्षण कठिन है और मॉडल अभी भी पूर्ण नहीं हैं।

अध्ययन ने यह भी देखा कि क्या होता है जब एक मॉडल को एक ही प्रश्न को कई बार आज़माने की अनुमति दी जाती है, जो एक ऐसे वैज्ञानिक का अनुकरण करता है जो निर्णय लेने से पहले एक सिमुलेशन चला सकता है या कुछ अलग विकल्पों की जांच कर सकता है। जब शोधकर्ताओं ने दस प्रयासों में से सबसे अच्छा उत्तर लिया, तो स्कोर में सुधार हुआ, लेकिन मॉडलों के बीच का अंतर बदल गया। कुछ मॉडल जो एक एकल प्रयास में औसत थे, कई मौके मिलने पर बहुत मजबूत हो गए, जबकि अन्य सुसंगत रहे। यह सुझाव देता है कि विभिन्न मॉडलों की अलग-अलग ताकतें होती हैं; कुछ अधिक विश्वसनीय होते हैं, जबकि अन्य अधिक संभावना रखते हैं कि यदि वे भाग्यशाली हों तो एक शानदार उत्तर देंगे। हालांकि, दस प्रयासों के साथ भी, सर्वश्रेष्ठ मॉडल अभी भी सभी उपलब्ध अंक प्राप्त नहीं कर सका, जिससे सिद्ध होता है कि बेंचमार्क अभी तक "सैचुरेटेड" (saturated) या वर्तमान तकनीक के लिए बहुत आसान नहीं हुआ है।

शोधकर्ताओं ने पाया कि मॉडल कार्य के प्रकार के आधार पर अलग-अलग प्रदर्शन करते हैं। वे उन कार्यों में अपेक्षाकृत अच्छे थे जिनमें प्रयोगात्मक साक्ष्य देखने और एक तार्किक निष्कर्ष निकालने की आवश्यकता थी। हालांकि, वे उन कार्यों के साथ अधिक संघर्ष करते थे जिनमें "टैसिट नॉलेज" (tacit knowledge) की आवश्यकता थी—वह प्रकार का सहज ज्ञान या अंतर्ज्ञान जो एक विशेषज्ञ के पास एक अव्यवद्य, वास्तविक दुनिया की स्थिति के बारे में होता है। यह विशेष रूप रूप से ट्रबलशूटिंग (troubleshooting) के मामले में सत्य था, जहाँ एक मॉडल को यह पता लगाने की आवश्यकता होती है कि प्रयोग क्यों विफल हुआ और इसे कैसे ठीक किया जाए। मॉडल इस बात में भी भिन्न थे कि वे अपने खोज उपकरणों का कितना उपयोग करते हैं। ग्रोक (Grok) जैसे कुछ मॉडलों ने इंटरनेट पर व्यापक रूप से खोज करके डेटा की भारी मात्रा का उपभोग किया, जबकि अन्य अधिक रूढ़िवादी थे। अध्ययन ने नोट किया कि ये उच्च-तर्क सेटिंग, जो मॉडलों को गहराई से सोचने और व्यापक रूप से खोजने की अनुमति देती थी, कंप्यूटिंग शक्ति और समय के संदर्भ में उच्च लागत के साथ आती थी।

अंततः, यह कार्य विज्ञान के लिए आर्टिफिशियल इंटेलिजेंस की प्रगति को मापने का एक जमीनी तरीका प्रदान करता है। वास्तविक वैज्ञानिकों द्वारा किए गए वास्तविक संशोधनों पर इस परीक्षण को बनाकर, शोधकर्ताओं ने उन कृत्रिम समस्याओं को बनाने के जाल से बचने में सफलता प्राप्त की जो वास्तविक लैब कार्य की जटिलता को प्रतिबिंबित नहीं करती हैं। निष्कर्ष बताते हैं कि हालांकि आर्टिफिशियल इंटेलिजेंस वैज्ञानिकों के लिए एक सहायक उपकरण बनता जा रहा है, लेकिन यह अभी भी लैब में मानवीय निर्णय का विकल्प नहीं है। मॉडल तथ्यों को याद कर सकते हैं और निर्देशों का पालन कर सकते हैं, लेकिन वे अभी भी उस सूक्ष्म, चरण-दर-चरण तर्क के लिए संघर्ष करते हैं जो एक वैज्ञानिक प्रोटोकॉल को सुरक्षित और प्रभावी ढंग से अनुकूलित करने के लिए आवश्यक है। जैसे-जैसे ये उपकरण अनुसंधान में अधिक सामान्य होते जा रहे हैं, बेंचबेंच-प्रोटोकॉल जैसे बेंचमार्क यह समझने के लिए आवश्यक होंगे कि वे कहाँ सफल होते हैं और उन्हें अभी कहाँ सीखने की आवश्यकता है। आगे का रास्ता केवल मॉडलों को स्मार्ट बनाने के बारे में नहीं है, बल्कि उन्हें कारण और प्रभाव की उस श्रृंखला को समझने में सक्षम बनाने के बारे में है जो वैज्ञानिक पद्धति को परिभाषित करती है।