AssayBench: An Assay-Level Virtual Cell Benchmark for LLMs and Agents
यह शोध पत्र AssayBench प्रस्तुत करता है, जो 1,920 CRISPR स्क्रीन्स से बना एक नया बेंचमार्क है जिसे सेलुलर फेनोटाइपिक परिणामों (cellular phenotypic outcomes) की भविष्यवाणी करने के लिए लार्ज लैंग्वेज मॉडल्स और एजेंट्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि ज़ीरो-शॉट जनरलिस्ट LLMs वर्तमान में विशिष्ट जीव विज्ञान मॉडल्स (specialized biology models) से बेहतर प्रदर्शन करते हैं और साथ ही एक सुदृढ़ वर्चुअल सेल मॉडल प्राप्त करने की दिशा में सुधार की महत्वपूर्ण गुंजाइश को भी उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल जैविक रहस्य को सुलझाने की कोशिश कर रहे हैं। एक वास्तविक लैब में, वैज्ञानिक कोशिकाओं में विशिष्ट जीनों को "बंद" करने के लिए हजारों प्रयोग चलाते हैं ताकि वे देख सकें कि क्या होता है। क्या कोशिका बढ़ना बंद कर देती है? क्या वह बीमार हो जाती है? क्या वह किसी दवा के प्रति प्रतिरोधी हो जाती है? इन प्रयोगों को CRISPR स्क्रीन्स कहा जाता है, और वे जीनों की विशाल सूचियाँ उत्पन्न करते हैं जिन्हें परिणाम के लिए कितना महत्वपूर्ण है, इस आधार पर रैंक किया जाता है।
समस्या यह है कि वास्तविक जीवन में इन प्रयोगों को चलाना धीमा, महंगा और अव्यवस्थित है। वैज्ञानिकों की इच्छा एक "Virtual Cell" (आभासी कोशिका) की है—एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो प्रयोगशाला में पेट्री डिश छूने से पहले ही इन प्रयोगों के परिणामों की भविष्यवाणी कर सके।
यह पेपर AssayBench नामक एक नया "फाइनल एग्जाम" पेश करता है, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या हमारे वर्तमान आर्टिफिशियल इंटेलिजेंस (AI) मॉडल उस 'आभासी कोशिका' बनने के लिए पर्याप्त स्मार्ट हैं।
यहाँ बताया गया है कि यह पेपर इसे सरल उपमाओं का उपयोग करके कैसे समझाता है:
1. नया एग्जाम: AssayBench
इस पेपर से पहले, AI मॉडल मुख्य रूप से संकीर्ण कार्यों पर परीक्षण किए जाते थे, जैसे कि यह अनुमान लगाना कि एक एकल अणु अपना आकार कैसे बदलता है। लेकिन वास्तविक ड्रग डिस्कवरी एक फिल्म की कहानी (movie plot) की तरह है: आपको पात्रों (जीन), सेटिंग (कोशिका प्रकार), और कहानी के मोड़ (ड्रग ट्रीटमेंट) को समझना होगा ताकि अंत (फेनोटाइप) का अनुमान लगाया जा सके।
लेखकों ने AssayBench को 1,920 वास्तविक दुनिया के प्रयोगों का उपयोग करके बनाया है जो पहले ही प्रकाशित हो चुके हैं।
- कार्य (Task): AI को एक प्रयोग का टेक्स्ट विवरण दिया जाता है (जैसे, "हमने ल्यूकेमिया कोशिकाओं में जीन को बंद कर दिया और यह देखने के लिए एक दवा जिसे एटोपोसाइड (Etoposide) कहा जाता है, उसे जोड़ा कि कौन सी कोशिकाएं जीवित रहीं")।
- लक्ष्य (Goal): AI को उन शीर्ष 100 जीनों की एक रैंक की गई सूची आउटपुट करनी होती है जो उसके अनुसार प्रभाव का कारण बने, "सबसे संभावित" से "सबसे कम संभावित" के क्रम में।
- ट्विस्ट (Twist): AI को यह नए प्रयोगों के लिए करना होगा जिन्हें उसने पहले नहीं देखा है, ठीक वैसे ही जैसे एक छात्र एक ऐसे विषय पर परीक्षा देता है जिसका उसने अध्ययन तो किया है लेकिन विशेष रूप से अभ्यास नहीं किया है।
2. ग्रेडिंग सिस्टम: "एडजस्टेड स्कोर" (The Adjusted Score)
आप 1,000 जीनों की सूची पर AI को कैसे ग्रेड करेंगे? यदि आप केवल पूछते हैं, "क्या इसने शीर्ष एक को सही पहचाना?" तो यह बहुत कठोर होगा। यदि आप पूछते हैं, "क्या इसने कोई भी सही पहचाना?" तो यह बहुत आसान होगा।
लेखकों ने एक विशेष ग्रेडिंग मेट्रिक बनाया है जिसे Adjusted nDCG कहा जाता है। इसे एक गोल्फ हैंडिकैप की तरह समझें:
- कुछ प्रयोग आसान होते हैं (जैसे एक समतल गोल्फ कोर्स); कुछ कठिन होते हैं (जैसे रेत के जाल वाला कोर्स)।
- यह मेट्रिक स्कोर को इस तरह समायोजित करता है कि AI को "रैंडम गेस" बेसलाइन को हराने के लिए क्रेडिट मिलता है, लेकिन उसे केवल इसलिए पूर्ण स्कोर नहीं मिलता क्योंकि प्रयोग आसान था।
- यह AI को दंडित भी करता है यदि वह "बुरे" जीन (वे जीन जो वास्तव में समस्या को बदतर बना देते हैं) को सूची में सबसे ऊपर रखता है।
3. प्रतियोगी: कौन खेला?
लेखकों ने तीन प्रकार के "छात्रों" का परीक्षण किया:
- सामान्य प्रतिभाशाली (Frontier LLMs): ये विशाल, सामान्य उद्देश्य वाले AI मॉडल हैं (जैसे Gemini 3 Pro या GPT-5.4) जिन्होंने लगभग इंटरनेट पर सब कुछ पढ़ा है। उन्हें विशेष रूप से जीव विज्ञान के लिए प्रशिक्षित नहीं किया गया था; वे बस हर चीज़ के बारे में बहुत कुछ जानते हैं।
- जीव विज्ञान विशेषज्ञ (Biology Specialists): ये AI मॉडल हैं जिन्हें विशेष रूप से जैविक डेटा पर प्रशिक्षित किया गया है या जो मेडिकल एजेंट के रूप में कार्य करने के लिए डिज़ाइन किए गए हैं।
- "चीट शीट" बेसलाइन्स (Cheat Sheet Baselines): सरल विधियाँ जो केवल पैटर्न खोजती हैं, जैसे "इस प्रकार के प्रयोग में आमतौर पर कौन से जीन महत्वपूर्ण होते हैं?"
4. परिणाम: सामान्य विशेषज्ञों की जीत हुई (फिलहाल के लिए)
आश्चर्यजनक रूप से, General Geniuses (बड़े, सामान्य AI मॉडल) का प्रदर्शन सबसे अच्छा रहा।
- विशेषज्ञ मॉडल (Specialist models) वास्तव में सामान्य मॉडलों की तुलना में खराब प्रदर्शन करते हैं।
- "चीट शीट" बेसलाइन्स आश्चर्यजनक रूप से प्रतिस्पर्धी थे, विशेष रूप से सामान्य कोशिका प्रकारों के लिए, जिससे पता चलता है कि कभी-कभी सरल पैटर्न ही पर्याप्त होते हैं।
- फैसला (Verdict): यहाँ तक कि सर्वश्रेष्ठ AI मॉडल भी अभी भी पूर्णता से बहुत दूर हैं। पेपर दिखाता है कि वर्तमान सर्वश्रेष्ठ AI स्कोर सैद्धांतिक रूप से संभव (performance ceiling) के आधे रास्ते पर हैं। यदि आप दो वास्तविक वैज्ञानिकों को लें और उनसे एक ही प्रयोग की भविष्यवाणी करने के लिए कहें, तो वे AI की तुलना में बहुत अधिक सहमति बनाएंगे।
5. "याद रखने" का जाल (The Memorization Trap)
लेखकों ने गौर किया कि AI पुराने प्रयोगों (2021 से पहले प्रकाशित) पर नए प्रयोगों (देर से 2025 में प्रकाशित) की तुलना में बहुत बेहतर प्रदर्शन करता है।
- उपमा: यह एक ऐसे छात्र की तरह है जिसने पिछले साल के अभ्यास परीक्षणों के उत्तर रट लिए हैं लेकिन आज की परीक्षा के नए प्रश्नों पर संघर्ष कर रहा है।
- निष्कर्ष: AI संभवतः अपने प्रशिक्षण डेटा में पढ़ी गई तथ्यों को "याद" कर रहा है बजाय इसके कि वह वास्तविक जैविक तर्क को समझे। हालांकि, इसने नए परीक्षणों पर विशेषज्ञों की तुलना में बेहतर प्रदर्शन किया, जिससे पता चलता है कि इसमें वास्तविक तर्क करने की क्षमता है, न कि केवल स्मृति।
6. बेहतर कैसे बनें?
पेपर ने AI के प्रदर्शन को बढ़ाने के कुछ तरीकों का परीक्षण किया:
- फाइन-ट्यूनिंग (Fine-tuning): AI को विशेष रूप से इस प्रकार की समस्याओं पर सिखाने से थोड़ा मदद मिली।
- एन्सेम्बलिंग (Ensembling): तीन अलग-अलग AI को उत्तर पर वोट देने के लिए कहना और उनके परिणामों को मिलाना सबसे अच्छा काम करता है। यह एक अकेले विशेषज्ञ के बजाय विशेषज्ञों के पैनल को पूछने जैसा है।
निचोड़ (The Bottom Line)
AssayBench एक नया, वास्तविक परीक्षण है यह देखने के लिए कि क्या AI भविष्यवाणी कर सकता है कि कोशिकाएं कैसे व्यवहार करेंगी जब हम उनके जीनों के साथ छेड़छाड़ करते हैं।
- वर्तमान स्थिति: AI इसमें अच्छा हो रहा है, लेकिन यह अभी वहां नहीं पहुंचा है। सर्वश्रेष्ठ मॉडल अभी भी ऐसी गलतियां कर रहे हैं जो वास्तविक वैज्ञानिक नहीं करेंगे।
- भविष्य: पेपर सुझाव देता है कि एक वास्तविक "Virtual Cell" बनाने के लिए, हमें ऐसे मॉडलों की आवश्यकता है जो जीव विज्ञान के माध्यम से तर्क कर सकें न कि केवल तथ्यों को याद रख सकें, और हमें उन्हें सिखाने के लिए अधिक डेटा की आवश्यकता है।
यह पेपर यह दावा नहीं करता है कि ये मॉडल आज अस्पतालों में उपयोग के लिए या बीमारियों को ठीक करने के लिए तैयार हैं। यह केवल कहता है: "यहाँ एक पैमाना (रूलर) है जिससे हम यह माप सकते हैं कि हमें उस बिंदु तक पहुँचने के लिए कितनी दूर जाना है जहाँ AI वास्तव में लैब बेंच की जगह ले सके।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।