TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology
यह शोध पत्र वास्तविक दुनिया के परख (असे डेटा) का उपयोग करके छोटे-अणु प्रीक्लिनिकल फार्माकोलॉजी कार्यों पर एआई एजेंटों के मूल्यांकन के लिए एक सत्यापन योग्य बेंचमार्क, TxBench-PP को प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान के सबसे उन्नत मॉडल भी विश्वसनीय रूप से सटीक प्रीक्लिनिकल निर्णय लेने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टीम को सुपर-स्मार्ट, AI-संचालित रिसर्च असिस्टेंट के रूप में काम पर रख रहे हैं, जो आपको यह तय करने में मदद करेंगे कि कौन सी नई दवाएं बनानी हैं। आपके पास वास्तविक दुनिया के लैब डेटा का एक विशाल ढेर है—चार्ट, माइक्रोस्कोप की तस्वीरें और रासायनिक परीक्षण के परिणाम—और आपको इन सहायकों को सबूतों को देखने और यह बताने की आवश्यकता है: "यह दवा आशाजनक लग रही है, इसे जारी रखें," या "यह खतरनाक या बेकार है, इसे फेंक दें।"
यह शोध पत्र, TxBench-PP, इस बात की रिपोर्ट कार्ड है कि उन AI सहायकों ने वास्तव में उस विशिष्ट कार्य को कितनी अच्छी तरह से किया।
मुख्य विचार: AI के लिए एक "ड्राइवर का टेस्ट"
लेखकों ने TxBench-PP नामक एक विशेष परीक्षण बनाया। इसे एक ड्राइविंग टेस्ट की तरह समझें, लेकिन कार के बजाय, AI एक ड्रग डिस्कवरी प्रोग्राम चला रहा है।
- जाल (The Trap): उन्होंने AI से केवल किसी पाठ्यपुस्तक से तथ्य रटने के लिए नहीं कहा (जैसे "एस्पिरिन क्या करती है?")। यह AI के लिए आसान है क्योंकि उन्होंने इंटरनेट को याद कर लिया है।
- असली चुनौती: उन्होंने AI को एक नया, अव्यवस्थित फोल्डर दिया जो एक वास्तविक लैब प्रयोग से प्राप्त नया डेटा था और पूछा, "केवल इन विशिष्ट नंबरों और छवियों के आधार पर, हमें क्या करना चाहिए?"
- लक्ष्य: यह देखना कि क्या AI एक ऐसे वैज्ञानिक की तरह काम कर सकता है जो साक्ष्यों को देखता है, या क्या वह केवल अनुमान लगाता है जो उसे अपने प्रशिक्षण से याद है।
परिणाम: AI अभी भी एक नौसिखिया है
शोधकर्ताओं ने AI मॉडल (मस्तिष्क) और सॉफ्टवेयर टूल्स (हाथ) के 16 विभिन्न संयोजनों का परीक्षण किया। उन्होंने कुल मिलाकर 4,800 बार यह परीक्षण चलाया।
यहाँ फैसला है: AI अभी अकेले गाड़ी चलाने के लिए तैयार नहीं है।
- सर्वश्रेष्ठ स्कोर: सबसे अच्छा प्रदर्शन करने वाले AI सिस्टम ने लगभग 59% उत्तर सही दिए। एक क्लासरूम में, यह एक फेलिंग ग्रेड है। एक वास्तविक दवा कंपनी में, 10 में से 4 बार गलत होना खतरनाक है क्योंकि इसका मतलब करोड़ों डॉलर बर्बाद करना या, इससे भी बदतर, एक खतरनाक दवा को आगे बढ़ाना हो सकता है।
- रियलिटी चेक: यहाँ तक कि "सबसे स्मार्ट" AI भी एक ही कार्य को लगातार तीन बार सही नहीं कर सका। यह असंगत था।
AI कहाँ गलत हुआ?
लेखकों ने गलतियों का बारीकी से अध्ययन किया, और उन्होंने पाया कि AI केवल चीज़ों को "भूल" नहीं रहा था। यह विशिष्ट प्रकार की वैज्ञानिक गलतियाँ कर रहा था:
- "टेक्स्टबुक" का जाल: कभी-कभी AI ने कोशिका के मरने की तस्वीर देखी और वास्तविक डेटा को अनदेखा कर दिया। इसके बजाय, उसे एक अलग दवा के बारे में एक प्रसिद्ध कहानी याद आई जो एक टेक्स्टबुक में थी और उसने यहाँ वही कहानी लागू कर दी। उसने पूर्व-लिखित विवरण के अनुरूप होने के लिए साक्ष्यों को अनदेखा कर दिया।
- खराब गणित और खराब फिल्टर: AI अक्सर "क्वालिटी कंट्रोल" में गड़बड़ी करता था। कल्पना कीजिए कि एक वैज्ञानिक एक ग्राफ को देख रहा है और कहता है, "ओह, वह अजीब स्पाइक बस एक ग्लिच है, मैं इसे अनदेखा कर दूँगा," जबकि वास्तव में, वह स्पाइक डेटा का सबसे महत्वपूर्ण हिस्सा था। AI अक्सर महत्वपूर्ण डेटा को फेंक देता था या कचरा डेटा को रख लेता था।
- "सब-या-कुछ-नहीं" की समस्या: जब 10 दवाओं की सूची में से सर्वश्रेष्ठ चुनने के लिए कहा गया, तो AI ने अक्सर उस दवा को चुना जो "ठीक" लग रही थी लेकिन उसने उसे मिस कर दिया जो वास्तव में महान थी, या उसने एक खतरनाक दवा को इसलिए चुना क्योंकि वह सक्रिय लग रही थी। उसे "इस प्रोजेक्ट को खत्म करो" बनाम "इस प्रोजेक्ट को आगे बढ़ाओ" जैसे कठिन निर्णय लेने में संघर्ष करना पड़ा।
"टूल" मायने रखता है
एक दिलचस्प खोज यह थी कि AI द्वारा किए जाने वाले काम के लिए उपयोग किए जाने वाले सॉफ्टवेयर का महत्व AI के अपने महत्व जितना ही था।
- सोचिए कि AI एक शानदार शेफ है।
- Harness A ने शेफ को एक तेज चाकू और एक साफ चॉपिंग बोर्ड दिया।
- Harness B ने उसी शेफ को एक कुंद मक्खन वाला चाकू और एक गंदा बोर्ड दिया।
- अच्छे टूल्स (जिसे पेपर में "Pi" कहा गया है) वाले शेफ ने उसी शेफ (AI मॉडल) की तुलना में बहुत बेहतर भोजन पकाया जिसने खराब टूल्स का उपयोग किया था, भले ही "शेफ" (AI मॉडल) समान था।
निष्कर्ष
यह शोध पत्र एक रियलिटी चेक है। हालांकि AI दवा की खोज की गति बढ़ाने का वादा करता है, लेकिन इस पर अभी भी अपने आप महत्वपूर्ण "गो/नो-गो" निर्णय लेने के लिए भरोसा नहीं किया जा सकता है।
वर्तमान AI एजेंट उन इंटर्न की तरह हैं जो मैनुअल पढ़ने में बहुत अच्छे हैं लेकिन उन्हें अभी भी एक सीनियर साइंटिस्ट की आवश्यकता है जो उनके कंधे के पीछे से देख सके, उनके गणित की जांच कर सके, और यह सुनिश्चित कर सके कि वे लैब डेटा की अव्यवस्थित वास्तविकता को अनदेखा नहीं कर रहे हैं। वे सहायक हैं, लेकिन वे अभी तक शो चलाने के लिए पर्याप्त विश्वसनीय नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।