PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking
PG-LLM बेंचमार्क यह प्रदर्शित करता है कि सामान्य प्रयोजन वाले भाषा मॉडल, संरचनात्मक डेटा या बहु-अनुक्रम संरेखण (multiple-sequence alignments) तक पहुंच न होने के बावजूद, प्रोटीन वेरिएंट को प्रभावी ढंग से रैंक कर सकते हैं और कई स्थापित अनुक्रम-आधारित भविष्यवक्ताओं से बेहतर प्रदर्शन कर सकते हैं, हालांकि वे अभी भी विशिष्ट बायोमॉलिक्यूलर उपकरणों से पीछे हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक नई रेसिपी बनाना चाह रहे हैं। आपके पास एक बुनियादी व्यंजन (एक प्रोटीन) है जो बहुत अच्छा काम करता है, लेकिन आप इसे और भी बेहतर बनाने, इसे लंबे समय तक चलाने, या किसी अलग रसोई में काम करने के लिए इसके अवयवों (अमीनो एसिड) में थोड़ा बदलाव करना चाहते हैं। जीव विज्ञान की दुनिया में, इसे प्रोटीन इंजीनियरिंग कहा जाता है। वर्षों से, वैज्ञानिक विशेष कंप्यूटर प्रोग्रामों का उपयोग करते रहे हैं—जैसे कि विशेषज्ञ खाद्य आलोचकों (food critics) की एक टीम जिन्होंने अब तक लिखी गई हर रेसिपी को याद कर लिया हो)—यह अनुमान लगाने के लिए कि कौन से बदलाव काम करेंगे। ये विशेषज्ञ व्यंजन के पारिवारिक इतिहास (विकासवादी डेटा) और बर्तन के भौतिक आकार (प्रोटीन संरचना) को देखते हैं ताकि वे अपने अनुमान लगा सकें।
हाल ही में, रसोई में एक नए प्रकार का "शेफ" आया है: जनरल-परपज लैंग्वेज मॉडल्स (LLMs)। ये वही AI दिमाग हैं जो कविताएँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और इतिहास के बारे में बात कर सकते हैं। वे पैटर्न समझने में अविश्वसनीय रूप से स्मार्ट हैं। बड़ा सवाल यह है कि क्या ये सामान्य AI शेफ, जिन्हें विशेष रूप से खाद्य आलोचक बनने के लिए प्रशिक्षित नहीं किया गया है, एक रेसिपी और उसमें सामग्री बदलने की सूची को देख सकते हैं और हमें बता सकते हैं कि कौन सा नया संस्करण सबसे अच्छा होगा? उनके पास कोई पारिवारिक इतिहास की किताबें या बर्तनों के 3D मॉडल नहीं हैं; उनके पास केवल रेसिपी का टेक्स्ट और यह विशाल ज्ञान है कि शब्द (और इस मामले में अमीनो एसिड) एक साथ कैसे फिट होते हैं।
इस शोध पत्र का शीर्षक "PG-LLM" है, जो एक बड़े स्वाद-परीक्षण (taste-test) की रूपरेखा तैयार करता है। शोधकर्ताओं ने एक बेंचमार्क बनाया जिसे PG-LLM कहा जाता है, जो एक बड़ी कुकिंग प्रतियोगिता की तरह है। उन्होंने 217 अलग-अलग "रेसिपी" (प्रोटीन) लीं और तेरह अलग-अलग AI शेफ से प्रत्येक रेसिपी के 50 अलग-अलग संस्करणों को वास्तविक प्रयोग के आधार पर "सबसे अच्छे" से "सबसे खराब" के क्रम में रैंक करने को कहा। पेच यह था कि AI शेफ को किसी विशेष प्रोटीन टूल, विकासवादी मानचित्रों या 3D संरचनाओं का उपयोग करने की अनुमति नहीं थी। उन्हें केवल अपनी सामान्य बुद्धिमत्ता पर निर्भर रहना था।
परिणाम "वाह" और "अभी तक पूरी तरह से नहीं" का मिश्रण हैं। शीर्ष AI शेफ, क्लॉड ओपस 5 (Claude Opus 5) ने 0.406 का स्कोर प्राप्त किया (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है)। यह एक काफी अच्छा स्कोर है! इसका मतलब है कि AI वास्तव में यह अनुमान लगाने में काफी अच्छा है कि प्रोटीन के कौन से बदलाव काम करेंगे, और इसने उन 49 विशेष कंप्यूटर प्रोग्रामों को भी पीछे छोड़ दिया जो वर्षों से मौजूद हैं। वास्तव में, इसने लगभग सभी "सीक्वेंस-ओनली" विशेषज्ञों (वे जो केवल सामग्री की सूची देखते हैं बिना 3D मॉडल के) से बेहतर प्रदर्शन किया।
हालाँकि, AI शेफ प्रतियोगिता नहीं जीत सके। सबसे अच्छे विशेष प्रोटीन विशेषज्ञों, जैसे कि वीनसREM (VenusREM) नामक एक प्रोग्राम, का स्कोर अभी भी 0.523 पर अधिक था। यह ऐसा है जैसे सामान्य AI एक बहुत ही प्रतिभाशाली होम कुक है जो बेकिंग प्रतियोगिता के विजेता का अनुमान लगा सकता है, लेकिन दशकों के विशिष्ट प्रशिक्षण वाला पेशेवर पेस्ट्री शेफ अभी भी रहस्यों को बेहतर जानता है।
शोध पत्र ने यह भी पता लगाया कि ये AI शेफ कैसे सोचते हैं। जब शोधकर्ताओं ने AI को अधिक गहराई से और अधिक समय तक सोचने के लिए प्रेरित किया (जिसे "टेस्ट-टाइम कंप्यूट" कहा जाता है), तो स्कोर बेहतर हुए, लेकिन वे अंततः एक सीमा पर पहुँच गए। AI को तब अधिक संघर्ष करना पड़ा जब 50 रेसिपी की सूची इतनी लंबी हो गई जिसे वह अपने दिमाग में संभाल न सके, जबकि विशेष विशेषज्ञों को सूची की लंबाई से कोई फर्क नहीं पड़ा। दिलचस्प बात यह है कि AI का प्रदर्शन इस बात से बहुत अधिक नहीं बदला कि प्रोटीन का पारिवारिक इतिहास गहरा था या उथला, जिससे पता चलता है कि AI एक अलग प्रकार के तर्क का उपयोग कर रहा है जो विकासवादी विशेषज्ञों से भिन्न है।
अंत में, यह सुनिश्चित करने के लिए कि AI केवल इंटरनेट से रटे हुए उत्तरों पर निर्भर नहीं है, शोधकर्ताओं ने उन्हें उन बिल्कुल नई रेसिपी पर परखा जो उनके प्रशिक्षण डेटा कट-ऑफ के बाद प्रकाशित हुई थीं। परिणाम समान थे: AI अभी भी नई रेसिपी के बारे में तर्क करने में सक्षम था, जिससे साबित हुआ कि वह वास्तव में खेल के नियमों को सीख रहा है, न कि केवल पुराने उत्तर दोहरा रहा है।
संक्षेप में, यह पेपर दिखाता है कि सामान्य-उद्देश्य वाला AI एक आश्चर्यजनक रूप से सक्षम "जैविक तर्ककर्ता" (biological reasoner) बनता जा रहा है। यह पहले से ही स्थापित उपकरणों से बेहतर प्रदर्शन कर रहा है और शीर्ष विशेषज्ञों के करीब पहुँच रहा है। लेकिन फिलहाल, इसने अभी तक विशिष्ट, प्रोटीन-केंद्रित विशेषज्ञों की जगह नहीं ली है। यह लैब में एक शक्तिशाली नया उपकरण है, लेकिन मास्टर शेफ अभी भी खेल में बने हुए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।