💻 bioinformatics

Benchmarking Large Language Models for Predicting Therapeutic Antisense Oligonucleotide Efficacy

यह अध्ययन एंटीसेंस ओलिगोन्यूक्लियोटाइड प्रभावकारिता की भविष्यवाणी करने के लिए विभिन्न लार्ज लैंग्वेज मॉडल्स का बेंचमार्किंग करता है, जो यह प्रदर्शित करता है कि डीएनए अनुक्रमों और लक्षित जीन जानकारी के साथ फ्यू-शॉट प्रॉम्प्टिंग, मॉलिक्यूलर एम्बेडिंग-आधारित फाइन-ट्यूनिंग से बेहतर प्रदर्शन करती है, जिसमें GPT-3.5-Turbo ने कई डेटासेट्स में उच्चतम भविष्य कहने वाली सटीकता प्राप्त की है।

मूल लेखक: Wei, Z., Griesmer, S., Sundar, A.

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei, Z., Griesmer, S., Sundar, A.

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक नई दवा के लिए एकदम सही रेसिपी बनाने की कोशिश कर रहे हैं। यह दवा अक्षरों की एक छोटी, कस्टम-मेड स्ट्रिंग (DNA) है जिसे विशेष रूप से उन "बुरे" जीन्स का पीछा करने और उन्हें चुप कराने के लिए डिज़ाइन किया गया है जो बीमारी का कारण बनते हैं। इन कस्टम स्ट्रिंग्स को एंटीसेंस ओलिगोन्यूक्लियोटाइड्स (ASOs) कहा जाता है।

समस्या यह है कि अक्षरों के इतने सारे संभावित संयोजन हैं कि यह अनुमान लगाना कि कौन सी रेसिपी काम करेगी, किसी आवर्धक लेंस (magnifying glass) से देखते हुए समुद्र तट पर रेत के एक विशिष्ट कण को खोजने जैसा है। वैज्ञानिक अब एक तेज़ तरीका चाहते हैं जिससे वे भविष्यवाणी कर सकें कि कौन से DNA स्ट्रिंग्स वास्तव में काम करेंगे।

यह शोध पत्र एक नए, हाई-टेक "सुपर-ब्रेन" (जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) का परीक्षण करने के बारे में है, यह देखने के लिए कि क्या यह उस शेफ के सहायक के रूप में कार्य कर सकता है और सफल DNA रेसिपी की भविष्यवाणी कर सकता है।

यहाँ इस कहानी का सरल विवरण दिया गया है कि उन्होंने इसे कैसे परखा:

सुपर-ब्रेन से बात करने के दो तरीके

शोधकर्ताओं ने इन AI मॉडलों से बात करने के दो अलग-अलग तरीके आजमाए, जैसे कि किसी दोस्त से सलाह लेने के दो अलग-अलग तरीके:

1. "केमिस्ट्री ट्रांसलेटर" दृष्टिकोण (चरण 1)

विचार: उन्होंने DNA अनुक्रमों को लिया और उन्हें SMILES नामक एक रासायनिक कोड में अनुवादित किया (इसे एक वाक्य को अंग्रेजी से एक बहुत ही जटिल, अमूर्त रासायनिक भाषा में अनुवाद करने के रूप में समझें)।
परीक्षण: उन्होंने इस रासायनिक कोड को उन AI मॉडलों में डाला जो विशेष रूप से रसायन विज्ञान (chemistry) को समझने के लिए प्रशिक्षित थे (जैसे कि एक ऐसा शेफ जो केवल सामग्री की सूची पढ़ना जानता हो)।
परिणाम: यह थोड़ा असफल रहा। AI भ्रमित हो गया। यह एक जटिल भावना को किसी ऐसे व्यक्ति को समझाने जैसा था जो केवल शब्दकोश की परिभाषा समझता है। मॉडल जैविक संदर्भ (biological context) को "महसूस" नहीं कर सके, और उनकी भविष्यवाणियाँ पारंपरिक तरीकों से भी बदतर थीं।

2. "स्टोरीटेलर" (कथावाचक) दृष्टिकोण (चरण 2)

विचार: रासायनिक कोड में DNA को बदलने के बजाय, उन्होंने AI को वास्तविक DNA अनुक्रम साथ ही वह कहानी दी कि इसे किस जीन को लक्षित करना चाहिए। उन्होंने AI को एक बुद्धिमान छात्र की तरह माना जो पढ़ सकता है और तर्क कर सकता है।
परीक्षण: उन्होंने प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering) नामक तकनीक का उपयोग किया।
- ज़ीरो-शॉट (Zero-Shot): उन्होंने बस AI से पूछा, "यह DNA और लक्ष्य यहाँ है। क्या होगा?" (कोई उदाहरण नहीं दिए)।
- फ्यू-शॉट (Few-Shot): उन्होंने पहले उसे तीन उदाहरण दिए: "यह एक DNA स्ट्रिंग है जिसने अच्छा काम किया। यह एक है जो विफल रहा। यह एक और है जिसने अच्छा काम किया। अब, इसकी भविष्यवाणी करो।" (यह एक छात्र को टेस्ट से पहले कुछ अभ्यास प्रश्न दिखाने जैसा है)।
परिणाम: यह बहुत बेहतर रहा! AI, विशेष रूप से GPT-3.5-Turbo, एक स्टार स्टूडेंट बन गया। उन तीन उदाहरणों को दिए जाने पर (Few-Shot), उसने पैटर्न को समझ लिया और आश्चर्यजनक सटीकता के साथ नए ड्रग्स की सफलता की भविष्यवाणी की।

तीन "अभ्यास क्षेत्र" (डेटासेट्स)

शोधकर्ताओं ने AI का परीक्षण तीन अलग-अलग डेटा सेटों पर किया, जैसे कि तीन अलग-अलग स्पोर्ट्स फील्ड पर प्रशिक्षण लेना:

PFRED: एक क्षेत्र जिसमें 522 उदाहरण थे। AI यहाँ बहुत अच्छा रहा, और इसने पुराने तरीकों को काफी पीछे छोड़ दिया।
ASOptimizer: एक क्षेत्र जिसमें 1,267 उदाहरण थे। AI यहाँ भी बहुत अच्छा रहा।
OpenASO: 1,708 उदाहरणों वाला क्षेत्र। यही समस्या वाला स्थान था। AI यहाँ बुरी तरह विफल रहा, और औसत अनुमान लगाने से भी खराब प्रदर्शन किया।
- क्यों? शोधकर्ताओं को संदेह है कि यह डेटासेट बहुत अव्यवस्थित (messy) है या इसके नियम AI के समझने के लिए बहुत जटिल हैं। यह एक शतरंज खिलाड़ी को ऐसे खेल के नियम सिखाने जैसा है जिसके नियम हर बार खेलने पर बदल जाते हैं।

मुख्य निष्कर्ष

"सीक्रेट सॉस" संदर्भ (Context) है।
अध्ययन से पता चला कि AI तब सबसे अच्छा काम करता है जब वह कहानी (DNA अनुक्रम और लक्षित जीन) को समझता है, न कि केवल रासायनिक सामग्री (SMILES) को।

उपमा (Analogy): कल्पना कीजिए कि आप यह भविष्यवाणी करने की कोशिश कर रहे हैं कि क्या कोई कार रेस जीतेगी।
- चरण 1 (SMILES) एक कार के बोल्ट के आकार और धातु के प्रकारों की सूची देने जैसा है। उसे यह नहीं पता कि कार कैसे चलती है।
- चरण 2 (DNA + लक्ष्य) कार, ड्राइवर और ट्रैक को दिखाने और यह कहने जैसा है, "इस ट्रैक पर इस कार ने पिछली बार जीत हासिल की थी।" AI इस संदर्भ का उपयोग करके एक स्मार्ट अनुमान लगा सकता है।

भविष्य के लिए इसका क्या अर्थ है?

यह शोध पत्र एक 'प्रूफ-ऑफ-कॉन्सेप्ट' है। यह दिखाता है कि हमें ज़रूरी नहीं कि रसायन विज्ञान के लिए एक नया, सुपर-महंगा AI बनाएँ। हम स्मार्ट, सामान्य-उद्देश्य वाले AI (जैसे कि निबंध लिखते या हमसे चैट करते AI) का उपयोग कर सकते हैं और बस उन्हें सही तरीके से सवाल पूछना सिखा सकते हैं (प्रॉम्प्ट इंजीनियरिंग)।

हालाँकि, यह हमें चेतावनी भी देता है कि AI अभी जादू नहीं है। यह अभी भी अव्यवस्थित, जटिल डेटा (जैसे OpenASO डेटासेट) के साथ संघर्ष करता है। भविष्य में ड्रग डिस्कवरी में एक हाइब्रिड टीम शामिल हो सकती है: AI जो लाखों संभावनाओं को तेज़ी से स्कैन कर सके और मानव वैज्ञानिक जो उन पेचीदा, जटिल विवरणों को संभाल सकें जिन्हें AI अभी भी नहीं समझ पा रहा है।

संक्षेप में: यदि आप एक जीन-साइलेंसिंग ड्रग डिजाइन करना चाहते हैं, तो कंप्यूटर को केवल एक रासायनिक कोड न दें। उसे कहानी बताएं, उसे कुछ उदाहरण दिखाएं, और AI को जीतने वाली रेसिपी खोजने में मदद करने दें।

यहाँ शोध पत्र "Benchmarking Large Language Models for Predicting Therapeutic Antisense Oligonucleotide Efficacy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एंटीसेंस ओलिगोन्यूक्लियोटाइड्स (ASOs) चिकित्सीय एजेंटों की एक आशाजनक श्रेणी हैं जो विशिष्ट RNA अनुक्रमों से जुड़कर जीन अभिव्यक्ति को नियंत्रित करते हैं। हालाँकि, ASOs के लिए डिज़ाइन स्पेस अत्यंत विशाल है (लंबाई $n$ के लिए संयोजी जटिलता $4^n$ ), जिससे पारंपरिक डिज़ाइन विधियाँ, जो शोधकर्ता की विशेषज्ञता और भौतिक अवलोकनों पर निर्भर करती हैं, अक्षम हो जाती हैं। यद्यपि ऊष्मप्रवैगिकी (thermodynamic) गणनाओं और सपोर्ट वेक्टर मशीनों (SVMs) जैसे कम्प्यूटेशनल तरीकों का उपयोग किया गया है, लेकिन वे अक्सर जटिल अनुक्रम-कार्य संबंधों (sequence-function relationships) को पकड़ने में सक्षम नहीं होते हैं। यह अध्ययन आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके ASO की चिकित्सीय प्रभावकारिता को कुशलतापूर्वक भविष्यवाणी करने की चुनौती का समाधान करता है ताकि दवा की खोज (drug discovery) में तेजी लाई जा सके।

2. कार्यप्रणाली (Methodology)

लेखकों ने LLM प्रदर्शन को बेंचमार्क करने के लिए एक दो-चरणीय प्रायोगिक डिज़ाइन का उपयोग किया, जिसमें तीन अलग-अलग डेटासेट्स: PFRED (522 अनुक्रम), openASO (1,708 अनुक्रम), और ASOptimizer (1,267 अनुक्रम) पर केमिस्ट्री-विशिष्ट मॉडल्स की तुलना सामान्य-उद्देश्य वाले मॉडल्स से की गई।

चरण 1: आणविक एम्बेडिंग-आधारित फाइन-ट्यूनिंग (Molecular Embedding-Based Fine-Tuning)

इनपुट प्रतिनिधित्व (Input Representation): DNA अनुक्रमों को SMILES (Simplified Molecular Input Line Entry System) स्ट्रिंग्स में परिवर्तित किया गया।
परीक्षण किए गए मॉडल्स: केमिस्ट्री-विशिष्ट ट्रांसफार्मर मॉडल्स: ChemBERTa, Molformer, और BERT।
दृष्टिकोण: इन मॉडल्स को SMILES से प्राप्त आणविक एम्बेडिंग के आधार पर प्रभावकारिता की भविष्यवाणी करने के लिए रिज रिग्रेशन (ridge regression) का उपयोग करके फाइन-ट्यून किया गया।
लक्ष्य: यह मूल्यांकन करना कि क्या मानक आणविक प्रतिनिधित्व शिक्षण (molecular representation learning) ASO-विशिष्ट जैविक अंतःक्रियाओं को पकड़ सकता है।

चरण 2: प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering - Zero-Shot और Few-Shot)

इनपुट प्रतिनिधित्व: कच्चे DNA अनुक्रम और लक्ष्य जीन (target gene) की जानकारी।
परीक्षण किए गए मॉडल्स: सामान्य-उद्देश्य वाले LLMs: GPT-3.5-Turbo, LLaMA2-7B, और Galactica-6.7B।
दृष्टिकोण:
- Zero-Shot: मॉडल्स ने बिना किसी उदाहरण के केवल पूर्व-प्रशिक्षित ज्ञान के आधार पर प्रभावकारिता की भविष्यवाणी की।
- Few-Shot: मॉडल्स को $k=3$ उदाहरण ASO अनुक्रम और उनके ज्ञात प्रभावकारिता मान प्रदान किए गए ताकि भविष्यवाणियों को निर्देशित किया जा सके।
लक्ष्य: यह निर्धारित करना कि क्या प्राकृतिक भाषा तर्क (natural language reasoning) और संदर्भ-जागरूक प्रॉम्प्टिंग, पारंपरिक आणविक एम्बेडिंग से बेहतर प्रदर्शन कर सकती है।

मूल्यांकन मेट्रिक्स: रूट मीन स्क्वायर एरर (RMSE) और निर्धारण गुणांक ( $R^2$ )।

3. मुख्य परिणाम (Key Results)

चरण 1: आणविक एम्बेडिंग (SMILES)

प्रदर्शन: स्थापित बेसलाइन्स की तुलना में आम तौर पर कम प्रदर्शन किया।
सर्वश्रेष्ठ प्रदर्शन करने वाले:
- Molformer ने PFRED (0.3072) और ASOptimizer (0.3774) के लिए उच्चतम $R^2$ प्राप्त किया।
- BERT ने openASO ( $R^2$ = 0.2231) के लिए सबसे अच्छा प्रदर्शन किया।
तुलना: अधिकांश मॉडल्स बेसलाइन $R^2$ मानों को पार करने में विफल रहे (उदाहरण के लिए, PFRED के लिए बेसलाइन 0.28 थी; Molformer ने 0.3072 प्राप्त किया, लेकिन अन्य इससे कम थे)। यह सुझाव देता है कि SMILES प्रतिनिधित्व ASO-लक्ष्य अंतःक्रियाओं के विशिष्ट जैविक संदर्भ को पकड़ने में संघर्ष करते हैं।

चरण 2: प्रॉम्प्ट इंजीनियरिंग (DNA + Target Gene)

प्रदर्शन: चरण 1 की तुलना में काफी बेहतर प्रदर्शन किया, विशेष रूप से GPT-3.5-Turbo के लिए।
GPT-3.5-Turbo के परिणाम (Few-Shot, $k=3$ ):
- PFRED: $R^2$ = 0.6381 (बनाम बेसलाइन 0.28)।
- ASOptimizer: $R^2$ = 0.6340 (बनाम बेसलाइन 0.4020)।
- openASO: सभी मॉडल्स, जिनमें GPT-3.5 भी शामिल है, नकारात्मक $R^2$ मानों के साथ विफल रहे, जो एक साधारण माध्य भविष्यवक्ता (naive mean predictor) से भी खराब प्रदर्शन को दर्शाता है।
अन्य मॉडल्स: LLaMA2-7B और Galactica-6.7B ने सभी डेटासेट्स में नकारात्मक $R^2$ मान दिखाए, जो यह संकेत देता है कि वे इस विशिष्ट रिग्रेशन कार्य के लिए few-shot उदाहरणों का प्रभावी ढंग से उपयोग नहीं कर सके।

4. मुख्य योगदान (Key Contributions)

बेंचमार्किंग फ्रेमवर्क: ASO प्रभावकारिता भविष्यवाणी के लिए डोमेन-विशिष्ट (ChemBERTa, Molformer) और सामान्य-उद्देश्य वाले (GPT-3.5, LLaMA2) LLMs का एक व्यापक मूल्यांकन स्थापित किया।
इनपुट प्रतिनिधित्व अंतर्दृष्टि: यह प्रदर्शित किया कि DNA अनुक्रम और लक्ष्य जीन की जानकारी मिलकर SMILES प्रतिनिधित्व की तुलना में बेहतर हैं। ASO भविष्यवाणी के लिए लक्ष्य जीन द्वारा प्रदान किया गया जैविक संदर्भ महत्वपूर्ण है।
Few-Shot लर्निंग प्रभावकारिता: दिखाया कि इंस्ट्रक्शन-ट्यून्ड सामान्य-उद्देश्य वाले मॉडल्स (विशेष रूप से GPT-3.5-Turbo) प्रॉम्प्ट इंजीनियरिंग का उपयोग करके पारंपरिक बेसलाइन्स और विशिष्ट केमिस्ट्री मॉडल्स से बेहतर परिणाम प्राप्त कर सकते हैं, बिना किसी डोमेन-विशिष्ट फाइन-ट्यूनिंग के।
डेटासेट विश्लेषण: पहचाना कि डेटासेट की जटिलता (विशेष रूप से openASO में) मॉडल के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करती है, जो यह सुझाव देता है कि वर्तमान LLMs उच्च प्रयोगात्मक शोर (experimental noise) या जटिल अनुक्रम-लक्ष्य निर्भरताओं वाले डेटासेट्स के साथ संघर्ष करते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह अध्ययन ASOs के लिए कम्प्यूटेशनल ड्रग डिज़ाइन में एक प्रतिमान परिवर्तन (paradigm shift) को रेखांकित करता है। परिणाम बताते हैं कि प्रॉम्प्ट इंजीनियरिंग के साथ सामान्य-उद्देश्य वाले LLMs चिकित्सीय प्रभावकारिता की भविष्यवाणी करने के लिए पारंपरिक आणविक एम्बेडिंग दृष्टिकोणों के एक व्यवहार्य और संभावित रूप से बेहतर विकल्प हैं।

निहितार्थ: केवल तीन उदाहरणों का उपयोग करके दो प्रमुख डेटासेट्स पर ~0.63 का $R^2$ प्राप्त करने की GPT-3.5-Turbo की क्षमता यह बताती है कि LLMs प्री-ट्रेनिंग से जटिल जैव-रासायनिक नियमों को अंतर्निहित रूप से सीख सकते हैं, जिससे विशाल, डोमेन-विशिष्ट लेबल वाले डेटासेट्स की आवश्यकता कम हो जाती है।
सीमाएँ: openASO डेटासेट पर सार्वभौमिक विफलता यह दर्शाती कि सभी ASO डिज़ाइन समस्याएँ वर्तमान में LLMs द्वारा हल करने योग्य नहीं हैं, जो संभवतः डेटा के शोर या अधिक परिष्कृत तर्क (जैसे, Chain-of-Thought) की आवश्यकता के कारण है।
भावी कार्य: लेखक हाइब्रिड दृष्टिकोण (एम्बेडिंग के साथ प्रॉम्प्टिंग को जोड़ना), विशिष्ट फाइन-ट्यूनिंग, और विविध रासायनिक संशोधनों और प्रयोगात्मक स्थितियों को शामिल करने के लिए डेटासेट्स का विस्तार करने का प्रस्ताव करते हैं।

संक्षेप में, यह शोध पत्र इस बात के पुख्ता प्रमाण प्रदान करता है कि DNA अनुक्रम और लक्ष्य संदर्भ के साथ प्रॉम्प्ट इंजीनियरिंग ASO ड्रग डिस्कवरी में LLMs का लाभ उठाने के लिए सबसे प्रभावी वर्तमान रणनीति है, जिसमें GPT-3.5-Turbo इस विशिष्ट अनुप्रयोग के लिए अग्रणी मॉडल के रूप में उभरा है।