DNA-LLM2Vec: Architecture-Aware Task-Conditioned Adaptation of Decoder DNA Foundation Models

मानव जीनोम को अक्सर एक विशाल निर्देश नियमावली के रूप में वर्णित किया जाता है, जो जीवन के ब्लूप्रिंट को लिखने वाले चार अक्षरों के रासायनिक वर्णमाला से बनी है। दशकों से, वैज्ञानिकों ने इस नियमावली को पढ़ने के लिए कंप्यूटर मॉडल बनाने की कोशिश की है, इस उम्मीद में कि वे समझ सकें कि कोड में छोटे बदलाव कैसे बीमारी का कारण बनते हैं या विशिष्ट अनुक्रम शरीर के कार्यों को कैसे नियंत्रित करते हैं। इस प्रयास में एक प्रमुख चुनौती यह है कि निर्देश केवल एक सरल सूची नहीं हैं; वे एक जटिल जाल हैं जहाँ एक जीन की गतिविधि उसके क्रम में पहले और बाद से आने वाले संकेतों पर निर्भर करती है। इसके अलावा, क्योंकि डीएनए एक दोहरी-लड़ी वाला अणु है, उसी जानकारी को दोनों दिशाओं से पढ़ा जा सकता है, जिसका अर्थ है कि एक कंप्यूटर मॉडल को यह समझना चाहिए कि एक अनुक्रम और उसका दर्पण प्रतिबिंब समान अर्थ रखते हैं। हाल तक, डीएनए को पढ़ने के लिए सबसे शक्तिशाली कंप्यूटर मॉडल केवल एक दिशा में पढ़ने के लिए डिज़ाइन किए गए थे, जैसे कि कोई व्यक्ति बाएं से दाएं किताब पढ़ता है, जिससे वह दूसरी ओर से आने वाले महत्वपूर्ण संदर्भ को समझने में चूक जाता था।

शोधकर्ताओं की एक टीम ने अब इस सीमा को ठीक करने के लिए एक नई विधि विकसित की है, जो इन एक-दिशीय पाठकों को बिना उन्हें फिर से बनाए, शक्तिशाली, दो-तरफा व्याख्याकारों में बदल देती है। उन्होंने दो मौजूदा, अत्यधिक उन्नत डीएनए मॉडलों को लिया—एक जो छोटे टुकड़ों में पढ़ता है और दूसरा जो जेनेटिक कोड के बहुत लंबे हिस्सों को संभालता है—और उन्हें एक साथ पीछे और आगे देखने के लिए प्रशिक्षित किया। ऐसा करके, उन्होंने एक ऐसी प्रणाली बनाई जो जेनेटिक लोकेशन के पूर्ण संदर्भ को समझ सकती है, बिल्कुल वैसे ही जैसे एक पाठक किसी वाक्य के वास्तविक अर्थ को समझने के लिए उससे पहले और बाद के पैराग्राफ पर एक नज़र डाल सकता है। शोधकर्ताओं ने पाया कि यह रूपांतरण लंबी दूरी की जेनेटिक इंटरैक्शन से जुड़े कार्यों के लिए असाधारण रूप से अच्छा काम करता है, जैसे कि कैसे जीनोम के दूर स्थित हिस्से जीन को चालू या बंद करने के लिए एक-दूसरे से संवाद करते हैं। हालांकि, उन्होंने यह भी पाया कि मॉडलों को अनुकूलित करने का सबसे अच्छा तरीका काफी हद तक जेनेटिक कार्य के प्रकार और मॉडल के मूल डिज़ाइन पर निर्भर करता है; कोई एक एकल "परफेक्ट" संस्करण नहीं है जो हर चीज़ के लिए काम करे।

इस कार्य के मूल में एक "कॉज़ल" (causal) डीएनए मॉडल को, जो केवल अपने से पहले आए आधार पर अनुक्रम में अगले अक्षर की भविष्यवाणी करता है, एक "बाइडायरेक्शनल" (bidirectional) मॉडल में बदलने की चरण-दर-चरण प्रक्रिया शामिल है, जो एक साथ पूरी तस्वीर देखता है। शोधकर्ताओं ने पहले मॉडल के 'अटेंशन मैकेनिज्म' को खोला ताकि यह पूरे अनुक्रम को देख सके, न कि केवल अतीत को। हालांकि, इससे एक विसंगति पैदा हुई, क्योंकि मॉडल को कभी भी "लापता" जानकारी की अवधारणा को संभालने के लिए प्रशिक्षित नहीं किया गया था, जो इसे पढ़ने के इस नए तरीके के लिए आवश्यक है। इस मरम्मत के लिए, उन्होंने मॉडल को आसपास के संदर्भ के आधार पर एक छिपे हुए अक्षर की भविष्यवाणी करना सिखाया, एक ऐसी तकनीक जिसने मॉडल को अपनी नई दो-तरफा दृष्टि का प्रभावी ढंग से उपयोग करना सीखने में मदद की। अंत में, उन्होंने एक प्रशिक्षण चरण जोड़ा जिसने मॉडल को यह पहचानना सिखाया कि एक डीएनए अनुक्रम और उसका रिवर्स मिरर इमेज मौलिक रूप से एक ही हैं, जिससे यह सुनिश्चित हुआ कि मॉडल डबल हेलिक्स की प्राकृतिक समरूपता का सम्मान करे।

जब टीम ने इन नए अनुकूलित मॉडलों का विभिन्न जैविक कार्यों पर परीक्षण किया, तो परिणाम प्रभावशाली लेकिन सूक्ष्म थे। उन कार्यों के लिए जिनमें लंबी दूरी की समझ की आवश्यकता होती है, जैसे कि कैसे एक एन्हांसर (एक जेनेटिक स्विच) सैकड़ों हजार अक्षरों दूर स्थित एक प्रमोटर (एक जीन की शुरुआत) के साथ संपर्क करता है, नई विधि ने सटीकता में भारी वृद्धि प्रदान की। इन लंबी दूरी के परिदृश्यों में, अनुकूलित मॉडलों ने मूल एक-तरफा संस्करणों की तुलना में प्रदर्शन में 27 प्रतिशत अंकों तक सुधार किया। यह सुझाव देता है कि पूर्ण संदर्भ को समझने की क्षमता यह समझने के लिए महत्वपूर्ण है कि जीनोम लंबी दूरी पर खुद को कैसे नियंत्रित करता है। एक विशिष्ट प्रशिक्षण तकनीक, जिसमें मॉडल को एक ही लंबे अनुक्रम के थोड़े अलग क्रॉप्स दिखाए गए थे, इन विस्तारित कार्यों के लिए सबसे प्रभावी साबित हुई।

हालाँकि, जब छोटी, अधिक स्थानीय जेनेटिक कार्यों को देखा गया, तो कहानी बदल गई। स्प्लिस साइट्स (जहाँ डीएनए को काटा और जोड़ा जाता है) की सटीक पहचान या विशिष्ट छोटे पैटर्न से प्रोटीन के जुड़ने जैसे कार्यों के मामले में, लाभ समान नहीं थे। कुछ मामलों में, नए दो-तरफा मॉडल मूल एक-तरफा संस्करणों की तुलना में खराब प्रदर्शन करते थे, विशेष रूपकर तब जब मॉडल के मूल डिज़ाइन में एक विशिष्ट प्रकार का टोकेनाइजेशन (tokenization) उपयोग किया गया था जो अक्षरों को ऐसे समूहों में जोड़ता था जो लघु-दूरी के कार्य के अनुकूल नहीं थे। यह निष्कर्ष महत्वपूर्ण है क्योंकि यह दिखाता है कि केवल मॉडल को बाइडायरेक्शनल बनाना एक जादुई समाधान नहीं है; अनुकूलन की सफलता समस्या की विशिष्ट संरचना और मॉडल के अंतर्निहित आर्किटेक्चर के मिलान पर निर्भर करती है।

शोधकर्ताओं ने मॉडल के भीतर भी देखा कि इस परिवर्तन के दौरान वास्तव में क्या हो रहा था। उन्होंने एक डायग्नोस्टिक टूल का उपयोग किया जो डीएनए अनुक्रम में सूक्ष्म उत्परिवर्तन (mutations) का अनुकरण करता है ताकि यह देखा जा सके कि जेनेटिक कोड की मॉडल की आंतरिक समझ कैसे बदलती है। उन्होंने पाया कि प्रशिक्षण प्रक्रिया ने वास्तव में मॉडल की आंतरिक संरचना को ज्ञात नियामक पैटर्न को बेहतर ढंग से पहचानने के लिए व्यवस्थित किया, और उस प्रशिक्षण ने जिसने मॉडल को डीएनए की दो-धारी प्रकृति का सम्मान करना सिखाया, सफलतापूर्वक यह सुनिश्चित किया कि इसकी समझ दोनों स्ट्रैंड्स के प्रस्तुत होने पर सुसंगत रहे। फिर भी, उन्होंने पाया कि ये आंतरिक सुधार हमेशा यह भविष्यवाणी नहीं कर सके कि मॉडल का कौन सा संस्करण किसी विशिष्ट बाहरी कार्य पर सबसे अच्छा प्रदर्शन करेगा। उदाहरण के लिए, वह संस्करण जिसने डीएनए स्ट्रैंड्स की समरूपता को सबसे अच्छी तरह समझा, वह आवश्यक रूप से वह नहीं था जिसने लंबी दूरी के जीन इंटरैक्शन की भविष्यवाणी करने में सबसे अच्छा प्रदर्शन किया।

यह विसंगति अध्ययन के एक प्रमुख अंतर्दृष्टि को उजागर करती है: जिस तरह से एक मॉडल अपने आंतरिक ज्ञान को व्यवस्थित करता है, वह हमेशा हर डाउनस्ट्रीम एप्लिकेशन पर बेहतर प्रदर्शन में सीधे अनुवादित नहीं होता है। शोधकर्ताओं ने प्रदर्शित किया कि उनके तरीके का मूल्य डीएनए के एक 'फ्रोजन' (frozen), पुन: प्रयोज्य प्रतिनिधित्व बनाने में निहित है जो बाइडायरेक्शनल संदर्भ और स्ट्रैंड सिमेट्री को कैप्चर करता है। जबकि यह प्रतिनिधित्व कुछ प्रकार के कार्यों के लिए, विशेष रूप से लंबी दूरी की इंटरैक्शन के लिए अत्यधिक प्रभावी है, इसके लिए अनुकूलन रणनीति का चयन विशिष्ट लक्ष्य के आधार पर सावधानीपूर्वक करना आवश्यक है। अध्ययन इस निष्कर्ष पर पहुँचता है कि डीएनए मॉडलों को बदलने का कोई एक एकल सर्वश्रेष्ठ तरीका नहीं है; इसके बजाय, वैज्ञानिकों को अनुकूलन दृष्टिकोण का चयन उस जैविक प्रश्न के अनुरूप करना चाहिए जो वे पूछ रहे हैं और उस मॉडल के विशिष्ट डिज़ाइन के अनुसार करना चाहिए जिसका वे उपयोग कर रहे हैं।

इस कार्य के निहितार्थ केवल एक विशिष्ट एल्गोरिदम को बेहतर बनाने से कहीं अधिक हैं। यह सुझाव देता है कि जीनोमिक एआई का भविष्य एक ऐसे एकल, सार्वभौमिक मॉडल के निर्माण में नहीं है जो सब कुछ पूरी तरह से करता है, बल्कि लचीले फ्रेमवर्क विकसित करने में है जिन्हें विभिन्न जैविक समस्याओं की विशिष्ट आवश्यकताओं के अनुसार ट्यून किया जा सके। यह दिखाते हुए कि मौजूदा मॉडलों को डीएनए की जटिल, बाइडायरेक्शनल प्रकृति को संभालने के लिए सफलतापूर्वक पुन: उपयोग किया जा सकता है, शोधकर्ताओं ने वैज्ञानिकों को जीनोम का पता लगाने के लिए एक नया उपकरण प्रदान किया है। यह दृष्टिकोण उन्हें उन विशाल डेटा का लाभ उठाने की अनुमति देता है जिसका उपयोग पहले से ही इन मॉडलों को प्रशिक्षित करने के लिए किया जा रहा था, साथ ही जेनेटिक कोड के पूर्ण संदर्भ को देखने की महत्वपूर्ण क्षमता भी जोड़ता है, जिससे जीवन के आणविक स्तर पर नियमन को समझने के नए द्वार खुलते हैं।