JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures
JEPA-DNA एक मॉडल-अज्ञेय (model-agnostic) निरंतर प्रशिक्षण ढांचे को पेश करता है जो जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर को पारंपरिक जनरेटिव उद्देश्यों के साथ एकीकृत करता है ताकि जीनोमिक फाउंडेशन मॉडल्स को टोकन-स्तरीय पुनर्निर्माण से बदलकर सिमेंटिक संरेखण (semantic alignment) की ओर ले जाया जा सके, जिससे विविध जीनोमिक बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मानव शरीर की कल्पना एक विशाल, प्राचीन पुस्तकालय के रूप में करें। इसके भीतर, एक इंसान को बनाने और चलाने के लिए हर एक निर्देश केवल चार अक्षरों—A, C, G और T—से बने एक कोड में लिखा गया है। यह कोड DNA है। लंबे समय से, वैज्ञानिक कंप्यूटर को इस पुस्तकालय को पढ़ना सिखाने की कोशिश कर रहे हैं, इस उम्मीद में कि यदि कंप्यूटर DNA की "व्याकरण" (grammar) को समझ जाए, तो वह यह भविष्यवाणी कर सकता है कि हमारे शरीर कैसे काम करते हैं, हम बीमार क्यों होते हैं, या आनुवंशिक गड़बड़ियों (genetic glitches) को कैसे ठीक किया जा सकता है।
इसे करने के लिए, शोधकर्ता "फाउंडेशन मॉडल्स" (Foundation Models) नामक चीज़ का उपयोग करते हैं। इन्हें ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने लाखों किताबें (DNA अनुक्रम) पढ़ी हैं और भाषा के नियमों को सीखा है। आमतौर पर, ये छात्र "रिक्त स्थान भरें" (fill in the blank) का खेल खेलकर सीखते हैं। यदि आप एक वाक्य में एक शब्द को छिपा देते हैं, तो छात्र को आसपास के शब्दों के आधार पर अनुमान लगाना होता है कि वह क्या था। यह स्थानीय नियमों को सीखने के लिए बहुत अच्छा काम करता है, जैसे कि शब्द एक साथ कैसे फिट होते हैं। लेकिन यहाँ एक समस्या है: व्याकरण जानने का मतलब यह नहीं है कि आप पूरी "कहानी" को भी समझ गए हैं। एक छात्र यह जान सकता है कि "बिल्ली ... पर बैठी है" के बाद आमतौर पर "चटाई" आता है, लेकिन उसे यह समझ नहीं आ सकता कि बिल्ली वास्तव में एक कुत्ते से छिप रही है, या यह पूरा दृश्य किसी बड़ी रहस्यमयी घटना का हिस्सा है। DNA में, इसका अर्थ है कि कंप्यूटर छोटे पैटर्न पहचानने में तो अच्छे हैं, लेकिन वे अक्सर इस बड़े चित्र (big picture) को समझने में चूक जाते हैं कि कैसे कोड के विभिन्न हिस्से मिलकर जीवन को नियंत्रित करते हैं।
यहीं पर JEPA-DNA नामक एक नया अध्ययन आता है। शोधकर्ताओं की एक टीम, जो NVIDIA और इज़राइल एवं अमेरिका के चिकित्सा केंद्रों से है, ने इन DNA-पढ़ने वाले छात्रों को अपग्रेड करने का निर्णय लिया। उन्होंने एक नई प्रशिक्षण विधि पेश की जो कंप्यूटर को केवल छूटे हुए अक्षरों का अनुमान लगाने के बजाय, छूटे हुए हिस्सों के "अर्थ" का अनुमान लगाने के लिए मजबूर करती है। "यहाँ कौन सा अक्षर आता है?" पूछने के बजाय, वे पूछते हैं, "इस पूरे DNA खंड का काम क्या है?"
टीम ने इस नई विधि का परीक्षण 17 अलग-अलग कार्यों पर किया, जिसमें जीन कहाँ से शुरू होते हैं (प्रमोटर्स) खोजने से लेकर यह अनुमान लगाने तक शामिल है कि आनुवंशिक परिवर्तन स्वास्थ्य को कैसे प्रभावित करते हैं। उन्होंने इसे तीन अलग-अलग प्रकार के DNA-पढ़ने वाले कंप्यूटरों (DNABERT-2, NTv3, और HyenaDNA) पर आजमाया ताकि यह सुनिश्चित हो सके कि यह सभी के लिए काम करे। परिणाम प्रभावशाली थे: इस नए "अर्थ-केंद्रित" (meaning-focused) प्रशिक्षण को जोड़ने से, कंप्यूटर लगभग हर कार्य में बेहतर हो गए। उदाहरण के लिए, "GUE Promoter" नामक एक कार्य पर, इस नई विधि ने प्रदर्शन में 11% से अधिक का सुधार किया। एक अन्य कार्य पर, जो बीमारी के वेरिएंट्स से संबंधित था, इसने समस्याओं को पहचानने की क्षमता को 12% से अधिक बढ़ा दिया।
यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण इसलिए काम करता है क्योंकि यह कंप्यूटर को केवल "पेड़ों" के बजाय "जंगल" को देखना सिखाता है। जबकि पुराने तरीके स्थानीय सिंटैक्स (अक्षरों के विशिष्ट क्रम) को याद करने में माहिर थे, JEPA-DNA मॉडल को वैश्विक कार्यात्मक संदर्भ (global functional context) को समझने में मदद करता है (कि वह अनुक्रम वास्तव में शरीर में क्या करता है)। शोधकर्ताओं ने पाया कि सीखने का यह नया तरीका एक "वर्ल्ड मॉडल" (world model) बनाता है, जहाँ कंप्यूटर जीवन के नियमों को समझता है, न कि केवल स्पेलिंग को। उन्होंने यह भी दिखाया कि यह विधि वर्तमान में उपलब्ध सर्वश्रेष्ठ मॉडलों की तुलना में बेहतर काम करती है, जो इन AI सिस्टमों के लिए एक नया उच्च मानक स्थापित करती है। यह एक ऐसे छात्र को लेने जैसा है जो वर्तनी (spelling) में अच्छा था और उसे एक साहित्यिक आलोचक बनने के लिए सिखाना है जो कथानक, पात्रों और विषयवस्तु को एक साथ समझ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।