BioMod: Biological Module Tokenization for Single-Cell Foundation Modeling
BioMod एक 50-मिलियन-पैरामीटर वाला सिंगल-सेल फाउंडेशन मॉडल है जो व्यक्तिगत जीन के बजाय कोशिकाओं को जैविक रूप से सार्थक ओवरलैपिंग मॉड्यूल में टोकनाइज़ करके प्रतिनिधित्व दक्षता और प्रदर्शन में सुधार करता है, जिससे सेल-टाइप एनोटेशन और परटर्बेशन प्रेडिक्शन जैसे कार्यों में अत्याधुनिक परिणाम प्राप्त होते हैं और साथ ही एक सिंगल GPU पर कुशल इन्फरेंस सक्षम होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कोशिकाएं जीवन की मौलिक इकाइयाँ हैं, जिनमें से प्रत्येक में जीनों की एक अनूठी निर्देश पुस्तिका होती है जो एक भाषा में लिखी जाती है। जब वैज्ञानिक यह समझना चाहते हैं कि शरीर कैसे काम करता है, या कोई बीमारी क्यों पकड़ लेती है, तो वे अक्सर इन निर्देशों को व्यक्तिगत कोशिकाओं में देखते हैं। एकल-कोशिका जीव विज्ञान (single-cell biology) के रूप में ज्ञात यह क्षेत्र शोधकर्ताओं को ऊतक (tissue) के हर अलग अस्तित्व को देखने की अनुमति देता है, जैसे कि धड़कते हुए हृदय की मांसपेशी से लेकर लड़ते हुए प्रतिरक्षा सेल तक। हालाँकि, डेटा की विशाल मात्रा अत्यधिक है। एक एकल कोशिका में हजारों सक्रिय जीन होते हैं, और आधुनिक प्रयोग एक साथ लाखों कोशिकाओं का विश्लेषण कर सकते हैं। इस सूचना के महासागर को समझने के लिए, शोधकर्ताओं ने कृत्रिम बुद्धिमत्ता (AI), विशेष रूप से "फाउंडेशन मॉडल्स" की ओर रुख किया है। ये शक्तिशाली कंप्यूटर प्रोग्राम हैं जिन्हें विशाल डेटासेट पर प्रशिक्षित किया गया है ताकि वे जीव विज्ञान के अंतर्निहित नियमों को सीख सकें, ठीक वैसे ही जैसे एक भाषा मॉडल (language model) टेक्स्ट के विशाल पुस्तकालयों को पढ़कर व्याकरण के नियमों को सीखता है। लक्ष्य एक ऐसी प्रणाली बनाना है जो किसी कोशिका के प्रकार को पहचान सके, यह अनुमान लगा सके कि वह दवा के प्रति कैसी प्रतिक्रिया देगी, या यह समझ सके कि जीन बदलने पर वह कैसे बदल जाएगी, और यह सब बिना हर नए प्रश्न के पुन: प्रशिक्षित (retrained) हुए किया जा सके।
चुनौती यह रही है कि इस जानकारी को कंप्यूटर में कैसे डाला जाए। अधिकांश मौजूदा मॉडल प्रत्येक कोशिका में प्रत्येक एकल जीन को एक वाक्य में एक अलग शब्द की तरह मानते हैं। यदि एक कोशिका में 20,000 सक्रिय जीन हैं, तो कंप्यूटर को 20,000 वस्तुओं के अनुक्रम (sequence) को प्रोसेस करना होगा। यह गणनात्मक रूप से महंगा है और यह AI को जीनों के बीच जटिल संबंधों को शून्य से समझने के लिए मजबूर करता है, और अक्सर यह तथ्य समझने में संघर्ष करता है कि कई जीन किसी भी दिए गए सेल में मौन या शायद ही सक्रिय होते हैं। शेनज़ेन लूप एरिया इंस्टीट्यूट और चाइनीज यूनिवर्सिटी ऑफ हांगकांग, शेनज़ेन के शोधकर्ताओं की एक टीम ने एक अलग दृष्टिकोण प्रस्तावित किया। उन्होंने पूछा कि क्या कंप्यूटर द्वारा विश्लेषण शुरू करने से पहले ही जीनों को कार्यात्मक टीमों (functional teams) में समूहित करके कोशिकाओं को अधिक कुशलता से समझा जा सकता है। प्रकृति में, जीन शायद ही कभी अकेले काम करते हैं; वे विशिष्ट कार्यों को करने के लिए समन्वित समूहों में कार्य करते हैं जिन्हें 'पाथवे' या 'मॉड्यूल' कहा जाता है, जैसे कि संक्रमण से लड़ना या डीएनए की मरम्मत करना। शोधकर्ताओं ने परिकल्पना की कि यदि वे इन जैविक टीमों को एकल इकाइयों के रूप में प्रस्तुत कर सकें, तो कंप्यूटर तेजी से सीख सकेगा, कम शक्ति का उपयोग करेगा, और शायद जीव विज्ञान को अधिक गहराई से समझ सकेगा।
इस विचार का परीक्षण करने के लिए, टीम ने 'बायोमोड' (BioMod) नामक एक नया मॉडल विकसित किया। कंप्यूटर को व्यक्तिगत हजारों जीनों की सूची देने के बजाय, उन्होंने पहले जीनों को 660 ओवरलैपिंग जैविक मॉड्यूल में व्यवस्थित किया। ये मॉड्यूल वैज्ञानिक डेटाबेस में पाए जाने वाले ज्ञात जैविक पथों (pathways) और एकल-कोसेल डेटा में पैटर्न का विश्लेषण करके खोजे गए नए जीन समूहों के मिश्रण से बनाए गए थे। एक एकल जीन कई मॉड्यूल्स का हिस्सा हो सकता है, जो इस वास्तविकता को दर्शाता है कि एक जीन एक साथ कई अलग-अलग जैविक प्रक्रियाओं में शामिल हो सकता है। प्रत्येक कोशिका के लिए, शोधकर्ताओं ने केवल 660 टोकन वाला एक संक्षिप्त प्रतिनिधित्व बनाया, जो प्रत्येक मॉड्यूल के लिए एक था, न कि व्यक्तिगत जीनों के लिए हजारों टोकन। यह प्रक्रिया इस तरह है जैसे कोई मानव एक लंबी कहानी का सारांश लिखने के लिए हर शब्द को सूचीबद्ध करने के बजाय, मुख्य विषयों और पात्रों की पहचान करता है। इसके बाद मॉडल को लगभग 73 मिलियन मानव कोशिकाओं के विशाल डेटासेट पर प्रशिक्षित किया गया, जिसमें मस्तिष्क, रक्त और फेफड़ों सहित 25 विभिन्न अंगों और ऊतकों को शामिल किया गया। प्रशिक्षण के दौरान, कंप्यूटर को इन मॉड्यूल सारांशों में से अधिकांश दिखाए गए और इसे लुप्त भागों का अनुमान लगाना पड़ा, जिससे इसे विभिन्न जैविक कार्यक्रमों के बीच गहरे संबंधों को सीखने के लिए मजबूर होना पड़ा।
परिणामों ने दिखाया कि जीनों को समूहित करने की यह विधि उल्लेखनीय रूप से प्रभावी रही। बायोमोड, जिसमें लगभग 50 मिलियन पैरामीटर (जटिलता का एक माप) हैं, उन बहुत बड़े मॉडलों के समान या अक्सर उनसे बेहतर प्रदर्शन करने में सक्षम था जो अरबों पैरामीटरों का उपयोग करते हैं और व्यक्तिगत जीनों को प्रोसेस करते हैं। विभिन्न ऊतकों में कोशिका प्रकारों की पहचान करने के परीक्षणों में, मॉडल ने उच्च सटीकता के साथ कोशिकाओं को वर्गीकृत किया, और अक्सर पिछले अत्याधुनिक सिस्टमों से बेहतर प्रदर्शन किया। यह यह भविष्यवाणी करने में भी उत्कृष्ट रहा कि आनुवंशिक परिवर्तनों के प्रति कोशिकाएं कैसे प्रतिक्रिया देंगी, जैसे कि जब एक विशिष्ट जीन को बंद कर दिया जाता है, और कैंसर कोशिकाएं विभिन्न दवाओं के प्रति कैसी प्रतिक्रिया देंगी। सबसे महत्वपूर्ण निष्कर्षों में से एक मॉडल की दक्षता थी। क्योंकि यह हजारों के बजाय केवल 660 वस्तुओं के अनुक्रम को प्रोसेस करता है, इसलिए यह कंप्यूटर हार्डवेयर पर काफी तेजी से चलता है। एक मानक उच्च-प्रदर्शन ग्राफिक्स कार्ड पर, बायोमोड प्रति सेकंड सैकड़ों कोशिकाओं को प्रोसेस कर सकता था, जबकि अन्य मॉडल मेमोरी समाप्त हुए बिना कुछ दर्जन कोशिकाओं को संभालने के लिए भी संघर्ष करते थे। यह गति एक एकल मशीन पर विशाल डेटासेट का विश्लेषण करना संभव बनाती है, जो पहले महंगे, बड़े पैमाने के कंप्यूटिंग क्लस्टर्स की आवश्यकता थी।
शोधकर्ताओं यह भी जानना चाहते थे कि क्या उनके द्वारा जीनों को समूहित करने का विशिष्ट तरीका वास्तव में मायने रखता था, या क्या सफलता केवल मॉडल की वास्तुकला (architecture) के कारण थी। यह पता लगाने के लिए, उन्होंने मॉडल का एक नियंत्रण संस्करण बनाया जहाँ जीनों को मॉड्यूल्स में यादृच्छिक रूप से (randomly) मिला दिया गया था, जिससे प्राकृतिक जैविक संबंधों को नष्ट कर दिया गया जबकि मॉड्यूल्स की संख्या और मॉडल की संरचना बिल्कुल समान रखी गई। जब उन्होंने इस मिश्रित संस्करण का परीक्षण किया, तो इसका प्रदर्शन काफी गिर गया। यह कोशिका प्रकारों की पहचान करने, विभिन्न प्रयोगों से डेटा को एकीकृत करने और दवा प्रतिक्रियाओं की भविष्यवाणी करने में बहुत खराब हो गया। इसने पुष्टि की कि जीनों का जैविक संगठन केवल एक सुविधाजनक शॉर्टकट नहीं था; मॉड्यूल्स में जीनों के बीच विशिष्ट, सार्थक संबंध ही मॉडल की सफलता के लिए आवश्यक थे। आगे के विश्लेषण से पता चला कि मॉडल ने सही चीजों पर ध्यान केंद्रित करना सीख लिया था। जब शोधकर्ताओं ने देखा कि किसी विशिष्ट कोशिका प्रकार की पहचान करने के लिए कौन से मॉड्यूल सबसे महत्वपूर्ण थे, तो उन्होंने पाया कि मॉडल ने उन मॉड्यूल्स पर भारी निर्भरता दिखाई जिनमें उस कोशिका के लिए ज्ञात 'मार्कर जीन' शामिल थे। यदि उन्होंने इन प्रमुख मॉड्यूल्स को छिपा दिया, तो मॉडल की पहचान करने की क्षमता ढह गई, जिससे यह सिद्ध हुआ कि इसने केवल पैटर्न को याद करने के बजाय सही जैविक तर्क को सीखा था।
यह कार्य सुझाव देता है कि जैविक AI का भविष्य शायद उन बड़े मॉडलों के निर्माण में नहीं है जो कोशिका के हर एक विवरण को प्रोसेस करने की कोशिश करते हैं, बल्कि उन प्रणालियों को डिजाइन करने में है जो जीव विज्ञान के प्राकृतिक संगठन का सम्मान करती हैं। जीनों की जटिल भाषा को जैविक मॉड्यूल्स की कार्यात्मक भाषा में अनुवाद करके, बायोमोड प्रदर्शित करता है कि एक छोटा, अधिक कुशल मॉडल बेहतर परिणाम प्राप्त कर सकता है। यह कोशिका की विशाल जानकारी को एक ऐसे रूप में संकुचित करने का एक नया तरीका प्रदान करता है जिसे कंप्यूटर आसानी से संभाल सकते हैं, जो मानव स्वास्थ्य और रोग के तेज़ और अधिक सटीक विश्लेषणों के द्वार खोलता है। यह अध्ययन यह दावा नहीं करता है कि इसने एकल-कोशिका जीव विज्ञान की सभी समस्याओं को हल कर लिया है, लेकिन यह मजबूत प्रमाण प्रदान करता है कि AI मॉडलों की संरचना में सीधे जैविक ज्ञान को शामिल करने से जीवन को उसके सबसे मौलिक स्तर पर समझने के लिए अधिक शक्तिशाली और कुशल उपकरण विकसित किए जा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।