🧬 biology

Integrating gene regulatory priors into Transformer attention with scTransformer for interpretable scRNA-seq analysis

यह शोधपत्र scTransformer को प्रस्तुत करता है, जो एक नवीन ट्रांसफॉर्मर-आधारित मॉडल है जो सिंगल-सेल आरएनए-सीक्वेंसिंग (scRNA-seq) विश्लेषण के प्रदर्शन और जैविक व्याख्यात्मकता दोनों को बढ़ाने के लिए अटेंशन मैकेनिज्म में जीन नियामक पूर्वग्रहों (gene regulatory priors) को एकीकृत करता है।

मूल लेखक: Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक AI मॉडल) को एक भीड़ भरे कमरे में केवल उनके आईडी बैज देखकर अलग-अलग प्रकार के लोगों को पहचानना सिखाने की कोशिश कर रहे हैं। जीव विज्ञान की दुनिया में, ये "लोग" कोशिकाएं (cells) हैं, और उनके "आईडी बैज" उन जीनों (genes) की सूची है जो उनके भीतर सक्रिय हैं। इसे सिंगल-सेल आरएनए सीक्वेंसिंग (scRNA-seq) कहा जाता है।

लंबे समय से, वैज्ञानिक इन कोशिकाओं का अध्ययन करने के लिए ट्रांसफॉर्मर (Transformers) नामक शक्तिशाली AI उपकरणों का उपयोग कर रहे हैं (वही तकनीक जो कई आधुनिक चैटबॉट्स के पीछे है)। हालाँकि, इसमें एक समस्या है: ये AI मॉडल आमतौर पर हर जीन को दूसरे जीन के लिए एक अजनबी की तरह देखते हैं। वे लाखों कोशिकाओं को देखते हैं और केवल संयोग से कनेक्शनों का अनुमान लगाने की कोशिश करते हैं, जैसे कि कोई जासूस यह अनुमान लगाने की कोशिश कर रहा हो कि कौन किसे जानता होगा, बिना किसी पूर्व ज्ञान के।

यह बड़े डेटा के साथ ठीक काम करता है, लेकिन इसमें दो बड़ी खामियां हैं:

यह एक तुक्का है: AI ऐसे पैटर्न ढूंढ सकता है जो वास्तविक दिखते हैं लेकिन वास्तव में केवल रैंडम शोर (random noise) होते हैं।
इस पर भरोसा करना कठिन है: यदि आप AI से पूछते हैं कि उसने एक निर्णय क्यों लिया, तो इसे समझाना कठिन है क्योंकि यह केवल सांख्यिकीय भाग्य (statistical luck) का पालन कर रहा है, न कि जैविक नियमों का।

समाधान: scTransformer

लेखकों ने एक नया मॉडल बनाया जिसे scTransformer कहा जाता है। इस मॉडल की कल्पना एक ऐसे छात्र के रूप में करें जो केवल अनुमान नहीं लगाता; बल्कि, उसे पढ़ाई शुरू करने से पहले एक नियम पुस्तिका (rulebook) दी जाती है।

यह नियम पुस्तिका ज्ञात जैविक संबंधों का एक मानचित्र है। यह AI को बताता है: "हे, जीन A एक बॉस (एक ट्रांसक्रिप्शन फैक्टर) है और यह जीन B को नियंत्रित करता है। लेकिन जीन A का जीन C पर कोई अधिकार नहीं है।"

तकनीकी शब्दों में, उन्होंने इस नियम पुस्तिका को सीधे AI के "अटेंशन" (attention) तंत्र में बनाया है। एक सामान्य AI में, प्रत्येक जीन किसी भी अन्य जीन को "देख" सकता है। scTransformer में, AI को उन कनेक्शनों को देखने से भौतिक रूप से रोका जाता है जो नियम पुस्तिका में मौजूद नहीं हैं। यह केवल उन्हीं संबंधों पर ध्यान दे सकता है जिन्हें वैज्ञानिकों ने पहले ही प्रमाणित किया है।

यह कैसे काम करता है (उपमा)

कल्पना कीजिए कि एक कक्षा है जहाँ छात्र एक पहेली सुलझाने की कोशिश कर रहे हैं।

पुराना तरीका (Standard Transformer): हर छात्र दूसरे छात्र से फुसफुसाकर बात कर सकता है। वे गलती से एक समूह बना सकते हैं जो केवल इसलिए बना है क्योंकि वे एक-दूसरे के पास बैठे थे, भले ही उनमें कुछ भी समान न हो। यदि आप उनसे पूछते हैं कि वे क्यों समूह में आए, तो वे कह सकते हैं, "हमें बस ऐसा लगा।"
नया तरीका (scTransformer): शिक्षक पारिवारिक संबंधों के आधार पर एक सीटिंग चार्ट बांटता है। छात्र A (बॉस) केवल अपने विशिष्ट भाई-बहनों (लक्ष्य जीन) से फुसफुसाकर बात कर सकता है। छात्र B (एक नियमित जीन) केवल अपने आप से या अपने स्वयं के परिवार से बात कर सकता है। AI को वास्तविक पारिवारिक संरचनाओं को सीखने के लिए मजबूर किया जाता है, न कि केवल रैंडम बैठने की व्यवस्था को।

उन्होंने क्या पाया

शोधकर्ताओं ने मस्तिष्क की कोशिकाओं के एक डेटासेट पर इस नए मॉडल का परीक्षण किया जो एक विशिष्ट बीमारी से संबंधित हैं। यहाँ क्या हुआ:

यह कम डेटा के साथ भी स्मार्ट है: जब AI के पास अध्ययन करने के लिए बहुत कम डेटा था (जैसे कुल कोशिकाओं का केवल 1%), तो नया मॉडल पुराने मॉडल की तुलना में सेल प्रकारों का सही अनुमान लगाने में बहुत बेहतर था। "नियम पुस्तिका" ने इसे तेजी से सीखने में मदद की क्योंकि इसे असंभव कनेक्शनों का अनुमान लगाने में समय बर्बाद नहीं करना पड़ा।
यह अधिक सुसंगत (Consistent) है: यदि आप पुराने AI मॉडल को दस बार चलाते हैं, तो यह निर्णय लेने के लिए जीनों के दस अलग-अलग समूह चुन सकता है, भले ही सटीकता समान हो। यह उस छात्र की तरह है जो परीक्षा में सही उत्तर तो देता है लेकिन हर बार एक अलग, रैंडम तरीके का उपयोग करता है। हालाँकि, नया मॉडल, हर बार उन्हीं जीनों के समूहों को चुनता है। यह विश्वसनीय है।
यह समझ में आता है: क्योंकि AI को जैविक नियम पुस्तिका का पालन करने के लिए मजबूर किया गया है, इसलिए जो कनेक्शन यह पाता है वे वास्तव में उन चीजों से मेल खाते हैं जिन्हें जीव विज्ञानी पहले से जानते हैं। AI जिस विभिन्न जीनों पर "अटेंशन" देता है, वह एक वास्तविक नियामक कार्यक्रम (regulatory program) जैसा दिखता है, न कि एक रैंडम गड़बड़ी जैसा।

मुख्य निष्कर्ष

लेखक निष्कर्ष निकालते हैं कि ज्ञात जैविक नियमों का सम्मान करने के लिए AI को मजबूर करके, उन्होंने न केवल इसे थोड़ा अधिक सटीक बनाया; बल्कि इसे अधिक भरोसेमंद बनाया।

एक ऐसी दुनिया में जहाँ डेटा अक्सर अव्यवस्थित और अधूरा होता है, यह दृष्टिकोण सुनिश्चित करता है कि AI के "विचार" वास्तविकता में आधारित हों। यह केवल उत्तर की भविष्यवाणी नहीं करता; यह जीव विज्ञान की भाषा का उपयोग करके उत्तर की व्याख्या करता है। वे दिखाते हैं कि आप एक शक्तिशाली AI रख सकते हैं जो लचीला भी है और प्रकृति के नियमों द्वारा कड़ाई से निर्देशित भी है, जो इसे हमारे कोशिकाओं के काम करने के तरीके को समझने के लिए एक बहुत बेहतर उपकरण बनाता है।

तकनीकी सारांश: scTransformer – ट्रांसफार्मर अटेंशन में जीन नियामक प्रायर (Gene Regulatory Priors) का एकीकरण

समस्या विवरण

सिंगल-सेल आरएनए सीक्वेंसिंग (scRNA-seq) डेटा उच्च आयामीता (high dimensionality), विरलता (sparsity) और तकनीकी शोर (technical noise) द्वारा अभिलक्षित है, जो रिप्रेजेंटेशन लर्निंग के लिए महत्वपूर्ण चुनौतियाँ पेश करता है। जबकि ट्रांसफार्मर-आधारित फाउंडेशन मॉडल (जैसे scGPT, Geneformer) ने लाखों कोशिकाओं पर प्रीट्रेनिंग करके स्केलेबिलिटी प्रदर्शित की है, वे आमतौर पर जीनों को स्वतंत्र टोकन के रूप में मानते हैं जिनमें अनकन्स्ट्रेंड सेल्फ-अटेंशन (unconstrained self-attention) होता है। यह डिज़ाइन किसी भी जीन को किसी भी अन्य जीन पर ध्यान (attend) देने की अनुमति देता है, जो केवल निर्भरताओं को खोजने के लिए सांख्यिकीय सह-परिवर्तन (statistical co-variation) पर निर्भर करता है। फलस्वरूप, ये मॉडल अक्सर निम्नलिखित समस्याओं से ग्रस्त होते हैं:

सीमित व्याख्यात्मकता (Limited Interpretability): अटेंशन पैटर्न को यांत्रिक जैविक प्रक्रियाओं (mechanistic biological processes) से मैप करना कठिन होता है।
अस्थिरता (Instability): कम-डेटा वाले परिदृश्यों या बैच प्रभावों की उपस्थिति में, अनकन्स्ट्रेंड मॉडल डेटासेट-विशिष्ट सहसंबंधों पर ओवरफिट हो सकते हैं, जिससे ऐसे भविष्यवाणियां प्राप्त होती हैं जो सटीकता में तो मजबूत होती हैं लेकिन फीचर चयन (feature selection) में अस्थिर होती हैं (अर्थात, अलग-अलग ट्रेनिंग रन अलग-अलग जीन सेट चुनते हैं)।
जैविक ज्ञान की अनदेखी (Ignored Biological Knowledge): मौजूदा दृष्टिकोण क्यूरेटेड ट्रांसक्रिप्शन फैक्टर (TF)–टारगेट जीन (TG) नियामक नेटवर्क को काफी हद तक अनदेखा करते हैं, जो ट्रांसक्रिप्शनल कंट्रोल में संभावित कारण संरचनाओं (causal structures) को एनकोड करते हैं।

कार्यप्रणाली: scTransformer आर्किटेक्चर

लेखक scTransformer का प्रस्ताव करते हैं, जो एक बायोलॉजिकली इन्फॉर्म्ड ट्रांसफार्मर एनकोडर है जो क्यूरेटेड TF–TG नियामक नेटवर्क को हार्ड मास्किंग (hard masking) के माध्यम से सीधे सेल्फ-अटेंशन मैकेनिज्म में एकीकृत करता है।

1. इनपुट रिप्रेजेंटेशन और एम्बेडिंग:

जीन टोकन एम्बेडिंग: एक सेल में प्रत्येक जीन को एक $d$ -आयामी टोकन में मैप किया जाता है जो एक ट्रेन करने योग्य जीन आइडेंटिटी एम्बेडिंग ( $e^{id}$ ) और एक निरंतर एक्सप्रेशन एनकोडिंग ( $e^{expr}$ ) को जोड़ता है।
कंटीन्यूअस साइनुसोइडल एनकोडिंग: डिस्क्रीट बिनिंग के विपरीत, एक्सप्रेशन वैल्यूज को एक निरंतर साइनुसोइडल स्कीम ( $\sin(x \cdot \omega_k), \cos(x \cdot \omega_k)$ ) का उपयोग करके एनकोड किया जाता है। यह scRNA-seq मापों की डायनेमिक रेंज में मात्रात्मक जानकारी को सुरक्षित रखता है, जिससे स्मूथनेस और बाउंडेडनेस सुनिश्चित होती है।
पूलिंग: एक समानता-आधारित (similarity-based) पूलिंग मैकेनिज्म परिवर्तनशील-लंबाई वाले टोकन अनुक्रमों को एक निश्चित-आयामी सेल एम्बेडिंग में एकत्रित करता है। कॉन्टेक्स्ट वेक्टर को टोकन एम्बेडिंग्स के माध्य (mean) के रूप में कंप्यूट किया जाता है और टोकन अनुक्रम पर क्रॉस-अटेंशन के लिए एक क्वेरी के रूप में उपयोग किया जाता है।

2. प्रायर-गेटेड अटेंशन मैकेनिज्म (Prior-Gated Attention Mechanism):
मुख्य नवाचार अनकन्स्ट्रेंड अटेंशन को प्रायर-गेटेड मैकेनिज्म से बदलना है:

नियामक नेटवर्क (Regulatory Network): एक क्यूरेटेड TF–TG नेटवर्क (CollecTRI से) को पर्याप्त लक्ष्यों वाले TFs और डेटासेट में मौजूद जीनों के लिए फ़िल्टर करने हेतु प्रीप्रोसेस किया जाता है।
हार्ड मास्किंग (Hard Masking): एक बूलियन अलाउ-मैट्रिक्स ( $M_{allow}$ ) बनाया जाता है जहाँ $M_{allow}(i, j) = 1$ केवल तभी होता है जब जीन $i$ एक TF है और जीन $j$ उसका लक्ष्य है (या सेल्फ-लूप के लिए $i=j$ है)। अन्य सभी इंटरैक्शन को 0 पर सेट किया जाता है।
अटेंशन कंस्ट्रेंट (Attention Constraint): इस मैट्रिक्स को एक एडिटिव मास्क ( $\tilde{M}_{prior}$ ) में परिवर्तित किया जाता है जहाँ वर्जित इंटरैक्शन को $-\infty$ दिया जाता है। स्केल्ड डॉट-प्रोडक्ट अटेंशन में सॉफ्टमैक्स ऑपरेशन से पहले, इस मास्क को अटेंशन स्कोर में जोड़ा जाता है:
$A_h = \text{softmax}\left(\frac{Q_h K_h^\top}{\sqrt{d_k}} + \tilde{M}_{prior} + M_{pad}\right)$
यह सुनिश्चित करता है कि सूचना केवल ज्ञात नियामक किनारों (और सेल्फ-लूप्स) के साथ ही प्रवाहित हो, जो प्रभावी रूप से हाइपोथेसिस स्पेस को जैविक रूप से प्रशंसनीय इंटरैक्शन तक सीमित करता है।

3. व्याख्यात्मकता मेट्रिक्स (Interpretability Metrics):
सीखे गए अटेंशन की जैविक प्रासंगिकता को मापने के लिए, लेखक मॉड्यूल-स्तरीय मेट्रिक्स को परिभाषित करते हैं:

कंसंट्रेशन स्कोर ( $\phi$ ): यह मापता है कि एक TF कितनी चयनात्मकता से अपने एनोटेटेड लक्ष्यों पर अटेंशन केंद्रित करता है। कम एंट्रॉपी (उच्च $\phi$ ) केंद्रित, संरचित अटेंशन को दर्शाता है।
मॉड्यूल इम्पोर्टेंस (Module Importance): नियामक संकेतों की शक्ति को मापने के लिए कंसंट्रेशन स्कोर को लक्ष्यों की ओर निर्देशित कुल अटेंशन मास के साथ जोड़ता है।

4. कार्यान्वयन विवरण:

डेटा: MSSM सिंगल-न्यूक्लियस RNA-seq एटलस (PsychAD कोहॉर्ट) पर मूल्यांकित किया गया, जिसे 17 सबटाइप्स और TF–TG जीन इंटरसेक्शन तक सीमित किया गया।
ट्रेनिंग: Pre-LN आर्किटेक्चर के साथ AdamW ऑप्टिमाइज़र का उपयोग करता है। बड़े डेटासेट को कुशलतापूर्वक संभालने के लिए कंप्रेस्ड स्पार्स रो (CSR) मैट्रिसेस पर सीधे स्पार्स बैचिंग का उपयोग करता है।
मूल्यांकन: सैंपल एफिशिएंसी और मजबूती का आकलन करने के लिए विभिन्न ट्रेनिंग डेटा रिजीम (1% से 100%) पर परीक्षण किया गया।

प्रमुख योगदान

प्रायर-गेटेड अटेंशन: क्यूरेटेड TF–TG नेटवर्क को अटेंशन मैकेनिज्म के भीतर हार्ड कंस्ट्रेंट्स के रूप में एम्बेड करने वाला पहला ट्रांसफार्मर फ्रेमवर्क, जो नियामक ज्ञान को स्ट्रक्चरल इंडक्टिव बायस में बदल देता है।
कंटीन्यूअस एक्सप्रेशन एनकोडिंग: एक साइनुसोइडल एनकोडिंग स्कीम जो डिस्क्रीटाइजेशन के बिना scRNA-seq डेटा की मात्रात्मक प्रकृति को सुरक्षित रखती है।
स्पार्स ट्रेनिंग पाइपलाइन: CSR मैट्रिसेस पर सीधे काम करने वाला एक कुशल कार्यान्वयन, जो बड़े सिंगल-सेल डेटासेट्स पर स्केलेबल ट्रेनिंग को सक्षम बनाता है।
औपचारिक व्याख्यात्मक मेट्रिक्स: अटेंशन कंसंट्रेशन और रेगुलेटरी इम्पोर्टेंस को मापने के लिए मेट्रिक्स का एक सेट, जो पोस्ट-हॉक विश्लेषण के बिना सीधे जैविक सुसंगतता का मूल्यांकन करने की अनुमति देता है।
पुनरुत्पादनीय प्रोटोकॉल (Reproducible Protocol): नियंत्रित डेटा पार्टिशनिंग और मल्टी-सीड मूल्यांकन के साथ एक डिस्ट्रिब्यूटेड ट्रेनिंग सेटअप।

परिणाम

लेखकों ने सेल-टाइप क्लासिफिकेशन कार्यों पर अनकन्स्ट्रेंड बेसलाइन्स के विरुद्ध scTransformer का मूल्यांकन किया:

लो-डेटा रिजीम में प्रदर्शन: सीमित ट्रेनिंग डेटा (1% और 25%) वाले सेटिंग्स में, प्रायर-गेटेड मॉडल ने अनकन्स्ट्रेंड बेसलाइन की तुलना में काफी अधिक सटीकता प्राप्त की (जैसे, 1% डेटा पर 0.486 बनाम 0.464)। यह बेहतर सैंपल एफिशिएंसी को प्रदर्शित करता है।
फुल-डेटा रिजीम में प्रदर्शन: 100% डेटा उपलब्धता पर, प्रायर-गेटेड मॉडल (केवल TF–TG प्रतिबंधित जीनों का उपयोग करके) ने सभी जीनों का उपयोग करने वाले अनकन्स्ट्रेंड बेसलाइन के समान सटीकता प्राप्त की (0.911 बनाम 0.917), जबकि यह बहुत छोटे इंटरैक्शन स्पेस में काम कर रहा था।
स्थिरता और पुनरुत्पादनीयता: अनकन्स्ट्रेंड मॉडल विभिन्न ट्रेनिंग रन के दौरान उच्च परिवर्तनशीलता दिखाते हैं, जो अलग-अलग जीन सेट चुनते हैं (जेकार्ड इंडेक्स शून्य के करीब, नकारात्मक स्पीयरमैन कोरिलेशन)। इसके विपरीत, प्रायर-गेटेड मॉडल उच्च स्थिरता प्रदर्शित करते हैं, लगातार समान जीन सबसेट्स चुनते हैं और उन्हें लगातार रैंक करते हैं।
जैविक सुसंगतता: प्रायर-गेटेड मॉडल्स के अटेंशन मैप्स ने उच्च कंसंट्रेशन स्कोर ( $\phi$ ) दिखाया, जो इंगित करता है कि TFs ने विशिष्ट, जैविक रूप से प्रासंगिक लक्ष्य उपसमुच्चयों (subsets) पर ध्यान केंद्रित किया। ये पैटर्न ज्ञात सबटाइप-विशिष्ट नियामक कार्यक्रमों (जैसे, एंडोथेलियल-जैसे आबादी में GRHL3 की समृद्धि, OPCs में NANOG) के साथ संरेखित थे, जबकि अनकन्स्ट्रेंड मॉडल विसरित (diffuse), कम व्याख्यात्मक अटेंशन वितरण उत्पन्न करते थे।

महत्व और दावे

लेखक दावा करते हैं कि नियामक प्रायर को एकीकृत करने का प्राथमिक मूल्य केवल भविष्य कहने वाली सटीकता में सुधार करना नहीं है, बल्कि सीखे गए रिप्रेजेंटेशन की एपिस्टेमिक विश्वसनीयता (epistemic reliability) और व्याख्यात्मकता को बढ़ाना है।

अस्पष्टता का समाधान: उच्च-आयामी, विरल डेटा में, एक ही फेनोटाइप की व्याख्या कई जीन संयोजन कर सकते हैं। अनकन्स्ट्रेंड मॉडल मनमाने, अस्थिर समाधानों की ओर बढ़ सकते हैं। नियामक प्रायर हाइपोथेसिस स्पेस को सीमित करते हैं, मॉडल को जैविक रूप से आधारित, सुसंगत समाधानों की ओर निर्देशित करते हैं।
इंडक्टिव बायस: जैविक संरचना को सीधे आर्किटेक्चर में एम्बेड करके, मॉडल ऐसे रिप्रेजेंटेशन सीखता है जो पर्याप्त डेटा उपलब्ध होने पर लचीलापन खोए बिना शोर और बैच प्रभावों के प्रति मजबूत होते हैं।
व्याख्यात्मकता का आधार: यह दृष्टिकोण "बायोलॉजिकली ग्राउंडेड फाउंडेशन मॉडल्स" की ओर एक सिद्धांतपूर्ण कदम प्रदान करता है, जहाँ अटेंशन वेट्स सीधे नियामक कार्यक्रमों के रूप में व्याख्या योग्य होते हैं, जो पोस्ट-हॉक विश्लेषण की आवश्यकता के बिना जैविक अंतर्दृष्टि की सुविधा प्रदान करते हैं।

लेखक विनम्र रहते हुए, वर्तमान सीमाओं का उल्लेख करते हैं जिनमें हार्ड बाइनरी मास्क का उपयोग (जो नए इंटरैक्शन सीखने से रोकता है), सुपरवाइज्ड कार्यों तक सीमित होना, और एकल डेटासेट पर मूल्यांकन शामिल है। वे सुझाव देते हैं कि भविष्य का कार्य सॉफ्ट/लर्नेबल प्रायर, सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग और हाइब्रिड आर्किटेक्चर की खोज कर सकता है।