From ceilings to corrected estimates: capture–recapture on reference networks rescales, but rarely reorders, gene regulatory network benchmarks

कल्पना कीजिए कि आप एक छात्र का निबंध ग्रेड करने की कोशिश कर रहे हैं, लेकिन शिक्षक की उत्तर कुंजी (answer key) में आधे सही उत्तर गायब हैं। यदि छात्र एक शानदार वाक्य लिखता है जो कुंजी में नहीं है, तो शिक्षक उसे गलत मार्क कर देता है। छात्र का ग्रेड गिर जाता है, इसलिए नहीं कि उसने खराब लिखा था, बल्कि इसलिए क्योंकि कुंजी अधूरी थी। यह उन वैज्ञानिकों के दैनिक संघर्ष जैसा है जो जीवन के "वायरिंग डायग्राम" को मैप करने की कोशिश कर रहे हैं, जिसे जीन रेगुलेटरी नेटवर्क (GRN) कहा जाता है। ये नेटवर्क कोशिकाओं के निर्देश मैनुअल की तरह होते हैं, जो दिखाते हैं कि कौन से जीन अन्य जीनों को चालू या बंद करते हैं। यह देखने के लिए कि क्या कोई कंप्यूटर प्रोग्राम इन कनेक्शनों का पता लगा सकता है, वैज्ञानिक अपने अनुमानों की तुलना ज्ञात कनेक्शनों की एक "गोल्ड स्टैंडर्ड" सूची से करते हैं। लेकिन यहाँ एक पेंच है: वह गोल्ड स्टैंडर्ड सूची एक प्रगतिशील कार्य है, जिसमें हजारों वास्तविक कनेक्शन गायब हैं। वर्षों से, वैज्ञानिक जानते थे कि उनके स्कोर बहुत कम थे क्योंकि यह डेटा गायब था, लेकिन वे यह नहीं जानते थे कि वे कितने कम थे, या क्या गायब डेटा कुछ कंप्यूटर प्रोग्रामों को दूसरों की तुलना में अधिक नुकसान पहुँचा रहा था। यह यह जानने जैसा है कि आपका टेस्ट स्कोर गलत है, लेकिन आप यह नहीं जानते कि आप वास्तव में शीर्ष छात्र हैं या सिर्फ वह जो गायब सवालों के साथ बदकिस्मत रहा।

यह शोध पत्र, जिसका शीर्षक "From ceilings to corrected estimates" है, ठीक इसी रहस्य को सुलझाता है। लेखक, लियू चेन (Liu Chen), एक चतुर सांख्यिकीय तकनीक का उपयोग करते हैं जिसे "कैप्चर-रिकैप्चर" (capture–recapture) कहा जाता है—एक ऐसी विधि जिसे मूल रूप से झील में मछली या जंगल में जानवरों को गिनने के लिए डिज़ाइन किया गया था—यह अनुमान लगाने के लिए कि ये जीन सूचियाँ वास्तव में कितनी अधूरी हैं। इन तीन अलग-अलग जीन डेटाबेस को जैविक सत्य के एक ही महासागर में फेंके गए तीन अलग-अलग "जालों" के रूप में मानकर, यह अध्ययन पूछता है: हम कितनी मछलियाँ चूक रहे हैं? इसके परिणाम आश्चर्यजनक अनिश्चितता और आश्वस्त करने वाली स्थिरता का मिश्रण हैं। अध्ययन पाता है कि वास्तविक जीन कनेक्शनों की कुल संख्या हमारी सोच से कहीं अधिक है, और हमारी वर्तमान सूचियाँ सत्य का केवल लगभग 5% हिस्सा ही पकड़ पाती हैं (लगभग 3% से 10% के बीच)। हालाँकि, सबसे महत्वपूर्ण खोज यह है कि जबकि कंप्यूटर प्रोग्रामों के स्कोर बहुत कम थे, सर्वश्रेष्ठ प्रोग्राम के रैंकिंग में कोई बदलाव नहीं आया। डेटा की कमी को ध्यान में रखते हुए गणित को ठीक करने के बाद भी, वही प्रोग्राम शीर्ष पर रहे और वही नीचे रहे। यह पेपर सिद्ध करता है कि "लुप्त सूची" की समस्या नंबरों को खराब दिखाती है, लेकिन यह हमें गलत प्रोग्रामों को सर्वश्रेष्ठ समझने के धोखे में नहीं डालती है।

सेटअप: गायब नक्शा

कहानी को समझने के लिए, आपको कुछ बातें जाननी होंगी कि वैज्ञानिक जीन का अध्ययन कैसे करते हैं। प्रत्येक कोशिका के भीतर, जीन अकेले काम नहीं करते; वे एक-दूसरे से बात करते हैं। कुछ जीन मैनेजर के रूप में कार्य करते हैं, अन्य जीनों को चालू या बंद करते हैं। वैज्ञानिक इसे "जीन रेगुलेटरी नेटवर्क" कहते हैं। इन कनेक्शनों का नक्शा बनाने के लिए, वे कंप्यूटर प्रोग्रामों का उपयोग करते हैं जो कोशिकाओं के डेटा को देखते हैं और अनुमान लगाते हैं कि कौन से जीन किससे बात कर रहे हैं।

लेकिन आप कैसे जानेंगे कि कंप्यूटर सही है? आपको एक संदर्भ मानचित्र, एक "ग्राउंड ट्रुथ" (ground truth) की आवश्यकता होती है, जो उन सभी कनेक्शनों को सूचीबद्ध करता है जिन्हें हम पहले से ही निश्चित रूप से जानते हैं। वैज्ञानिकों ने हजारों शोध पत्रों को पढ़कर और प्रयोग चलाकर इन सूचियों को बनाने में दशकों बिताए हैं। परीक्षण के लिए वे तीन मुख्य सूचियों का उपयोग करते हैं: एक जिसे STRING कहा जाता है, एक BioGRID, और एक TRRUST।

समस्या यह है कि ये सूचियाँ उस लाइब्रेरी की तरह हैं जिसमें अधिकांश किताबें गायब हैं। हम जानते हैं कि एक मानव कोशिका में लाखों कनेक्शन हैं, लेकिन इन सूचियों में केवल कुछ हजार ही हैं। जब एक कंप्यूटर प्रोग्राम एक ऐसा कनेक्शन बताता है जो वास्तविक है लेकिन सूची में नहीं है, तो सूची कहती है, "यह गलत है!" यह कंप्यूटर को बुरा दिखाता है, भले ही वह वास्तव में बहुत अच्छा काम कर रहा हो। वैज्ञानिक इसे "सीलिंग प्रॉब्लम" (ceiling problem) कहते हैं: क्योंकि सूची अधूरी है, कोई भी कंप्यूटर कभी भी पूर्ण स्कोर प्राप्त नहीं कर सकता, चाहे वह कितना भी स्मार्ट क्यों न हो।

जासूसी कार्य: गायब मछलियों को गिनना

इस पेपर के लेखक ने केवल अनुमान लगाना बंद कर दिया और गिनना शुरू किया। उन्होंने कैप्चर-रिकैप्चर नामक एक विधि का उपयोग किया। कल्पना कीजिए कि आप एक तालाब में मछलियों को गिनने की कोशिश कर रहे हैं।

1. आप एक जाल (सूची A) डालते हैं और 100 मछलियाँ पकड़ते हैं। आप उन्हें टैग करते हैं और वापस डाल देते हैं।
2. आप दूसरा जाल (सूची B) डालते हैं और 100 मछलियाँ पकड़ते हैं। उनमें से 20 में पहले जाल (A) के टैग हैं।
3. आप तीसरा जाल (सूची C) डालते हैं और 80 मछलियाँ पकड़ते हैं। कुछ में A के टैग हैं, कुछ में B के, और कुछ में दोनों के टैग हैं।

यह देखकर कि कितनी मछलियाँ एक जाल, दो जाल, या तीनों जालों में दिखाई देती हैं, आप अनुमान लगा सकते हैं कि तालाब में कितनी मछलियाँ थीं जिन्हें किसी भी जाल ने नहीं पकड़ा।

इस अध्ययन में, "मछलियाँ" जीन कनेक्शन हैं, और "जाल" तीन डेटाबेस (STRING, BioGRID, और TRRUST) हैं। लेखक ने 359,700 संभावित जीन जोड़ों के विशिष्ट सेट पर ये जाल डाले।

• पकड़ (The Catch): तीनों सूचियों ने मिलकर केवल 2,511 कनेक्शन खोजे।
• ओवरलैप (The Overlap): सूचियों में स्वतंत्र होने की अपेक्षा से कहीं अधिक ओवरलैप था। उदाहरण के लिए, STRING और BioGRID में संयोग से कहीं अधिक बार (139 गुना) कनेक्शन साझा थे। ऐसा इसलिए है क्योंकि वे अक्सर एक ही लोकप्रिय शोध पत्रों से डेटा निकालते हैं।

बड़े नंबर: हम कितने अधूरे हैं?

लेखक ने वास्तविक कनेक्शनों (latent interactome) की कुल संख्या का अनुमान लगाने के लिए गणित चलाया। परिणाम थोड़े अस्थिर थे क्योंकि सूचियाँ एक-दूसरे पर बहुत अधिक निर्भर हैं।

• सीमा (The Range): ओवरलैप को मॉडल करने के तरीके के आधार पर, वास्तविक कनेक्शनों की कुल संख्या 2,579 से 46,864 के बीच कहीं भी हो सकती है।
• प्रतिशत (The Percentage): इसका मतलब है कि हमारी वर्तमान सूचियाँ सत्य के केवल 5.4% से 54.4% हिस्से को ही पकड़ पाती हैं। लेखक का सबसे अच्छा अनुमान यह है कि हम वास्तविक कनेक्शनों के केवल लगभग 5% को देख रहे हैं।

यह पुष्टि करता है कि "सीलिंग" बहुत कम है। यदि कोई कंप्यूटर प्रोग्राम 0.013 का स्कोर प्राप्त करता है (जो बहुत खराब दिखता है), तो यदि हमारे पास एक पूर्ण सूची होती तो वह वास्तव में 0.245 के स्तर पर प्रदर्शन कर रहा होता। स्कोर गायब डेटा के कारण दब रहे हैं।

ट्विस्ट: क्या रैंकिंग बदलती है?

यहाँ सबसे रोमांचक हिस्सा है। वैज्ञानिक चिंतित थे कि गायब डेटा अनुचित हो सकता है। शायद कुछ कंप्यूटर प्रोग्राम उन कनेक्शनों का अनुमान लगाने में बेहतर हैं जो सूचियों से गायब हैं, जबकि अन्य केवल उन्हीं आसान कनेक्शनों का अनुमान लगाते हैं जो पहले से ही सूचियों में हैं। यदि ऐसा होता, तो गायब डेटा हमें झूठ बोल रहा होता, जिससे एक बुरा प्रोग्राम अच्छा दिखता और एक अच्छा प्रोग्राम बुरा दिखता।

उन्होंने एक "सुधार" (correction) लागू करके इसकी जांच की। उन्होंने कैप्चर-रिकैप्चर डेटा का उपयोग यह पता लगाने के लिए किया कि सूचियाँ प्रसिद्ध, अच्छी तरह से अध्ययन किए गए जीनों के लिए अधिक पूर्ण हैं और अस्पष्ट जीनों के लिए कम पूर्ण हैं। फिर उन्होंने इस पूर्वाग्रह (bias) को ध्यान में रखते हुए स्कोर को समायोजित किया।

परिणाम: आठ कंप्यूटर प्रोग्रामों की रैंकिंग नहीं बदली।

• जो प्रोग्राम सुधार से पहले #1 था, वह #1 ही रहा।
• जो #8 था, वह #8 ही रहा।
• क्रम बिल्कुल वैसा ही रहा, भले ही उनके स्कोर लगभग 14 से 20 गुना बढ़ गए।

लेखक ने गणितीय रूप से सिद्ध किया कि यदि आप बस सभी के स्कोर को एक ही संख्या से गुणा करते हैं (जैसे 5% पूर्णता से विभाजित करना), तो रैंकिंग समान रहती है। रैंकिंग बदलने का एकमात्र तरीका यह होता कि प्रोग्राम गायब कनेक्शनों के अलग-अलग प्रकारों का अनुमान लगा रहे होते। लेकिन इस मामले में, सभी प्रोग्राम एक ही प्रकार के कनेक्शनों का अनुमान लगा रहे थे, बस उनकी सटीकता का स्तर अलग था।

सिमुलेशन: यह सिद्ध करना कि टूल काम करता है

यह सुनिश्चित करने के लिए कि उनका गणित गलत नहीं है, लेखक ने एक सिमुलेशन चलाया जहाँ वे वास्तविक उत्तर जानते थे। उन्होंने नकली डेटा बनाया जहाँ सूचियाँ कुछ प्रकार के कनेक्शनों के खिलाफ पक्षपाती थीं।

• इस नकली दुनिया में, बिना सुधारे गए स्कोर गलत रैंकिंग देते थे।
• जब उन्होंने अपना सुधार लागू किया, तो रैंकिंग खुद ठीक हो गई और सच्चाई से मेल खा गई।

इससे सिद्ध हुआ कि उनका तरीका रैंकिंग को ठीक कर सकता है यदि पूर्वाग्रह पर्याप्त मजबूत हो। यह तथ्य कि वास्तविक दुनिया में रैंकिंग नहीं बदली, यह दर्शाता है कि वास्तविक दुनिया का पूर्वाग्रह रैंकिंग को धोखा देने के लिए पर्याप्त मजबूत नहीं था।

निष्कर्ष

यह पेपर हमें दो मुख्य बातें बताता है:

1. नंबर अर्थहीन हैं: जब आप जीन नेटवर्क स्कोर जैसे "0.013" को देखते हैं, तो घबराएं नहीं। यह केवल एक टूटे हुए पैमाने पर आधारित संख्या है। वास्तविक प्रदर्शन संभवतः 15 से 20 गुना बेहतर है।
2. रैंकिंग सुरक्षित है: भले ही पैमाना टूटा हुआ है, लेकिन यह सभी के लिए एक ही तरह से टूटा हुआ है। जो कंप्यूटर प्रोग्राम वर्तमान में सर्वश्रेष्ठ है, वह अभी भी सर्वश्रेष्ठ है, और जो सबसे खराब है, वह सबसे खराब ही है। गायब डेटा हमें बुरा दिखाता है, लेकिन यह हमें यह बताने में गलत नहीं करता कि कौन जीत रहा है।

अध्ययन ने यह भी पाया कि आप किस सूची का उपयोग करते हैं, यह इस बात से अधिक मायने रखता है कि वह कितनी अधूरी है। यदि आप एक भौतिक कनेक्शन (STRING) की सूची के विरुद्ध एक प्रोग्राम का परीक्षण करते हैं, तो वह जीत सकता है। यदि आप नियामक कनेक्शन (TRRUST) की सूची के विरुद्ध परीक्षण करते हैं, तो वह हार सकता है। यह सुझाव देता है कि वैज्ञानिकों को यह ध्यान रखना चाहिए कि वे किस "गोल्ड स्टैंडर्ड" का उपयोग कर रहे हैं, क्योंकि सूची स्वयं गायब डेटा की तुलना में विजेता को अधिक बदल देती है।

संक्षेप में, जीवन का नक्शा अभी भी बहुत अधूरा है, लेकिन उस नक्शे को पढ़ने के लिए सबसे अच्छे उपकरणों को खोजने के लिए हमारा दिशा-सूचक यंत्र (compass) बिल्कुल ठीक काम कर रहा है।