Apparent sequence-model contribution depends strongly on negative-set construction: a calibration across 94 ENCODE eCLIP datasets

जीवन के विशाल पुस्तकालय में, डीएनए (DNA) मास्टर निर्देश रखता है, लेकिन आरएनए (RNA) एक सक्रिय संदेशवाहक के रूप में कार्य करता है, जो उन निर्देशों को उस मशीनरी तक ले जाता है जो प्रोटीन का निर्माण करती है। इस जटिल प्रणाली को सुचारू रूप से चलाने के लिए, आरएनए-बाइंडिंग प्रोटीन नामक प्रोटीनों का एक विशेष वर्ग यातायात नियंत्रक (ट्रैफिक कंट्रोलर) के रूप में कार्य करता है। वे आरएनए के विशिष्ट अनुक्रमों (सीक्वेंस) से जुड़ जाते हैं, और यह तय करते हैं कि किन संदेशों को क्रिया में बदला जाएगा और किन्हें त्याग दिया जाएगा। उन वैज्ञानिकों के लिए जो यह समझने की कोशिश कर रहे हैं कि ये प्रोटीन अपने लक्ष्यों को कैसे ढूंढते हैं, चुनौती एक ऐसा कंप्यूटर मॉडल बनाने की है जो सटीक रूप से भविष्यवाणी कर सके कि प्रोटीन कहाँ जुड़ेगा। ऐसे मॉडल की प्रभावशीलता को परखने के लिए, शोधकर्ताओं को उन आरएनए अनुक्रमों के बीच अंतर करना होगा जहाँ प्रोटीन वास्तव में जुड़ता है और उन अनुक्रमों के बीच जहाँ वह नहीं जुड़ता। इसके लिए "नकारात्मक" उदाहरणों का एक सेट बनाने की आवश्यकता होती है—ऐसे अनुक्रम जो असली जैसे दिखते हैं लेकिन जिन्हें खाली (एम्प्टी) माना जाता है। इन खाली अनुक्रमों को चुनने का तरीका लंबे समय से एक तकनीकी विवरण रहा है, जिसे अक्सर प्रक्रिया के एक मामूली चरण के रूप में देखा जाता रहा है।

निर्मलकुमार थिरुपल्लिकृष्णन केशवन द्वारा किए गए एक नए अध्ययन से पता चलता है कि यह तकनीकी विवरण वास्तव में प्रयोग का सबसे महत्वपूर्ण हिस्सा है। मानव कोशिकाओं के नब्बे-चार विभिन्न डेटासेट्स पर एक ही कंप्यूटर मॉडल का परीक्षण करके, शोधकर्ता ने पाया कि नकारात्मक अनुक्रमों का चयन मॉडल के मापे गए प्रदर्शन को लगभग छह गुना तक बदल देता है। अध्ययन दिखाता है कि यदि आप अपने खाली अनुक्रमों को बहुत आसानी से चुनते हैं, तो आपका मॉडल शानदार दिखता है लेकिन कुछ भी नया नहीं सीखता। यदि आप उन्हें बहुत कड़ाई से चुनते हैं, तो मॉडल खराब दिखता है, लेकिन जो छोटे सुधार वह करता है, वे कहीं अधिक सार्थक होते हैं। शोध निष्कर्ष निकालता है कि आप विभिन्न मॉडलों की सफलता की तुलना तब तक नहीं कर सकते जब तक कि उन्हें बिल्कुल एक ही प्रकार के खाली अनुक्रमों के विरुद्ध टेस्ट न किया जाए, क्योंकि परीक्षण स्वयं ही यह परिभाषित करता है कि "सफलता" का अर्थ क्या है।

समस्या का मूल कारण यह है कि वैज्ञानिक नकारात्मक सेट का निर्माण कैसे करते हैं। एक विशिष्ट प्रयोग में, शोधकर्ताओं के पास उन आरएनए विंडोज़ (windows) की एक सूची होती है जहाँ प्रोटीन को बंधा हुआ पाया गया था। मॉडल का परीक्षण करने के लिए, उन्हें विंडोज़ की एक मिलान सूची की आवश्यकता होती है जहाँ प्रोटीन नहीं बंधता है। एक सामान्य विधि केवल जीनोम से आरएनए के यादृच्छिक (रैंडम) टुकड़े उठाना है। दूसरी विधि आरएनए के चार निर्माण खंडों के संतुलन को सुनिश्चित करने के लिए खाली टुकड़ों की रासायनिक संरचना को वास्तविक टुकड़ों के समान बनाना है। एक तीसरी, अधिक परिष्कृत विधि अन्य प्रोटीनों के बाइंडिंग साइट्स का उपयोग नकारात्मक उदाहरणों के रूपв रूप में करती है, यह मानते हुए कि यदि एक प्रोटीन वहाँ है, तो दूसरा नहीं हो सकता। अध्ययन ने इन तीन विधियों को एक ही प्रश्न पूछने के तीन अलग-अलग तरीकों के रूप में माना, लेकिन परिणामों ने दिखाया कि वे वास्तव में तीन पूरी तरह से अलग प्रश्न पूछ रहे थे।

जब शोधकर्ता ने इन तीन अलग-अलग नकारात्मक उदाहरणों पर एक ही कंप्यूटर मॉडल लागू किया, तो परिणाम चौंकाने वाले थे। चार अक्षरों के छोटे पैटर्न पर आधारित एक सरल मॉडल का उपयोग करते हुए, आधार रेखा (बेसलाइन) से मापी गई सुधार की दर इस बात पर निर्भर करती थी कि किस नकारात्मक सेट का उपयोग किया गया था, और इसमें 5.42 का अंतर देखा गया। सबसे आसान परिदृश्य में, जहाँ नकारात्मक अनुक्रम ढीले ढंग से मेल खाते थे, मॉडल ने बहुत कम मूल्य जोड़ा जैसा कि केवल रासायनिक अक्षरों की गिनती से पहले ही अनुमान लगाया जा सकता था। सबसे कठिन परिदृश्य में, जहाँ नकारात्मक अनुक्रम अत्यधिक सटीकता के साथ मेल खाते थे, मॉडल का स्पष्ट प्रदर्शन गिर गया, लेकिन वास्तविक अतिरिक्त मूल्य काफी बढ़ गया। इसने एक विरोधाभास पैदा किया: मॉडल तब बेहतर दिखता था जब परीक्षण आसान होता था, लेकिन वास्तव में वह कम सीख रहा था। अध्ययन ने पाया कि परीक्षण की कठिनाई और मॉडल का मापा गया योगदान विपरीत दिशाओं में चलते हैं।

शोध ने यह भी उजागर किया कि इन सुधारों की गणना करने के तरीके में एक छिपा हुआ दोष है। सफलता को मापने की एक मानक विधि, जिसमें दो-चरणीय गणना शामिल है, पाया गया कि यह एक छोटा लेकिन निरंतर सकारात्मक नंबर उत्पन्न करती है, भले ही मॉडल कोई नई जानकारी न जोड़ रहा हो। यह एक तराजू की तरह था जो खाली होने पर भी हमेशा पांच पाउंड दिखाता रहता है। शोधकर्ता ने दिखाया कि गणना को समायोजित करके—ताकि मॉडल अपने प्रशिक्षण चरण के दौरान परीक्षण डेटा का उपयोग न कर सके—यह 'फॉल्स पॉजिटिव' फ्लोर (false positive floor) गायब हो गया। जब यह सुधार लागू किया गया, तो परीक्षण विधियों के बीच वास्तविक अंतर और भी स्पष्ट हो गया, जिससे पुष्टि हुई कि नकारात्मक अनुक्रमों का चयन ही परिणामों को संचालित कर रहा था, न कि स्वयं मॉडल।

यह सुनिश्चित करने के लिए कि ये निष्कर्ष केवल विशिष्ट डेटा का परिणाम नहीं हैं, शोधकर्ता ने एक अलग शोध समूह के डेटा से एक अलग डेटासेट पर समान दृष्टिकोण का परीक्षण किया। इस बाहरी परीक्षण ने पुष्टि की कि नकारात्मक अनुक्रमों के चयन ने परिणामों को बदला, हालांकि परिवर्तन का सटीक आकार छोटा था। हालाँकि, मुख्य अध्ययन में देखा गया विशिष्ट पैटर्न—जहाँ एक कठिन परीक्षण हमेशा बड़े मापे गए योगदान की ओर ले जाता था—बाहरी डेटा में कायम नहीं रहा। यह सुझाव देता है कि जबकि नकारात्मक अनुक्रमों को चुनने की विधि हमेशा मायने रखती है, परीक्षण की कठिनाई और मॉडल के प्रदर्शन के बीच का विशिष्ट संबंध एक सार्वभौमिक नियम नहीं है बल्कि प्रयोग के विशिष्ट विवरणों पर निर्भर करता है।

अध्ययन ने यह भी पता लगाया कि बेसलाइन की जटिलता कितनी मायने रखती है। शोधकर्ताओं ने मॉडलों का परीक्षण ऐसे बेसलाइन के विरुद्ध किया जो केवल एकल अक्षरों की आवृत्ति, फिर अक्षरों के जोड़े, और फिर ट्रिपलेट्स (triplets) को ध्यान में रखते थे। जैसे-जैसे बेसलाइन अधिक जटिल होती गई, मॉडल द्वारा प्रदान किए जा सकने वाले अतिरिक्त मूल्य की मात्रा कम होती गई। यह समझ में आता है क्योंकि यदि बेसलाइन पहले से ही अधिकांश पैटर्न की व्याख्या कर देती है, तो मॉडल के पास दिखाने के लिए कम जगह बचती है। हालाँकि, इन अधिक जटिल बेसलाइनों के साथ भी, नकारात्मक अनुक्रमों के चुनाव ने परिणामों को बड़े कारकों से बदल दिया। शोध ने प्रदर्शित किया कि मॉडल का प्रदर्शन मॉडल का एक अंतर्निहित गुण नहीं है, बल्कि पूरे परीक्षण वातावरण का एक उत्पाद है, जिसमें "गलत" उत्तरों को कैसे परिभाषित किया जाता है, वह भी शामिल है।

अंततः, यह कार्य आरएनए जीव विज्ञान के पूरे क्षेत्र के लिए एक अंशांकन (कैलिब्रेशन) के रूप में कार्य करता है। यह तर्क देता है कि वैज्ञानिक अब नकारात्मक सेट के निर्माण को एक पृष्ठभूमि तकनीकी विवरण के रूप में नहीं मान सकते। अध्ययन अनुशंसा करता है कि शोधकर्ताओं को यह स्पष्ट रूप से वर्णन करना चाहिए कि उन्होंने अपने नकारात्मक अनुक्रमों को कैसे चुना और यह रिपोर्ट करना चाहिए कि उनके मॉडल एक ऐसे बेसलाइन के विरुद्ध कैसा प्रदर्शन करते हैं जो उन्हीं नियमों का उपयोग करता है। इस पारदर्शिता के बिना, विभिन्न मॉडलों की तुलना करना अलग-अलग ट्रैक पर कारों की गति की तुलना करने जैसा है; एक कार जो समतल, सीधे रास्ते पर जीतती है, वह घुमावदार पहाड़ी रास्ते पर हार सकती है, लेकिन परिणाम कार से नहीं, बल्कि ट्रैक से निर्धारित होता है। शोध निष्कर्ष निकालता है कि जब तक समुदाय इन नकारात्मक उदाहरणों को परिभाषित करने के लिए एक मानक तरीके पर सहमत नहीं होता, या कम से कम उन्हें पूर्ण पारदर्शिता के साथ रिपोर्ट नहीं करता, तब तक किसी भी नए मॉडल की रिपोर्ट की गई सफलता संदिग्ध बनी रहेगी। नकारात्मक सेट केवल एक नियंत्रण (कंट्रोल) नहीं है; यह स्वयं वैज्ञानिक प्रश्न का हिस्सा है।