Constructed negatives determine the population a benchmark can rank over
यह शोध पत्र तर्क देता है कि नेगेटिव्स के निर्माण के दौरान कम एनोटेटेड संस्थाओं (entities) को बाहर करने के कारण बेंचमार्क रैंकिंग मौलिक रूप से सीमित है, जो यह प्रदर्शित करता है कि उच्च विलोपन दर (W > 0.5) सख्त मॉडल क्रम निर्धारण को रोकती है और समुदाय से लक्ष्य परिभाषाओं, सैंपलिंग सपोर्ट और तुलना के साक्ष्यों को पारदर्शी रूप से रिपोर्ट करने का आग्रह करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
जैविक खोज के विशाल परिदृश्य में, वैज्ञानिक अक्सर यह अनुमान लगाने के लिए कंप्यूटर मॉडल पर भरोसा करते हैं कि प्रोटीन कैसे परस्पर क्रिया करते हैं या उन पर रासायनिक टैग कहाँ जुड़ते हैं। इन मॉडलों को सिखाने के लिए, शोधकर्ताओं को उन्हें उन चीजों के उदाहरण दिखाने चाहिए जो होती हैं (पॉजिटिव) और उन उदाहरणों को भी दिखाना चाहिए जो नहीं होती हैं (नेगेटिव)। चुनौती यह है कि हमारे पास उन चीजों की एक अच्छी सूची तो है जो होती हैं, लेकिन हमारे पास उन सभी की एक पूर्ण सूची शायद ही कभी होती है जो नहीं होतीं। इसके बजाय, वैज्ञानिक अक्सर यह मानकर "नेगेटिव" की एक सूची बनाते हैं कि कोई भी अंतःक्रिया या संशोधन जिसे उन्होंने अभी तक नहीं देखा है, वह संभवतः एक गैर-घटना (non-event) है। यह धारणा उन बेंचमार्क या मानक परीक्षणों की नींव है जिनका उपयोग यह आंकने के लिए किया जाता है कि एक नया मॉडल कितना अच्छा प्रदर्शन करता है। यदि परीक्षण त्रुटिपूर्ण है, तो सर्वश्रेष्ठ मॉडलों की रैंकिंग अविश्वसनीय हो जाती है, जिससे शोधकर्ता नए ड्रग्स या जैविक अंतर्दृष्टि की खोज में गलत रास्ते पर जा सकते हैं।
टुलने यूनिवर्सिटी के एक शोधकर्ता, जस्टिन ली ने उजागर किया है कि इन परीक्षणों का निर्माण अक्सर कैसे किया जाता है, इसमें एक मौलिक दोष है। उन्होंने पाया कि जिस तरह से वैज्ञानिक अपने "नेगेटिव" उदाहरण चुनते हैं, वह अक्सर जैविक दुनिया के बड़े हिस्सों को बाहर कर देता है, जिससे प्रभावी रूप से परीक्षण उन अधिकांश उम्मीदवारों के प्रति अंधा हो जाता है जिनका वह मूल्यांकन करने का दावा करता है। ली का काम दिखाता है कि जब एक परीक्षण आधे से अधिक संभावित उम्मीदवारों को बाहर कर देता है, तो अतिरिक्त धारणाओं के बिना दो मॉडलों के बीच कोई सख्त क्रम निर्धारित नहीं किया जा सकता, भले ही एक मॉडल का स्कोर दूसरे से अधिक हो। यह अध्ययन केवल एक मामूली त्रुटि की ओर इशारा नहीं करता है; यह प्रदर्शित करता है कि जिस जनसंख्या पर बेंचमार्क दावा करता है कि वह रैंक कर रहा है, वह अक्सर वास्तविकता का एक बहुत छोटा, गैर-प्रतिनिधिक हिस्सा होती है, और इन परीक्षणों पर दिखने वाले सुधार कभी-कभी पूरी तस्वीर लागू होने पर गायब या यहाँ तक कि उलट भी जा सकते हैं।
समस्या का मूल उस नियम में निहित है जिसका उपयोग कई शोधकर्ता अपने डेटा को स्वच्छ रखने के लिए करते हैं। किसी वास्तविक जैविक घटना को गलती से "नेगेटिव" के रूप में लेबल करने से बचने के लिए—सिर्फ इसलिए कि उसकी अभी तक खोज नहीं हुई है—वैज्ञानिक समावेश के लिए एक उच्च मानक निर्धारित करते हैं। वे कह सकते हैं, "हम केवल उन्हीं प्रोटीनों को नेगेटिव उदाहरण के रूप में उपयोग करेंगे जिनके बारे में हम पहले से बहुत कुछ जानते हैं।" हालांकि यह सटीकता सुनिश्चित करने का एक सुरक्षित तरीका लग सकता है, ली ने दिखाया कि यह नियम एक छलनी की तरह काम करता है जो लगभग सब कुछ छान देता है। प्रोटीनों पर रासायनिक संशोधनों से जुड़े आठ अलग-अलग कार्यों में, इस नियम ने उम्मीदवार प्रोटीनों के बीच 60% से 97% को बाहर कर दिया। सबसे खराब मामलों में, परीक्षण केवल उन प्रोटीनों के एक छोटे से अंश को देख रहा था जिन्हें उसे कवर करना चाहिए था।
ली ने यह मापने का एक तरीका विकसित किया कि लक्ष्य जनसंख्या का कितना हिस्सा गायब है। उन्होंने पाया कि एक बार जब गायब हिस्सा कुल हिस्से के आधे से अधिक हो जाता है, तो परीक्षण अतिरिक्त धारणाओं के बिना मॉडलों के बीच एक सख्त रैंकिंग सुनिश्चित करने की अपनी क्षमता खो देता है। कल्पना कीजिए कि आप केवल ऊपरी शेल्फ की किताबें पढ़कर एक पुस्तकालय की गुणवत्ता का आकलन करने की कोशिश कर रहे हैं; यदि निचली शेल्फ में सबसे अच्छी किताबें हैं, तो आपका निर्णय गलत होगा। इन जैविक परीक्षणों में, "ऊपरी शेल्फ" अच्छी तरह से एनोटेटेड प्रोटीनों का छोटा समूह है, जबकि "निचली शेल्फ" उन प्रोटीनों का विशाल बहुमत है जिन्हें परीक्षण अनदेखा कर देता है। जब अनदेखा किया गया हिस्सा इतना बड़ा होता है, तो एक मॉडल केवल इसलिए सर्वश्रेष्ठ दिख सकता है क्योंकि वह उस छोटे, आसान समूह पर अच्छा काम करता है, जबकि वह शेष जैविक दुनिया के लिए पूरी तरह विफल हो सकता है।
इसे सिद्ध करने के लिए, ली ने एक विशिष्ट प्रयोग चलाया जहाँ उन्होंने एक मानक मॉडल की तुलना पूरे प्रोटीन के बारे में अतिरिक्त जानकारी वाले संस्करण से की। मानक परीक्षण पर, जो केवल अच्छी तरह से एनोटेटेड प्रोटीनों को देखता था, अतिरिक्त जानकारी मददगार लगती थी। हालाँकि, जब ली ने उन बहिष्कृत प्रोटीनों को शामिल करने के लिए परीक्षण को पुनर्गठित किया, तो अतिरिक्त जानकारी ने आठ में से सात कार्यों में मॉडल के प्रदर्शन को वास्तव में नुकसान पहुँचाया। वह विशेषता जो संकीर्ण परीक्षण में एक सहायक अपग्रेड के रूप में दिखी थी, वह एक बाधा बन गई जब मॉडल को उम्मीदवारों की पूरी श्रृंखला का सामना करने के लिए मजबूर किया गया। यह उलटफेर दर्शाता कि प्रारंभिक परीक्षण मॉडल की वास्तविक सामान्यीकरण (generalize) करने की क्षमता को नहीं माप रहा था; यह केवल यह माप रहा था कि मॉडल नियमों के एक विशिष्ट, संकीत सेट में कितनी अच्छी तरह फिट बैठता है।
अध्ययन ने प्रोटीन अंतःक्रियाओं के एक लोकप्रिय बेंचमार्क का भी परीक्षण किया, जिसका उपयोग यह परीक्षण करने के लिए किया जाता है कि कंप्यूटर कितनी अच्छी तरह भविष्यवाणी कर सकते हैं कि कौन से प्रोटीन आपस में जुड़ते हैं। यह बेंचमार्क अपने नेगेटिव उदाहरण बनाने के लिए दो-चरणीय फ़िल्टर का उपयोग करता है। पहला, यह उन पूरे प्रोटीनों को हटा देता है जिनके कनेक्शन बहुत अधिक हैं, और दूसरा, यह उन प्रोटीन जोड़ों को हटा देता है जो नेटवर्क संरचना में बहुत करीब हैं। ली ने पाया कि पहला चरण पूरे प्रोटीनों को बाहर कर देता है, जिसका अर्थ है कि कुछ प्रोटीनों के लिए, कोई भी नेगेटिव उदाहरण मौजूद नहीं है। दूसरा चरण कई अन्य प्रोटीनों के लिए लगभग सभी जोड़ों को हटा देता है। परिणाम यह है कि एक ऐसा परीक्षण जहाँ "नेगेटिव" उदाहरण इतने विरल और पक्षपाती हैं कि वे प्रोटीन अंतःक्रियाओं की वास्तविक दुनिया का प्रतिनिधित्व नहीं करते हैं। वास्तव में, परीक्षण अपने घोषित ब्रह्मांड के 73% प्रोटीनों को बाहर कर देता है, जिससे उस परीक्षण और उसके द्वारा किए जाने वाले दावे के बीच एक बड़ा अंतर पैदा हो जाता है।
ली का कार्य यह सुझाव नहीं देता कि ये मॉडल बेकार हैं, बल्कि यह है कि हमें इस बारे में ईमानदार होना चाहिए कि वे वास्तव में क्या परीक्षण कर रहे हैं। एक बेंचमार्क को स्पष्ट रूप से यह बताना चाहिए कि वह जैविक दुनिया के किस हिस्से को कवर करता है और उसे यह स्वीकार करना चाहिए कि वह क्या छोड़ रहा है। यदि एक परीक्षण आधे से अधिक उम्मीदवारों को बाहर कर देता है, तो वह बिना किसी अतिरिक्त धारणा के पूरी आबादी के लिए एक मॉडल को दूसरे से बेहतर प्रमाणित नहीं कर सकता है। शोधकर्ता सिफारिश करते हैं कि वैज्ञानिकों को ठीक से रिपोर्ट करना चाहिए कि कितने उम्मीदवारों को शामिल और बाहर किया गया है, और उन्हें यह दावा करने में सावधानी बरतनी चाहिए कि एक मॉडल श्रेष्ठ है, जब तक कि परीक्षण लक्ष्य के इतने बड़े हिस्से को कवर न करे कि निष्पक्ष तुलना संभव हो सके।
ये निष्कर्ष जैविक भविष्यवाणी के क्षेत्र के लिए एक आवश्यक सुधार के रूप में कार्य करते हैं। डेटा जो उसे दिखता है उस पर मॉडल के प्रदर्शन को, उस डेटा के प्रदर्शन से अलग करके जिसे वह मिस करता है, ली ने एक स्पष्ट मार्ग प्रदान किया है। अध्ययन सुझाव देता है कि "स्वच्छ" नेगेटिव बनाने के लिए सख्त फिल्टर का उपयोग करने की वर्तमान प्रथा अधिक नुकसानदेह हो सकती है, जो प्रगति का एक भ्रम पैदा करती है जो तब गायब हो जाता है जब मॉडल जैविक डेटा की जटिल और अपूर्ण वास्तविकता का सामना करते हैं। समाधान इन परीक्षणों को छोड़ने में नहीं है, बल्कि उन्हें उनकी सीमाओं की पूर्ण समझ के साथ डिजाइन करने में है, यह सुनिश्चित करते हुए कि उनके द्वारा बनाई गई रैंकिंग वास्तविकताओं के बजाय परीक्षण की अपनी विशेषताओं को दर्शाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।