Published benchmark AUROC does not predict generalisation: an independent evaluation of protein solubility predictors on native and heterologous E. coli proteins

कल्पना कीजिए कि आप एक शेफ हैं जो एक बेहतरीन केक बनाने की कोशिश कर रहे हैं। जीव विज्ञान (biology) की दुनिया में, "केक" एक प्रोटीन है, जो एक सूक्ष्म आणविक मशीन है जो हमारे शरीर में लगभग सब कुछ करती है और जैव प्रौद्योगिकी (biotechnology) में भी। कभी-कभी, जब वैज्ञानिक इन प्रोटीनों को एक कारखाने में बनाने की कोशिश करते हैं (आमतौर पर E. coli जैसे बैक्टीरिया का उपयोग करके, जो एक ओवन की तरह काम करता है), तो वे प्रोटीन सही ढंग से फोल्ड नहीं हो पाते। इसके बजाय, वे एक मुलायम केक के बजाय, आटे के एक सख्त, बेकार लोथड़े में बदल जाते हैं जिसे "इन्क्लूजन बॉडी" (inclusion body) कहा जाता है। यह एक बहुत बड़ी समस्या है क्योंकि यदि आप उस प्रोटीन को घोलने और काम करने में सक्षम नहीं हैं, तो आप उसका उपयोग दवा बनाने या जीवन का अध्ययन करने के लिए नहीं कर सकते।

इन आपदाओं से बचने के लिए, वैज्ञानिक कंप्यूटर प्रोग्रामों का उपयोग करते हैं जिन्हें "प्रेडिक्टर" (predictors) कहा जाता है। इन्हें एक जादुई रेसिपी बुक की तरह समझें जो सामग्री की सूची (प्रोटीन का अनुक्रम) को देखती है और अनुमान लगाती है, "हे, यह वाला केक बहुत स्पंजी बनेगा!" या "नहीं, यह पत्थर जैसा होगा।" लंबे समय से, इन रेसिपी बुक्स को एक एकल स्कोर द्वारा आंका गया है, जिसे AUROC कहा जाता है, जो एक रिपोर्ट कार्ड ग्रेड की तरह है। एक उच्च ग्रेड का मतलब था कि वह किताब बेहतर थी। बड़ा सवाल यह था: यदि कोई रेसिपी बुक एक विशिष्ट टेस्ट पर 'A' ग्रेड प्राप्त करती है, तो क्या इसका मतलब यह है कि वह तब भी सबसे अच्छा शेफ होगी जब आप उसे सामग्री का एक पूरी तरह से अलग सेट दें? यह शोध जांचता है कि क्या वे चमकदार रिपोर्ट कार्ड ग्रेड वास्तव में यह बताते हैं कि वास्तविक दुनिया में ये कंप्यूटर शेफ कैसा प्रदर्शन करते हैं।

---

द ग्रेट प्रोटीन बेक-ऑफ: जब रिपोर्ट कार्ड झूठ बोलते हैं

इस अध्ययन में, एक शोधकर्ता जैकब ओेशे (Jakob Oeschey) ने सबसे लोकप्रिय प्रोटीन-अनुमान लगाने वाली "रेसिपी बुक्स" को परखने का फैसला किया, लेकिन एक ट्विस्ट के साथ। केवल उनके आधिकारिक रिपोर्ट कार्ड को देखने के बजाय, उन्होंने उन्हें दो बहुत ही अलग तरह की रसोई में पकाया ताकि यह देखा जा सके कि क्या वे गर्मी झेल सकते हैं।

दो रसोईयाँ
दो अलग-अलग प्रकार की बेकिंग चुनौतियों की कल्पना करें:

1. नेटिव किचन (The Native Kitchen): यह वैसा ही है जैसे उन सामग्रियों के साथ बेकिंग करना जो पीढ़ियों से एक ही बगीचे में उगाई गई हैं। यहाँ के प्रोटीन "नेटिव" हैं, जिसका अर्थ है कि वे E. coli बैक्टीरिया के भीतर पाए जाने वाले प्राकृतिक, अपरिवर्तित प्रोटीन हैं। वे अपने वातावरण के आदी हैं, जैसे एक स्थानीय बेकर जो जानता है कि ओवन कैसे काम करता है।
2. हेटरोलॉगस किचन (The Heterologous Kitchen): यह "विदेशी" रसोई है। यहाँ, वैज्ञानिक ऐसे प्रोटीन बनाने की कोशिश कर रहे हैं जो E. coli के नहीं हैं—शायद मानव प्रोटीन या अन्य जीवों के प्रोटीन। ये "हेटरोलॉगस" संरचनाएं हैं। यह एक स्थानीय बेकर से अचानक एक अलग प्रकार का आटा और एक नए ओवन का उपयोग करके एक जटिल फ्रेंच पेस्ट्री बनाने के लिए कहने जैसा है। यह बहुत कठिन है, और इसमें चीजें गलत होने की संभावना अधिक होती है।

प्रतिद्वंद्वी
ओेशे ने दिग्गजों को बुलाया:

• RP3Net और NetSolP: ये "डीप लर्निंग" शेफ हैं। ये अत्यंत बुद्धिमान, जटिल AI मॉडल हैं जिन्होंने लाखों रेसिपी पढ़ी हैं। ये प्रोटीन की दुनिया के सेलिब्रिटी हैं, जो अपने आधिकारिक परीक्षणों पर उच्च स्कोर का दावा करते हैं।
• द सिंपल बेसलाइन्स (The Simple Baselines): ये "दादी के ह्यूरिस्टिक्स" (Grandma's Heuristics) हैं। वे फैंसी AI नहीं हैं; वे बुनियादी रसायन विज्ञान (जैसे कि मिश्रण में कितने "चिपचिपे" या "फिसलन भरे" घटक हैं) पर आधारित सरल, पुराने जमाने के नियम हैं। वे विनम्र, बिना किसी तामझाम वाले बेकर हैं।

चौंकाने वाले परिणाम
जब ओेशे ने नेटिव किचन (आसान, स्थानीय बगीचा) में इन शेफों का परीक्षण किया, तो परिणाम अराजक और आश्चर्यजनक थे।

• NetSolP स्टार शेफ था, जिसने 0.792 का स्कोर किया। नेटिव प्रोटीनों के बारे में भविष्यवाणी करने में यह सबसे अच्छा था।
• RP3Net, वह सेलिब्रिटी AI जिसने अपने स्वयं के आधिकारिक परीक्षण पर 0.83 का स्कोर होने का दावा किया था, बुरी तरह विफल रहा। इसने केवल 0.709 स्कोर किया।
• यहाँ मुख्य बात यह है: साधारण, पुराने जमाने के "दादी" वाले नियम (विशेष रूप से, सॉल्युबिलिटी-वेटेड इंडेक्स, या SWI) ने 0.745 स्कोर किया। इसका मतलब है कि साधारण नियम ने फैंसी AI को हरा दिया! वह AI जो सबसे अच्छा होने का दावा करता था, वास्तव में एक बेसिक कैलकुलेटर से भी बदतर था।

सबसे अच्छे AI (NetSolP) और सबसे खराब AI (RP3Net) के बीच का अंतर 0.083 था। विज्ञान की दुनिया में यह एक बहुत बड़ा अंतर है। यह इतना बड़ा था कि दोनों "सुपर-स्मार्ट" मॉडल एक-दूसरे से सहमत नहीं थे; वे स्पेक्ट्रम के विपरीत छोरों पर थे।

विदेशी रसोई की तबाही
फिर, ओेशे ने शेफ को हेटरोलॉगस किचन (कठिन, विदेशी चुनौती) में स्थानांतरित किया।

• अचानक, दोनों AI शेफ एक जैसा व्यवहार करने लगे। दोनों ने लगभग 0.63 स्कोर किया, जो ठीक है, लेकिन अद्भुत नहीं।
• साधारण नियम उनसे पीछे रह गए, लेकिन वे अभी भी खेल में थे।
• लेकिन असली ड्रामा एक तीसरे AI PLM_Sol से आया। इस मॉडल ने अपने स्वयं के टेस्ट पर 0.83 का स्कोर होने का दावा किया। लेकिन जब ओेशे ने विदेशी प्रोटीनों पर इसका परीक्षण किया, तो यह 0.564 पर गिर गया। यह लगभग एक कॉइन फ्लिप (सिक्का उछालने) जैसा है! इसने साधारण नियमों से भी खराब प्रदर्शन किया और अनुमान लगाने से मुश्किल से थोड़ा ही बेहतर था। उन प्रोटीनों को हटाने के बाद भी जिन्हें इसने शायद "चीटिंग" करके याद कर लिया होगा, यह फिर भी विफल रहा।

इसका क्या अर्थ है
मुख्य सबक यह है कि एक चमकदार रिपोर्ट कार्ड (एक उच्च बेंचमार्क स्कोर) यह गारंटी नहीं देता कि एक शेफ नई तरह की कुकिंग में अच्छा होगा।

• RP3Net अपने विशिष्ट कार्य (मानव ड्रग टारगेट्स की भविष्यवाणी करना) में महान था लेकिन नेटिव कार्य में बहुत खराब था।
• NetSolP नेटिव कार्य में महान था लेकिन विदेशी कार्य में केवल ठीक-ठाक था।
• PLM_Sol कागज पर शानदार दिख रहा था लेकिन सामग्री बदलने पर पूरी तरह से विफल हो गया।

अध्ययन ने कुछ बहानों को भी खारिज कर दिया। उन्होंने यह सुनिश्चित करने के लिए जांचा कि कहीं AI अपने ट्रेनिंग डेटा से उत्तरों को याद करके "चीटिंग" तो नहीं कर रहा है। किसी भी ओवरलैपिंग प्रोटीन को हटाने के बाद भी, परिणाम वही रहे। विफलता चीटिंग के कारण नहीं थी; यह इसलिए थी क्योंकि मॉडल एक विशिष्ट प्रकार के प्रोटीन के लिए प्रशिक्षित थे और दूसरे प्रकार के प्रोटीन के लिए वे सामान्यीकरण (generalize) नहीं कर सके।

निष्कर्ष
यदि आप प्रोटीन बनाने की कोशिश कर रहे हैं एक वैज्ञानिक हैं, तो केवल उस टूल को न चुनें जिसके बॉक्स पर सबसे अधिक नंबर लिखा हो। यदि आपका प्रोटीन उस प्रकार का है जिस पर टूल को प्रशिक्षित किया गया था, तो वह नंबर एक झूठ हो सकता है। कभी-कभी, एक साधारण, पुराना नियम-आधारित तरीका वास्तव में एक फैंसी, महंगे AI की तुलना में अधिक विश्वसनीय होता है। यह जानने का सबसे अच्छा तरीका कि कोई टूल काम करता है या नहीं, यह है कि उसे ठीक उसी प्रकार के प्रोटीनों पर टेस्ट करें जिन्हें आप बनाने की कोशिश कर रहे हैं, न कि केवल हेडलाइन नंबर पर भरोसा करें।

संक्षेप में: प्रोटीन प्रेडिक्शन की दुनिया में, संदर्भ (context) ही सर्वोपरि है। एक मॉडल जो एक रसोई में जीनियस है, वह दूसरी रसोई में आपदा बन सकता है, और एक साधारण नियम कभी-कभी सुपर-कंप्यूटर को भी मात दे सकता है यदि स्थितियाँ सही हों।