Nested cross-validation reduces optimism in metabolomics-based prediction of immune checkpoint inhibitor outcomes
यह अध्ययन प्रदर्शित करता है कि इम्यून चेकपॉइंट इनहिबिटर परिणामों के लिए मेटाबोलोमिक्स-आधारित भविष्य कहनेवाला मॉडल विकसित करते समय, नेस्टेड क्रॉस-वैलिडेशन (nested cross-validation), सिंगल-स्प्लिट होल्डआउट या नॉन-नेस्टेड क्रॉस-वैलिडेशन की तुलना में आशावाद को काफी कम करता है और अधिक विश्वसनीय प्रदर्शन अनुमान प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: कुछ कैंसर रोगी 'इम्यून चेकपॉइंट इनहिबिटर' (ICI) नामक एक नई प्रकार की दवा के प्रति अविश्वसनीय रूप से अच्छी प्रतिक्रिया क्यों देते हैं, जबकि अन्य नहीं देते? ये दवाएं शरीर के अपने पुलिस बल (प्रतिरक्षा प्रणाली) को कैंसर कोशिकाओं का शिकार करने के लिए सुपर-चार्ज करने जैसी हैं। लेकिन पुलिस बल हमेशा काम पर नहीं आता है, और हमें यह अनुमान लगाने का तरीका चाहिए कि किसे मदद मिलेगी। वैज्ञानिकों ने हमारे रक्त में तैरते सूक्ष्म रासायनिक संदेशवाहकों, जिन्हें मेटाबोलाइट्स कहा जाता है, को सुराग के रूप में देखने की शुरुआत की है। इस क्षेत्र को मेटाबोलोमिक्स (metabolomics) कहा जाता है। यह तूफान से पहले चींटियों के व्यवहार को देखकर मौसम का अनुमान लगाने जैसा है। समस्या यह है कि ये रासायनिक सुराग बहुत अस्त-व्यस्त हैं, ये हजारों में हैं, और उन रोगियों की संख्या जिनका हम अध्ययन कर सकते हैं वह अक्सर काफी कम होती है। जब आप सुरागों के एक छोटे, बिखरे हुए ढेर में पैटर्न खोजने की कोशिश करते हैं, तो खुद को यह विश्वास दिलाने में बहुत आसान होता है कि आपने एक आदर्श पैटर्न ढूंढ लिया है, जबकि वास्तव में आपने केवल एक संयोग पाया है। यह "अति-आशावाद" (over-optimism) का खतरा है।
यह शोध पत्र मूल रूप से इस बारे में है कि हम अपने जासूसी काम की जांच कैसे करते हैं। शोधकर्ता यह देखना चाहते थे कि क्या हमारे द्वारा अपने प्रेडिक्शन मॉडल (भविष्यवाणी मॉडल) का परीक्षण करने का तरीका हमें यह सोचने पर मजबूर करता है कि वे वास्तव में जितने हैं उससे कहीं बेहतर हैं। उन्होंने तीन अलग-अलग तरीकों की तुलना की: एक सरल "होल्डआउट" टेस्ट (जहाँ आप डेटा को एक अभ्यास समूह और एक परीक्षण समूह में विभाजित करते हैं), एक "नॉन-नेस्टेड" क्रॉस-वैलिडेशन (जहाँ आप डेटा को शफल करते हैं और परीक्षण करते हैं, लेकिन अनजाने में परीक्षण समूह के सुरागों को यह चुनने में प्रभाव डालने देते हैं कि कौन से सुराग सबसे महत्वपूर्ण हैं), और एक "नेस्टेड" क्रॉस-वैलिडेशन (एक सख्त, अधिक सावधानीपूर्ण तरीका जहाँ आप परीक्षण के सुरागों को अंत तक पूरी तरह से छिपा कर रखते हैं)।
इस अध्ययन ने उपचार शुरू होने से पहले लिए गए रक्त के छह अलग-अलग सेटों और उपचार के बाद लिए गए दस सेटों का अध्ययन किया, जिसमें रसायनों को मापने के लिए उच्च-तकनीकी मशीनों का उपयोग किया गया। उन्होंने अपने प्रेडिक्शन मॉडल को इन तीनों परीक्षण विधियों के माध्यम से चलाया। परिणाम एक चेतावनी की तरह थे। जब उन्होंने "नॉन-नेस्टेड" विधि का उपयोग किया, तो मॉडल रॉक स्टार की तरह दिखे, जिसका औसत स्कोर (जिसे ROC-AUC कहा जाता है) प्री-ट्रीटमेंट नमूनों के लिए 0.882 था। लेकिन जब उन्होंने सख्त "नेस्टेड" विधि का उपयोग किया, तो स्कोर गिरकर बहुत ही साधारण 0.705 हो गया। यह एक बहुत बड़ा अंतर है! यह एक छात्र द्वारा अभ्यास टेस्ट में ए+ प्राप्त करने जैसा है क्योंकि उसने उत्तर देख लिए थे, लेकिन फिर वास्तविक परीक्षा में जब उत्तर छिपे हुए थे, तो उसे सी ग्रेड मिला। "नॉन-नेस्टेड" विधि ने मॉडल की क्षमता को औसतन लगभग 0.18 अंक से बढ़ा-चढ़ाकर दिखाया।
शोधकर्ताओं ने पाया कि इस नकली सफलता का मुख्य अपराधी वह चरण था जहाँ कंप्यूटर यह चुनता है कि कौन से रासायनिक सुराग सबसे महत्वपूर्ण हैं। यदि आप कंप्यूटर को उन्हीं सुरागों को चुनने देते हैं जिनका उपयोग वह परीक्षण को ग्रेड देने के लिए करता है, तो वह भ्रमित हो जाता है और रैंडम शोर (noise) को एक वास्तविक संकेत समझ लेता है। "नेस्टेड" विधि इसे ठीक करती है क्योंकि यह कंप्यूटर को परीक्षण डेटा देखने से पहले एक अलग डेटा सेट पर सुराग चुनने के लिए मजबूर करती है। दिलचस्प बात यह है कि "होल्डआउट" विधि (सरल विभाजन) ने नॉन-नेस्टेड विधि की तुलना में स्कोर को उतना अधिक नहीं बढ़ाया, लेकिन यह बहुत अस्थिर थी, जो परिणामों की एक विस्तृत श्रृंखला देती थी, जैसे कि एक डगमगाता हुआ पैमाना। नेस्टेड विधि ने उत्तरों की एक सटीक और अधिक विश्वसनीय सीमा प्रदान की।
टीम ने यह भी देखा कि उपचार से पहले या बाद में परीक्षण करना मायने रखता है या नहीं। उत्तर यह है कि: यह रोगियों के विशिष्ट समूह पर निर्भर करता है। कुछ प्रकार के कैंसर में, उपचार से पहले लिए गए रक्त के नमूने सबसे अच्छे भविष्यवक्ता थे, जबकि अन्य में, उपचार शुरू होने के बाद के नमूने बेहतर थे। सभी के लिए परीक्षण करने का कोई एक "जादुई समय" नहीं था।
अंत में, टीम ने मेलानोमा रोगियों के साथ एक अलग प्रकार की मशीन (आमतौर पर मास स्पेक्ट्रोमीटर के बजाय NMR) पर इसका परीक्षण किया, और वही पैटर्न बना रहा: सख्त नेस्टेड विधि ने ढीली विधियों की तुलना में अधिक यथार्थवादी, कम स्कोर दिया। लेखकों का निष्कर्ष है कि छोटे अध्ययनों के लिए, जहाँ हम कैंसर उपचार के लिए बायोमार्कर खोजने की कोशिश कर रहे हैं, हमें सख्त "नेस्टेड" विधि का उपयोग करना चाहिए। यदि हम ऐसा नहीं करते हैं, तो हम एक "परफेक्ट" प्रेडिक्टर के बारे में उत्साहित हो सकते हैं जो वास्तव में हमारी अपनी परीक्षण संबंधी गलतियों से बना एक मृगतृष्णा (mirage) है। हालांकि यह अभी तक हमें एक तैयार-उपयोग चिकित्सा परीक्षण नहीं देता है, लेकिन यह हमें खेल के सही नियम देता है ताकि जब हम वास्तव में एक वास्तविक बायोमार्कर खोज लें, तो हम उस पर भरोसा कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।