Outcome labels and patient reuse in clinical validation: reanalyses of the DIPK and TIL-30 breast-cancer evaluations
यह शोध पत्र DIPK और TIL-30 मॉडलों के स्तन कैंसर नैदानिक सत्यापन का पुनरविश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि कैसे गलत पहचाने गए परिणाम लेबल और रोगी डेटा का पुन: उपयोग रिपोर्ट किए गए प्रदर्शन मेट्रिक्स को कृत्रिम रूप से बढ़ा सकता है, और यह शोधकर्ताओं से आग्रह करता है कि वे सत्यापन परिणामों को उद्धृत करने से पहले परिणाम परिभाषाओं और रोगी स्वतंत्रता को सत्यापित करें।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कैंसर के खिलाफ लड़ाई में, डॉक्टर तेजी से कंप्यूटर मॉडलों पर भरोसा कर रहे हैं जो एक मरीज के जेनेटिक कोड को पढ़कर यह अनुमान लगाते हैं कि ट्यूमर उपचार के प्रति कैसी प्रतिक्रिया देगा। ये मॉडल एक क्रिस्टल बॉल (भविष्य बताने वाले गोले) की तरह काम करते हैं, जो हजारों जीनों का विश्लेषण करके यह अंदाजा लगाते हैं कि क्या कोई दवा ट्यूमर को पूरी तरह से सिकोड़ देगी या उसे वहीं छोड़ देगी। इन भविष्यवाणियों पर भरोसा करने के लिए, उन्हें वास्तविक दुनिया के परिणामों के विरुद्ध परखा जाना चाहिए: क्या मरीज वास्तव में बेहतर हुआ? इस जांच के लिए 'गोल्ड स्टैंडर्ड' (मानक) माइक्रोस्कोप के नीचे ऊतकों (टिश्यू) का परीक्षण है, जिसे कीमोथेरेपी के बाद पैथोलॉजिकल जांच के रूप में जाना जाता है। यदि कोई मॉडल पूर्ण उपचार (कम्प्लीट क्योर) की भविष्यवाणी करने का दावा करता है, तो वैज्ञानिकों को उस दावे को सत्यापित करना चाहिए कि कंप्यूटर के अनुमान की तुलना वास्तविक माइक्रोस्कोपिक परिणामों से की गई है। हालांकि, इन मॉडलों को बनाने और परीक्षण करने के लिए उपयोग किया जाने वाला डेटा अक्सर सार्वजनिक अभिलेखागारों (आर्काइव्स) से आता है, जो डिजिटल पुस्तकालयों की तरह हैं जहाँ शोधकर्ता जेनेटिक जानकारी और क्लिनिकल नोट्स संग्रहीत करते हैं। इन अभिलेखागारों की अखंडता सर्वोपरि है; यदि मरीज के परिणाम का वर्णन करने वाले नोट्स गलत हैं, या यदि एक ही मरीज दो अलग नामों से दो बार दिखाई देता है, तो मॉडल की सटीकता का पूरा परीक्षण समझौता किया जा सकता है।
एडिनबर्ग विश्वविद्यालय के एक शोधकर्ता द्वारा किए गए एक हालिया अध्ययन ने ऐसे ही दो मॉडलों का बारीकी से निरीक्षण किया, दोनों को यह अनुमान लगाने के लिए डिज़ाइन किया गया था कि स्तन कैंसर के मरीज कीमोथेरेपी के प्रति कैसी प्रतिक्रिया देंगे। यह अध्ययन कोई नया प्रयोग नहीं था बल्कि मौजूदा डेटा का एक सावधानीपूर्वक पुनरीक्षण था, जिसमें एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा गया था: क्या उन शोधकर्ताओं ने, जिन्होंने मूल रूप से इन मॉडलों को प्रकाशित किया था, उन्हें सही उत्तरों के विरुद्ध परखा था? पहला मॉडल, जिसे DIPK कहा जाता है, एक डीप-लर्निंग सिस्टम था जिसे लैब में उगाए गए कैंसर कोशिकाओं पर प्रशिक्षित किया गया था और फिर वास्तविक मरीजों पर परखा गया था। दूसरा मॉडल, TIL-30, तीस विशिष्ट जीनों पर आधारित एक सरल उपकरण था। शोधकर्ता ने उनके प्रकाशित सफलता की कहानियों में उपयोग किए गए डेटा के डिजिटल पदचिह्नों का पता लगाया और पाया कि दोनों ही मामलों में, परीक्षण गलत लक्ष्यों के विरुद्ध चलाए गए थे।
DIPK के मामले में, शोधकर्ताओं ने मॉडल की भविष्यवाणियों का परीक्षण 310 मरीजों के डेटासेट के विरुद्ध किया था। समस्या यह थी कि उस डेटासेट में "सही उत्तर" मरीजों की सर्जरी से प्राप्त वास्तविक माइक्रोस्कोपिक परिणाम नहीं थे। इसके बजाय, उस डेटा में DLDA30 नामक एक अन्य, पुराने कंप्यूटर प्रोग्राम द्वारा की गई भविष्यवाणियां शामिल थीं। यह किसी छात्र के निबंध को तथ्यों की जांच करके नहीं, बल्कि यह देखकर ग्रेड देने जैसा है कि क्या उसका निबंध दूसरे छात्र के निबंध से सहमत है। क्योंकि दोनों कंप्यूटर प्रोग्राम एक ही जेनेटिक पैटर्न को देख रहे थे, वे स्वाभाविक रूप से एक-दूसरे से सहमत थे, जिससे DIPK मॉडल वास्तव में जितना सटीक था उससे कहीं अधिक सटीक दिखाई देने लगा। जब शोधकर्ता ने उन कंप्यूटर-जनित उत्तरों को मरीजों के वास्तविक माइक्रोस्कोपिक परिणामों से बदल दिया, तो मॉडल का प्रदर्शन स्कोर काफी गिर गया। इसका मतलब यह नहीं है कि मॉडल पूरी तरह गायब हो गया; मॉडल ने अभी भी उन मरीजों के बीच अंतर करने की कुछ क्षमता दिखाई जो अच्छी तरह से प्रतिक्रिया दे रहे थे और जो नहीं दे रहे थे, लेकिन इसकी स्पष्ट सफलता काफी हद तक वास्तविकता के बजाय एक समान कंप्यूटर प्रोग्राम के साथ तुलना करने से पैदा हुआ एक भ्रम था।
दूसरे मॉडल, TIL-30, को एक अलग प्रकार की त्रुटि का सामना करना पड़ा। इस मॉडल को उपचार के एक पूर्ण कोर्स के बाद पूर्ण उपचार (कम्प्लीट क्योर) की भविष्यवाणी करने के लिए डिज़ाइन किया गया था। हालांकि, मरीजों के एक विशिष्ट समूह में परीक्षण के लिए उपयोग किए गए डेटा में केवल कीमोथेरेपी के पहले चरण के बाद के परिणाम दर्ज किए गए थे। यह एक मैराथन धावक के अंतिम समय को उसके पहले मील की गति के आधार पर आंकने जैसा है। मॉडल का परीक्षण मरीज की स्थिति के एक ऐसे स्नैपशॉट के विरुद्ध किया जा रहा था जो अंतिम कहानी बताने के लिए बहुत जल्दी था। जब शोधकर्ता ने डेटा को सुधारकर उपचार समाप्त होने के बाद के वास्तविक अंतिम परिणाम को दर्शाया, तो मॉडल की परिणाम बताने की क्षमता गिर गई, हालांकि इस गिरावट के लिए सांख्यिकीय साक्ष्य अनिश्चित बने रहे।
गलत उत्तरों के अलावा, अध्ययन ने इस समस्या को भी उजागर किया कि परीक्षण किसे किया जा रहा था। वैज्ञानिक अध्ययनों में, परिणामों की मजबूती सुनिश्चित करने के लिए प्रत्येक गणना किया गया मरीज एक अद्वितीय व्यक्ति होना चाहिए। शोधकर्ता ने पाया कि DIPK अध्ययन में, एक समूह के मरीजों की एक बड़ी संख्या वास्तव में दूसरे समूह के वही लोग थे, जो बस अलग-अलग फाइल नामों के तहत सूचीबद्ध थे। इसका मतलब था कि मॉडल का परीक्षण उन्हीं लोगों पर दो बार किया जा रहा था, जिससे इसके परिणामों में विश्वास का स्तर कृत्रिम रूप से बढ़ गया। इससे भी अधिक चिंताजनक बात यह थी कि TIL-30 मॉडल के लिए, मॉडल को टेस्ट करने के लिए उपयोग किए गए कई मरीज वही लोग थे जिनका उपयोग पहली बार मॉडल को सिखाने (ट्रेनिंग देने) के लिए किया गया था। यह एक छात्र को उस परीक्षा देने जैसा है जिसमें वही प्रश्न शामिल हैं जिन्हें वह अभी कक्षा में पढ़ चुका है; यह यह साबित नहीं करता कि वह सामग्री को समझता है, बल्कि यह कि उसे उत्तर याद हैं। हालांकि इस ओवरलैप ने प्रशिक्षण (ट्रेनिंग) और परीक्षण (टेस्टिंग) के बीच के अंतर को स्पष्ट रूप से बाधित किया, लेकिन अध्ययन में मॉडल के प्रदर्शन स्कोर पर इस पुन: उपयोग के विशिष्ट प्रभाव का अनुमान नहीं लगाया गया था।
अध्ययन केवल त्रुटियां खोजने तक ही सीमित नहीं रहा; इसने यह भी जांचा कि क्या ये मॉडल डॉक्टरों के मौजूदा ज्ञान से परे कोई वास्तविक मूल्य प्रदान करते हैं। डॉक्टर वर्तमान में एक मरीज के ठीक होने की संभावना का अनुमान लगाने के लिए आयु और ट्यूमर के प्रकार जैसे सात मानक नैदानिक कारकों का उपयोग करते हैं। शोधकर्ता ने नए सांख्यिकीय मॉडल बनाए यह देखने के लिए कि क्या इन सात कारकों में कंप्यूटर स्कोर जोड़ने से भविष्यवाणी में सुधार होता है। परिणाम अनिर्णायक रहे। हालांकि कंप्यूटर स्कोर ने भविष्यवाणी को नुकसान नहीं पहुँचाया, लेकिन डेटा इतना मजबूत नहीं था कि यह साबित कर सके कि उन्होंने कोई सार्थक नई जानकारी जोड़ी है। कुछ परीक्षणों में, कंप्यूटर स्कोर ने मदद की तरह महसूस कराया, लेकिन त्रुटि का मार्जिन इतना बड़ा था कि सुधार एक इत्तेफाक भी हो सकता था। इसके अलावा, जब शोधकर्ता ने एक समूह के मरीजों पर प्रशिक्षित मॉडलों को दूसरे समूह पर लागू करने की कोशिश की, तो भविष्यवाणियां बेहद गलत हो गईं, अक्सर यह अनुमान लगाते हुए कि एक चौथाई मरीज ठीक हो जाएंगे जबकि वास्तव में केवल पांचवां हिस्सा ही था, या इसके विपरीत।
अध्यasi यह निष्कर्ष निकालता है कि ये दो विशिष्ट मामले कैंसर अनुसंधान के पूरे क्षेत्र के लिए एक चेतावनी के रूप में कार्य करते हैं। मॉडल स्वयं अनिवार्य रूप से बेकार नहीं थे; DIPK मॉडल ने त्रुटियों को ठीक करने के बाद भी वास्तविक मरीज के परिणामों के साथ एक संबंध बनाए रखा। हालांकि, उनकी सफलता के प्रकाशित दावे कमजोर नींव पर बने थे। "सफलता" भविष्यवाणियों की तुलना अन्य भविष्यवाणियों से करने, उपचार के अधूरे चरणों पर परीक्षण करने, और उन्हीं मरीजों का पुन: उपयोग करने पर टिकी थी जिसने कार्य की वास्तविक कठिनाई को छिपा दिया। शोधकर्ता इस बात पर जोर देता है कि किसी भी नए चिकित्सा उपकरण पर भरोसा करने के लिए, वैज्ञानिकों को तीन चीजों को सत्यापित करना चाहिए: कि जिस परिणाम की भविष्यवाणी की जा रही है वह वास्तविक अंतिम परिणाम है, परीक्षण में शामिल मरीज वास्तव में अलग-अलग व्यक्ति हैं, और वह उपकरण वह कुछ नया जोड़ता है जो डॉक्टर पहले से जानते हैं। इन जांचों के बिना, एक मॉडल कागज पर तो क्रांतिकारी लग सकता है लेकिन क्लिनिक में विफल हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।