Participant-Level Validation Reveals Optimistic Performance in Repeated-Measure NIPT Modeling: A Reproducibility Study

तकनीकी सारांश: बार-बार किए गए माप वाले NIPT मॉडलिंग में प्रतिभागी-स्तरीय सत्यापन

समस्या विवरण
यह शोध पत्र नॉन-इनवेसिव प्रिनैटल टेस्टिंग (NIPT) से जुड़े प्रेडिक्टिव मॉडलिंग में एक महत्वपूर्ण पद्धतिगत दोष को संबोधित करता है जिसमें बार-बार किए गए मापों (repeated measurements) का उपयोग किया जाता है। NIPT डेटासेट में, एक ही प्रतिभागी कई रिकॉर्ड (जैसे, पुन: नमूना लेने, विफल परीक्षणों, या अनुदैर्ध्य नमूनाकरण के कारण) प्रदान कर सकता है। जब प्रशिक्षण और परीक्षण सेट बनाने के लिए मानक रिकॉर्ड-स्तरीय रैंडम स्प्लिटिंग का उपयोग किया जाता है, तो अक्सर एक ही प्रतिभागी के रिकॉर्ड दोनों फोल्ड्स (folds) में दिखाई देते हैं। यह डेटा लीकेज (data leakage) को जन्म देता है, जहाँ मॉडल सामान्य जैविक पैटर्न के बजाय प्रतिभागी-विशिष्ट स्थिर विशेषताओं को सीख लेता है। फलस्वरूप, मानक रिकॉर्ड-स्तरीय क्रॉस-वैलिडेशन, अत्यधिक आशावादी प्रदर्शन अनुमान (optimistically biased performance estimates) प्रदान करता है जो नए प्रतिभागियों पर मॉडल की सामान्यीकरण क्षमता को प्रतिबिंबित नहीं करते हैं।

कार्यप्रणाली (Methodology)
अध्ययन ने 267 पुरुष-भ्रूण प्रतिभागियों से 1,082 रिकॉर्ड और 147 महिला-भ्रूण प्रतिभागियों से 605 रिकॉर्ड वाले एक डी-आइडेंटिफाइड बेंचमार्क डेटासेट का उपयोग किया। लेखकों ने 30 बार दोहराए गए पांच-फोल्ड प्रयोगों के माध्यम से दो सत्यापन प्रोटोकॉल की तुलना करते हुए एक पुनरुत्पादकता अध्ययन (reproducibility study) आयोजित किया:

1. रिकॉर्ड-स्तरीय क्रॉस-वैलिडेशन (Record-Level Cross-Validation): प्रतिभागी की पहचान की परवाह किए बिना पंक्तियों (rows) को यादृच्छिक रूप से फोल्ड्स में आवंटित किया गया।
2. प्रतिभागी-समूहित क्रॉस-वैलिडेशन (Participant-Grouped Cross-Validation): एक ही प्रतिभागी कोड से संबंधित सभी रिकॉर्डों को ठीक एक फोल्ड में आवंटित किया गया, यह सुनिश्चित करते हुए कि कोई भी प्रतिभागी प्रशिक्षण और परीक्षण दोनों सेटों में न आए।

अध्ययन ने समान विशेषताओं और मॉडलों का उपयोग करके तीन अलग-अलग कार्यों का मूल्यांकन किया:

• रिग्रेशन (Regression): निरंतर Y-क्रोमोसोम अंश (Y-chromosome fraction) की भविष्यवाणी करना (पुरुष-भ्रूण उपसमूह)।
• बाइनरी क्लासिफिकेशन (थ्रेशोल्ड): यह भविष्यवाणी करना कि Y-क्रोमोसोम अंश $\ge$ 4% है या नहीं।
• बाइनरी क्लासिफिकेशन (एन्युप्लोइडी): गैर-रिक्त एन्युप्लोइडी लेबल की भविष्यवाणी करना (महिला-भ्रूण उपसमूह)।

मॉडलों में विकास-चरण विश्लेषण के लिए बेयस-अनुकूलित XGBoost और तुलनात्मक सत्यापन प्रयोगों के लिए पारदर्शी रेगुलराइज्ड नॉनलीनियर रिग्रेशन/लॉजिस्टिक रिग्रेशन शामिल थे। कार्यप्रणाली का एक प्रमुख घटक "प्रतिभागी-मीन प्रेडिक्टर" (participant-mean predictor) का उपयोग करके एक पहचान-लीकेज स्ट्रेस टेस्ट (identity-leakage stress test) था। यह प्रेडिक्टर प्रशिक्षण रिकॉर्ड के आधार पर एक प्रतिभागी के औसत Y-फ्रैक्शन का अनुमान लगाता था; यदि वही प्रतिभागी टेस्ट सेट में दिखाई देता, तो मॉडल इस विशिष्ट माध्य (mean) का उपयोग करता। यह यह मापने के लिए एक नेगेटिव कंट्रोल के रूप में कार्य करता कि प्रतिभागी की पहचान अकेले स्पष्ट प्रदर्शन को कितना प्रभावित कर सकती है।

प्रमुख योगदान

• वैलिडेशन बायस का अनुभवजन्य परिमाणीकरण (Empirical Quantification of Validation Bias): अध्ययन एक नियंत्रित, अनुभवजन्य प्रदर्शन प्रदान करता है कि कैसे रिकॉर्ड-स्तरीय स्प्लिटिंग, प्रतिभागी-समूहित स्प्लिटिंग की तुलना में बार-बार मापे जाने वाले बायोस्पेसिमेन डेटा में प्रदर्शन मेट्रिक्स को बढ़ा देती है।
• स्ट्रेस-टेस्ट तंत्र: प्रतिभागी-मीन प्रेडिक्टर का परिचय स्पष्ट रूप से आशावाद (optimism) के तंत्र को अलग करता है, यह दिखाते हुए कि मॉडल केवल प्रतिभागी-विशिष्ट औसत को याद करके उच्च स्कोर प्राप्त कर सकते हैं, न कि हस्तांतरणीय जैविक नियमों को सीखकर।
• पद्धतिगत बेंचमार्क: यह शोध पत्र वैलिडेशन लीकेज के मूल्यांकन के लिए एक पुनरुत्पादक ढांचा स्थापित करता है, इस बात पर जोर देता है कि "सत्यापन की इकाई" (unit of validation) "नैदानिक तैनाती की इकाई" (unit of clinical deployment - प्रतिभागी) के समान होनी चाहिए।

परिणाम
दो सत्यापन प्रोटोकॉल के बीच तुलना ने रिकॉर्ड-स्तरीय से प्रतिभागी-समूहित सत्यापन की ओर बढ़ने पर प्रदर्शन में लगातार गिरावट दिखाई:

• Y-फ्रैक्शन रिग्रेशन: मध्यिका $R^2$ 0.068 (रिकॉर्ड-स्तरीय) से गिरकर 0.046 (प्रतिभागी-समूहित) हो गई। पहचान-लीकेज स्ट्रेस टेस्ट ने समूहित सत्यापन के तहत $R^2 = 0.432$ से -0.006 तक नाटकीय गिरावट दिखाई, जिससे पुष्टि हुई कि रिकॉर्ड-स्तरीय प्रदर्शन प्रतिभागी की पहचान द्वारा संचालित था।
• 4% थ्रेशोल्ड क्लासिफिकेशन: ROC-AUC 0.588 से घटकर 0.563 हो गया।
• एन्युप्लोइडी-लेबल क्लासिफिकेशन: ROC-AUC 0.677 से घटकर 0.666 हो गया, जिसमें प्रिसिजन-रिकॉल AUC 0.365 से गिरकर 0.348 हो गया।

उल्लेखनीय रूप से, विकास-चरण विश्लेषण (पूर्ण डेटासेट पर XGBoost का उपयोग करते हुए रिकॉर्ड-स्तरीय मेट्रिक्स के साथ) ने उच्च प्रदर्शन ($R^2 = 0.794$, ROC-AUC = 0.952) दर्ज किया, जिसे लेखक स्पष्ट करते हैं कि यह विशिष्ट डेटासेट के भीतर भेदभाव (discrimination) का वर्णन करता है लेकिन अनदेखे प्रतिभागियों पर सामान्यीकरण करने में विफल रहता है। समूहित सत्यापन मॉडल पूर्ण संदर्भ में कमजोर बने रहे, जो यह संकेत देते हैं कि वर्तमान डेटा मजबूत व्यक्तिगत नैदानिक समय नियमों या डायग्नोस्टिक क्लासिफायर का समर्थन नहीं करता है।

महत्व और दावे
यह शोध पत्र अपने निष्कर्षों को नैदानिक सत्यापन के बजाय एक पद्धतिगत पुनरुत्पादकता अध्ययन के रूप में विनम्रतापूर्वक प्रस्तुत करता है। इसका प्राथमिक महत्व बार-बार मापे जाने वाले NIPT अध्ययनों में भविष्य कहनेवाला प्रदर्शन (predictive performance) की व्याख्या को सुधारने में निहित है:

• आशावाद संरचनात्मक है (Optimism is Structural): मजबूत रिकॉर्ड-स्तरीय प्रदर्शन अक्सर प्रतिभागी-विशिष्ट सूचना लीकेज को दर्शाता है, न कि सामान्यीकरण योग्य जैविक अंतर्दृष्टि को।
• न्यूनतम मानक: अनदेखे प्रतिभागियों पर सामान्यीकरण सुनिश्चित करने के लिए बार-बार मापे जाने वाले NIPT डेटा की मॉडलिंग के लिए प्रतिभागी-समूहित क्रॉस-वैलिडेशन को न्यूनतम आवश्यकता माना जाना चाहिए।
• नैदानिक सावधानी: लेखक स्पष्ट रूप से कहते हैं कि वर्तमान निष्कर्ष नैदानिक शेड्यूलिंग या डायग्नोस्टिक उपयोग का समर्थन नहीं करते हैं। किसी भी नैदानिक दावे से पहले स्वतंत्र कोहॉर्ट्स के साथ भावी बाहरी सत्यापन आवश्यक है।
• रिपोर्टिंग मानक: यह अध्ययन भविष्य के अध्ययनों में प्रभावी नमूना आकार और वैलिडेशन बायस को छिपाने से रोकने के लिए अद्वितीय प्रतिभागी गणना, प्रति प्रतिभागी रिकॉर्ड और स्पष्ट समूहीकरण नियमों को रिपोर्ट करने की वकालत करता है।