Stress-testing post-market medical-device reporting signals: an empirical study of temporal, entity-label and comparator robustness in FDA MAUDE

तकनीकी सारांश: पोस्ट-मार्केट मेडिकल-डिवाइस रिपोर्टिंग सिग्नल्स का स्ट्रेस-टेस्टिंग

समस्या विवरण
मेडिकल डिवाइसेस की पोस्ट-मार्केट निगरानी अक्सर स्पोंटेनियस रिपोर्टिंग डेटाबेस, जैसे कि FDA के 'मैन्युफैक्चरर एंड यूजर फैसिलिटी डिवाइस एक्सपीरियंस' (MAUDE) पर निर्भर करती है। एक सामान्य विश्लेषणात्मक दृष्टिकोण एक विस्तृत समयावधि में रिपोर्टिंग ऑड्स रेशियो (ROR) की गणना करना है ताकि असंगत रिपोर्टिंग के संकेतों (signals) की पहचान की जा सके। हालांकि, लेखक तर्क देते हैं कि एक विस्तृत अवधि में सकारात्मक बने रहने वाला सिग्नल अनिवार्य रूप से विश्लेषणात्मक मजबूती (analytical robustness) का संकेत नहीं देता है। ऐसे सिग्नल विशिष्ट विश्लेषणात्मक विकल्पों के परिणाम हो सकते हैं, जिनमें शामिल हैं:

• सामयिक अस्थिरता (Temporal instability): लंबी समय खिड़कियों द्वारा छिपा हुआ उतार-चढ़ाव।
• एंटिटी-लेबल निर्भरता (Entity-label dependence): सिग्नल किसी एक निर्माता या मॉडल द्वारा संचालित होते हैं, न कि पूरे क्लास-व्यापी मुद्दे द्वारा।
• तुलनात्मक संवेदनशीलता (Comparator sensitivity): तुलनात्मक समूह (comparator group) की संकीर्ण परिभाषा पर निर्भर परिणाम।
• संचयी लॉक-इन (Cumulative lock-in): ऐतिहासिक साक्ष्य जो तब भी बने रहते हैं जब स्थानीय समर्थन कमजोर हो जाता है।

यह अध्ययन इस बात का अनुभवजन्य मात्रात्मक विवरण (empirical quantification) प्रदान करता है कि समय पैमाने, एंटिटी लेबल, तुलनात्मक विनिर्देशों और संचय रणनीतियों को बाधित करने से सिग्नल वर्गीकरण कैसे प्रभावित होता है।

कार्यप्रणाली (Methodology)
इस रेट्रोस्पेक्टिव एम्पिरिकल मेथडोलॉजिकल स्टडी में 1 जनवरी, 2020 और 31 दिसंबर, 2025 के बीच प्राप्त FDA MAUDE रिकॉर्ड का उपयोग किया गया। विश्लेषण की प्राथमिक इकाई अद्वितीय MDR_REPORT_KEY थी।

• अध्ययन ब्रह्मांड (Study Universe): विश्लेषण 61 प्रोडक्ट-कोड/मैकेनिज्म पेयर्स पर केंद्रित था। इनमें से 19 पेयर्स ने दोनों "शुरुआती" अवधि (2020–2023) और "बाद की" अवधि (2024–2025) में औपचारिक सांख्यिकीय मानदंडों (ROR > 1, लोअर कॉन्फिडेंस लिमिट [LCL] > 1, और बेन्जामिनी-होचबर्ग FDR < 0.05) को पूरा किया।
• स्ट्रेस-टेस्टिंग फ्रेमवर्क: अध्ययन ने इन 19 सिग्नल्स पर कई परटर्बेशन टेस्ट लागू किए:
  1. सामयिक संवेदनशीलता (Temporal Sensitivity): त्रैमासिक ROR (2024Q1–2025Q4) की गणना की गई और "लीव-वन-ईयर-आउट" (LOO) विश्लेषण (2020–2025) किया गया।
  2. एंटिटी-लेबल निष्कासन (Entity-Label Removal): लक्षित सिग्नल रिपोर्टों से अग्रणी नॉर्मलाइज्ड निर्माता नाम और अग्रणी नॉर्मलाइज्ड मॉडल नाम को व्यवस्थित रूप से हटाया गया ताकि सिंगल-एंटिटी निर्भरता का परीक्षण किया जा सके।
  3. तुलनात्मक परटर्बेशन (Comparator Perturbation): तुलनात्मक सेट से व्यक्तिगत कोडों को हटाने के लिए "लीव-वन-कंपैरेटर-कोड-आउट" (LOCO) विश्लेषण किया गया, ताकि विशिष्ट तुलनात्मक परिभाषाओं पर निर्भरता का परीक्षण किया जा सके।
  4. ऐतिहासिक रीप्ले (Historical Replay): 24 संचयी कटऑफ (2020Q1–2025Q4) पर सिग्नल्स का पुनर्मूल्यांकन किया गया और 21 रोलिंग फोर-क्वार्टर विंडो के माध्यम से स्थानीय निरंतरता का आकलन किया गया।
• वर्गीकरण टियर्स (Classification Tiers): सिग्नल्स को उनके विभिन्न स्ट्रेस टेस्ट्स में प्रदर्शन के आधार पर टियर्स (A, B, C, U) में वर्गीकृत किया गया। टियर A उच्चतम मजबूती (सभी सामयिक, एंटिटी और तुलनात्मक मानदंडों को पास करने वाले) का प्रतिनिधित्व करता है।
• संदर्भ संबंधी जुड़ाव (Contextual Linking): नियामक संदर्भ प्रदान करने के लिए रिकॉल इवेंट्स को सिग्नल्स से जोड़ा गया, हालांकि इसे वैलिडेशन के लिए गोल्ड स्टैंडर्ड के रूप में उपयोग नहीं किया गया।

मुख्य योगदान
यह शोध यह प्रदर्शित करता है कि विश्लेषणात्मक विनिर्देश MAUD डेटाबेस में सिग्नल स्थिरता को कैसे प्रभावित करते हैं। इसके प्राथमिक योगदान हैं:

• मजबूती का विभेदीकरण (Differentiation of Robustness): यह स्थापित करता है कि विस्तृत-अवधि निरंतरता, पद्धतिगत स्थिरता का पर्याप्त प्रमाण नहीं है। अध्ययन मात्रात्मक रूप से बताता है कि कितने सिग्नल जो मानक थ्रेशोल्ड को पार करते हैं, वे विशिष्ट परटर्बेशन के तहत विफल हो जाते हैं।
• बहु-आयामी स्ट्रेस टेस्टिंग: यह सामयिक नाजुकता (temporal fragility), एंटिटी-लेबल निर्भरता और तुलनात्मक संवेदनशीलता को अलग करने के लिए एक फ्रेमवर्क पेश करता है, और तर्क देता कि इनका निरीक्षण एक एकल स्कोर में समाहित करने के बजाय अलग-अलग किया जाना चाहिए।
• संचयी बनाम रोलिंग विश्लेषण: यह संचयी साक्ष्य (जो ऐतिहासिक "लॉक-इन" बनाए रख सकता है) और रोलिंग स्थानीय विश्लेषण (जो वर्तमान अस्थिरता को प्रकट करता है) के बीच अंतर को रेखांकित करता है।
• टियर्ड वर्गीकरण: यह विशिष्ट विफलता मोड के आधार पर सिग्नल मजबूती को वर्गीकृत करने के लिए एक पारदर्शी परिचालन पदानुक्रम (Tier A–U) प्रस्तावित करता है।

परिणाम

• सिग्नल स्थिरता: 19 सिग्नल्स जो दोनों समय खिड़कियों में विस्तृत-अवधि मानदंडों को पूरा करते थे, उनमें से केवल 5 (Tier A) ने सभी सामयिक और एंटिटी-लेबल मजबूती मानदंडों को पूरा किया।
• तुलनात्मक संवेदनशीलता: तुलनात्मक परटर्बेशन के तहत, 10 सिग्नल्स मजबूत रहे (Comparator-A), 4 ने दिशा बनाए रखी लेकिन सटीकता खो दी (Comparator-B), और 5 ने दिशा बदल दी (Comparator-C)।
• सामयिक निरंतरता: पांच सबसे मजबूत सिग्नल्स ने सभी 21 रोलिंग फोर-क्वार्टर विंडो में LCL > 1 बनाए रखा। इसके विपरीत, पूर्व-निर्धारित "नाजुक" समूह (13 सिग्नल्स) में मध्यम रोलिंग निरंतरता 0.857 थी। यह अंतर सांख्यिकीय रूप से महत्वपूर्ण था (rank-biserial = 0.846; two-sided P = 0.006)।
• संचयी बनाम स्थानीय: सभी 19 सिग्नल्स अंततः संचयी पुष्टि तक पहुँच गए, जो दर्शाता है कि संचयी विश्लेषण स्थानीय कमजोरी को छिपा सकता है। उदाहरण के लिए, MKJ सिग्नल ने सभी रोलिंग विंडो में ROR > 1 बनाए रखा, लेकिन केवल 21/6 विंडो में LCL > 1 था, जो पॉइंट एस्टीमेट द्वारा छिपी हुई सटीकता की हानि को दर्शाता है।
• उदाहरण स्वरूप मामले: अध्ययन ने चार आर्केटाइप्स (DTZ, DWF, LOX, MKJ) को उजागर किया। DTZ, DWF और LOX ने सभी परीक्षणों में उच्च मजबूती दिखाई, जबकि MKJ ने विस्तृत-अवधि मानदंडों को पूरा करने के बावजूद निर्माता निर्भरता और रोलिंग प्रिसिजन के संबंध में नाजुकता प्रदर्शित की।

महत्व और दावे
लेखक इस कार्य को सख्ती से एक अनुभवजन्य पद्धतिगत प्रदर्शन (empirical methodological demonstration) के रूप में रखते हैं, न कि एक प्रमाणित फ्रेमवर्क, भविष्यवाणी उपकरण, या कारण सुरक्षा मूल्यांकन के रूप में।

• पद्धतिगत दायरा: निष्कर्ष MAUD डेटाबेस के भीतर रिपोर्टिंग असमानता (reporting disproportionality) का वर्णन करते हैं, न कि घटनाओं (incidence), पूर्ण जोखिम, तुलनात्मक सुरक्षा, या भविष्यवाणी का।
• व्यावहारिक निहितार्थ: अध्ययन तर्क देता है कि विस्तृत-अवधि निरंतरता को अकेले एक स्थिर निष्कर्ष के रूप में नहीं माना जाना चाहिए। इसके बजाय, सामयिक, एंटिटी-लेबल और तुलनात्मक स्ट्रेस टेस्ट आवश्यक पूरक संवेदनशीलता जानकारी प्रदान करते हैं।
• सीमाएँ: लेखक स्पष्ट रूप से उल्लेख करते हैं कि अध्ययन की परिभाषाएँ पूरे 2020–2025 रिकॉर्ड की समीक्षा के बाद फ्रीज कर दी गई थीं (वास्तव में प्रोस्पेक्टिव नहीं थी), मजबूती तुलना के लिए नमूना आकार छोटा था, और MAUDE में एक्सपोजर डिनोमिनेटर (exposure denominator) की कमी है। वे इस बात पर जोर देते हैं कि इन निष्कर्षों की सामान्यीकरण क्षमता का परीक्षण करने के लिए एक्सपोजर डिनोमिनेटर वाले बाहरी निगरानी डेटासेट की आवश्यकता है।

निष्कर्षतः, यह पेपर यह दावा करता है कि पोस्ट-मार्केट रिपोर्टिंग सिग्नल्स को एक स्थिर निष्कर्ष मानने के लिए, उन्हें स्वीकार करने से पहले विविध विश्लेषणात्मक विनिर्देशों के माध्यम से परीक्षण करना आवश्यक है, क्योंकि विस्तृत-अवधि की सकारात्मकता (positivity) सामग्री रूप से भिन्न स्तर की विश्लेषणात्मक मजबूती को छिपा सकती है।