Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them

हर साल, संयुक्त राज्य अमेरिका का खाद्य एवं औषधि प्रशासन (FDA) फार्मास्युटिकल कारखानों के निरीक्षकों की टीमें भेजता है ताकि यह सुनिश्चित किया जा सके कि वे दवाएं सुरक्षित रूप से बना रहे हैं। ये निरीक्षण सार्वजनिक स्वास्थ्य का एक महत्वपूर्ण हिस्सा हैं और एजेंसी इनके परिणामों को प्रकाशित करती है। जब किसी निरीक्षक को कोई समस्या नहीं मिलती, तो सुविधा को उत्तीर्ण ग्रेड (passing grade) प्राप्त होता है। जब गंभीर मुद्दे पाए जाते हैं, तो सुविधा को विफल ग्रेड (failing grade) मिलता है, जिससे जुर्माना, उत्पादों की जब्ती या अन्य कानूनी कार्रवाई हो सकती है। जो कोई भी यह समझने की कोशिश कर रहा है कि ये कारखाने कितनी अच्छी तरह काम कर रहे हैं, उनके लिए ये सार्वजनिक रिकॉर्ड सूचनाओं का एक खजाना हैं। ये दिनांकित हैं, इनमें लाखों सुविधाओं का विवरण है, और ये किसी के भी उपयोग के लिए निःशुल्क हैं। यह उन्हें कंप्यूटर प्रोग्रामों, जिन्हें मशीन लर्निंग मॉडल कहा जाता है, को प्रशिक्षित करने के लिए उपयुक्त बनाता है ताकि भविष्य में किन कारखानों के जोखिम में होने की संभावना है, इसका पूर्वानुमान लगाया जा सके। उम्मीद यह है कि पिछले रिकॉर्डों का अध्ययन करके, ये प्रोग्राम समस्या होने से पहले ही उसे पहचान सकते हैं, जिससे नियामकों को अपने सीमित संसाधनों को वहां केंद्रित करने में मदद मिल सके जहां उनकी सबसे अधिक आवश्यकता है।

हालाँकि, इन रिकॉर्डों को रखने के तरीके में एक छिपा हुआ दोष है जो अब तक अनसुना रहा है। दोष निरीक्षण में नहीं है, बल्कि इस बात में है कि अंतिम परिणाम कैसे लिखा जाता है और सार्वजनिक किया जाता है। जब कोई कारखाना निरीक्षण में उत्तीर्ण होता है, तो एजेंसी परिणाम को तेजी से और विश्वसनीय रूप से दर्ज करती है। लेकिन जब कोई कारखाना विफल होता है, तो प्रक्रिया बहुत धीमी हो जाती है, और अक्सर, परिणाम सार्वजनिक डेटाबेस में कभी दर्ज ही नहीं किया जाता है। यह उन लोगों के लिए वास्तविकता का एक विकृत दृश्य बनाता है जो इस डेटा का उपयोग कर रहे हैं। डेटा देखने वाला एक कंप्यूटर प्रोग्राम एक ऐसी दुनिया देखता है जहाँ लगभग सब कुछ ठीक है, क्योंकि बुरी खबरें या तो गायब हैं या इतनी देरी से आती हैं कि प्रोग्राम पहले ही आगे बढ़ चुका होता है। यह कोई छोटी त्रुटि नहीं है; यह एक मौलिक पूर्वाग्रह (bias) है जो वास्तव में डेटा के अर्थ को बदल देता है।

फनी कुमार बालगम नामक एक शोधकर्ता ने 2018 और 2023 के बीच हुए दस हजार से अधिक ड्रग निरीक्षणों को देखकर इस मुद्दे की जांच की। अध्ययन ने निरीक्षणों के एक विशिष्ट समूह पर ध्यान केंद्रित किया जिन्हें पूरी तरह से संसाधित होने के लिए पर्याप्त समय दिया गया था। निष्कर्ष चौंकाने वाले थे। उन निरीक्षणों के लिए जो विफल ग्रेड के साथ समाप्त हुए, लगभग छिहत्तर प्रतिशत का अंतिम निर्णय डेटाबेस में दर्ज किया गया था। उन निरीक्षणों के लिए जो विफल ग्रेड के साथ समाप्त हुए, केवल छब्बीस प्रतिशत का ही रिकॉर्ड दर्ज किया गया था। इसका अर्थ है कि एक उत्तीर्ण निरीक्षण के सार्वजनिक रिकॉर्ड में दिखने की संभावना विफल निरीक्षण की तुलना में लगभग तीन गुना अधिक है। इसके अलावा, जब एक विफल निरीक्षण रिकॉर्ड किया भी जाता है, तो इसमें काफी समय लगता है। औसतन, एक उत्तीर्ण निरीक्षण लगभग इक्यासी दिनों में लॉग हो जाता है, जबकि एक विफल निरीक्षण में तीन सौ से अधिक दिन लगते हैं। कई मामलों में, विफल परिणाम कभी दिखाई ही नहीं देता।

यह देरी और अनुपस्थिति उन कंप्यूटर मॉडलों के लिए एक गंभीर समस्या पैदा करती है जो इस डेटा पर निर्भर हैं। ये मॉडल अक्सर किसी कारखाने के इतिहास को देखने के लिए प्रशिक्षित होते हैं ताकि भविष्य का अनुमान लगाया जा सके। यदि किसी कारखाने पांच साल पहले विफल हुआ था, तो मॉडल को आदर्श रूप से यह पता होना चाहिए। लेकिन चूंकि उस विफलता का रिकॉर्ड अभी तक मौजूद नहीं हो सकता, या शायद मौजूद ही न हो, इसलिए मॉडल उसे देख नहीं पाता। शोधकर्ता ने एक भविष्यवाणी मॉडल को फिर से बनाया यह परीक्षण करने के लिए कि क्या होता है जब कंप्यूटर को रिकॉर्ड के वास्तव में प्रकट होने तक प्रतीक्षा करने के लिए मजबूर किया जाता है। परिणाम एक मॉडल की अच्छी और बुरी फैक्टरियों के बीच अंतर करने की क्षमता में महत्वपूर्ण गिरावट थी। मॉडल की सटीकता एक मापने योग्य मात्रा में गिर गई, जिससे यह सिद्ध हुआ कि पिछले उच्च स्कोर आंशिक रूप से एक ऐसे भ्रम (illusion) से बने थे जो उस डेटा से पैदा हुआ जिसे मॉडल वास्तव में उस समय नहीं देख सकता था। मॉडल उस जानकारी का उपयोग कर रहा था जो वास्तविक दुनिया में अभी उपलब्ध नहीं थी।

यह समस्या इन मॉडलों को काम में लगाने के बाद उनकी निगरानी करने के मामले में और भी बदतर हो जाती है। नियामक अक्सर यह जांचते हैं कि क्या कोई मॉडल अभी भी सही ढंग से काम कर रहा है, इसके लिए वे मॉडल द्वारा की गई भविष्यवाणी की तुलना वास्तविक घटना से करते हैं। वे मॉडल द्वारा अनुमानित विफलताओं और वास्तव में हुई विफलताओं के अनुपात को देखते हैं। चूंकि सार्वजनिक रिकॉर्ड में कई विफलताएं गायब हैं, इसलिए यह जांच एक पूरी तरह से गलत उत्तर देती है। शोधकर्ता ने पाया कि मानक जांच केवल उन वास्तविक विफलताओं का लगभग छह प्रतिशत ही देख पाती है जिन्हें मॉडल को पकड़ लेना चाहिए था। यह नदी की गहराई को केवल सतह पर उठने वाली लहरों को देखकर मापने की कोशिश करने जैसा है, जबकि नीचे की गहरी धाराओं को अनदेखा कर दिया जाता है।

अध्ययन ने उन मानक गणितीय युक्तियों का भी परीक्षण किया जिनका उपयोग सांख्यिकीविद लुप्त डेटा (missing data) को ठीक करने के लिए करते हैं। एक सामान्य विधि यह अनुमान लगाने की कोशिश करती है कि उपलब्ध जानकारी के आधार पर कितनी विफलताएं गायब हैं। शोधकर्ता ने पाया कि इस मामले में यह विधि पूरी तरह से विफल हो जाती है। गायब विफलताएं केवल विलंबित नहीं हैं; वे अक्सर हमेशा के लिए गायब हो जाती हैं। क्योंकि डेटा यह नहीं बताता कि कोई रिकॉर्ड क्यों गायब है, कंप्यूटर सत्य का अनुमान नहीं लगा सकता। दूसरी विधि, जिसमें डेटा के आने तक अधिक समय तक प्रतीक्षा करना शामिल है, थोड़ी मदद करती है, लेकिन पर्याप्त नहीं। दो साल तक प्रतीक्षा करने के बाद भी, जांच अभी भी अधिकांश विफलताओं को मिस करती है। अध्ययन निष्कर्ष निकालता है कि वर्तमान सार्वजनिक डेटा का उपयोग करके इस निगरानी समस्या को ठीक करने का कोई तरीका नहीं है। गायब जानकारी बस वहां नहीं है जिसे खोजा जा सके।

शोधकर्ता का सुझाव है कि समाधान आश्चर्यजनक रूप से सरल है। एफडीए (FDA) के पास पहले से ही वह जानकारी है जिसकी उसे आवश्यकता है; उसे बस एक अतिरिक्त डेटा बिंदु प्रकाशित करने की आवश्यकता है: वह सटीक तिथि जब वर्गीकरण निर्णय सार्वजनिक रूप से दृश्यमान बनाया गया था। यदि एजेंसी एक साधारण क्षेत्र जोड़ देती है जो यह दिखाए कि रिकॉर्ड कब पोस्ट किया गया था, तो यह कंप्यूटर प्रोग्रामों को यह जानने में सक्षम बनाएगा कि वे किसी भी समय क्या और कितना देख सकते हैं। इससे मॉडल अतीत की भविष्यवाणियां करने के लिए भविष्य की जानकारी का उपयोग करना बंद कर देंगे और निगरानी करने वाले यह समझ पाएंगे कि वे चित्र का कितना हिस्सा देख पा रहे हैं। इस बदलाव के बिना, सार्वजनिक रिकॉर्ड निरंतर एक ऐसी दुनिया दिखाते रहेंगे जहाँ फार्मास्युटिकल कारखाने वास्तव में होने की तुलना में अधिक सुरक्षित हैं, और हमें बचाने के लिए डिज़ाइन किए गए उपकरण उन खतरों के प्रति अंधे ही रहेंगे जिन्हें खोजने के लिए उन्हें बनाया गया है।