Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York
न्यूयॉर्क का यह राज्यव्यापी अध्ययन यह प्रकट करता है कि जबकि अधिकांश उपयोगिताओं के प्रेडिक्टिव लीड सर्विस-लाइन मॉडल भौतिक सत्यापन के अनुरूप हैं, न्यूयॉर्क सिटी की प्रणाली एक सांख्यिकीय रूप से महत्वपूर्ण विसंगति दर्शाती है जहाँ एक मॉडल 43,000 से अधिक पतों को "नोन अदर" (Known Other) के रूप में वर्गीकृत करता है जबकि भौतिक उत्खनन ने लगभग 121,000 पतों पर लीड की पुष्टि की है, साथ ही इस बात के प्रमाण भी मिले हैं कि कुछ सार्वजनिक-पक्ष के निर्धारण त्रुटिवश ग्राहक-पक्ष के मॉडल आउटपुट से कॉपी किए गए थे।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
संयुक्त राज्य अमेरिका में, 'लीड एंड कॉपर रूल रिवीजन्स' नामक एक संघीय नियम यह अनिवार्य करता है कि प्रत्येक सामुदायिक जल प्रणाली अपने सर्विस लाइनों का एक पूर्ण मानचित्र तैयार करे, जो वे पाइप हैं जो सड़क से व्यक्तिगत घरों तक पानी ले जाते हैं। इसका लक्ष्य उन पाइपों को खोजना और बदलना है जो सीसे (लेड) से बने हैं, जो एक जहरीली धातु है और बच्चों के लिए गंभीर स्वास्थ्य समस्याएं पैदा कर सकती है। दशकों से, उपयोगिता कंपनियों को पता था कि सीसे के पाइप कहाँ हैं क्योंकि उनके पास पुराने कागजी रिकॉर्ड थे या उन्होंने उन्हें देखने के लिए खुदाई की थी। लेकिन उन लाखों पतों के लिए जहाँ कोई रिकॉर्ड मौजूद नहीं था, नए नियमों ने जल कंपनियों को खुदाई करने के बजाय पाइप की सामग्री का अनुमान लगाने के लिए कंप्यूटर मॉडल का उपयोग करने की अनुमति दी। ये मॉडल घर की उम्र और पड़ोस जैसे डेटा का विश्लेषण करते हैं ताकि यह भविष्यवाणी की जा सके कि पाइप के सीसे, तांबे या प्लास्टिक होने की संभावना कितनी है। विचार यह था कि इससे पैसा और समय बचाया जा सके, क्योंकि हर एक पाइप को खोदना बेहद महंगा है। हालाँकि, क्योंकि ये मॉडल केवल अनुमान हैं, नियम उपयोगिताओं को यह अनिवार्य करते हैं कि वे उन पाइपों का भौतिक निरीक्षण करके अपनी सटीकता की जांच करें जिन्हें उन्होंने वर्गीकृत किया है। जनहित इस बात पर टिका है कि क्या ये कंप्यूटर अनुमान सार्वजनिक स्वास्थ्य के साथ विश्वास करने के लिए पर्याप्त विश्वसनीय हैं, या क्या वे सांख्यिकीय आत्मविश्वास की एक परत के नीचे खतरनाक संख्या में सीसे के पाइपों को छिपा रहे हैं।
मुहम्मद सरमद सोहेल नामक एक शोधकर्ता ने न्यूयॉर्क राज्य के जल उपयोगिताओं द्वारा दायर किए गए सार्वजनिक रिकॉर्डों को देखकर इस प्रणाली का परीक्षण करने का निर्णय लिया। न्यूयॉर्क अद्वितीय है क्योंकि यह प्रत्येक पते के लिए एक विस्तृत सूची प्रकाशित करता है, जो स्पष्ट रूप से दिखाता है कि उपयोगिता ने पाइप की सामग्री का निर्धारण कैसे किया: चाहे उन्होंने उसे खोदकर निकाला हो, कागजी रिकॉर्ड देखा हो, या कंप्यूटर मॉडल का उपयोग किया हो। सोहेल ने यह साबित करने की कोशिश नहीं की कि कंप्यूटर मॉडल सामान्य रूप से गलत थे; इसके बजाय, उन्होंने यह देखने के लिए कि क्या वे संख्यात्मक आंकड़े तर्कसंगಲ್ಲ हैं, न्यूयॉर्क में उपयोगिताओं द्वारा दर्ज किए गए विशिष्ट आंकड़ों पर ध्यान केंद्रित किया। उन्होंने उन 153 स्थानीय निकायों पर ध्यान केंद्रित किया जिन्होंने इन कंप्यूटर मॉडलों का कम से कम 100 पतों के लिए उपयोग किया था। उनका पहला कदम एक सरल जांच थी: उन्होंने गिना कि मॉडलों ने कितने अलग-अलग उत्तर दिए। एक स्वस्थ प्रणाली में, एक मॉडल को कभी "सीसा", कभी "तांबा" और कभी "अज्ञात" कहना चाहिए, जो घर के विशिष्ट विवरण पर निर्भर करता है। लेकिन उन 75 स्थानीय निकायों में, जो लगभग 1,26,000 पतों को कवर करते थे, मॉडल ने प्रत्येक घर के लिए केवल एक ही एकल उत्तर दिया। यह वैसा ही था जैसे कोई मौसम विज्ञानी मौसम या स्थान की परवाह किए बिना, साल के हर दिन के लिए बारिश की भविष्यवाणी करे।
विविधता की यह कमी अपने आप में धोखाधड़ी का संकेत नहीं है, बल्कि एक चेतावनी है कि कुछ गलत है। सोहेल ने फिर इन "एक-उत्तर" वाली सूचियों की तुलना उन्हीं शहरों में किए गए भौतिक निरीक्षणों से की जो उन्हीं जल उपयोगिताओं द्वारा किए गए थे। अधिकांश मामलों में, मॉडल द्वारा दिया गया एकल उत्तर उस सामग्री से मेल खाता था जो श्रमिकों ने जमीन में पाई थी। हालाँकि, सात विशिष्ट स्थानों पर, मॉडल का एकल उत्तर उन श्रमिकों के निष्कर्षों के विपरीत था जिन्होंने वहां काम किया था। सबसे चौंकाने वाला उदाहरण न्यूयॉर्क शहर था। शहर ने 43,215 पतों को वर्गीकृत करने के लिए एक कंप्यूटर मॉडल का उपयोग किया। उन सभी पतों के लिए, मॉडल ने कहा कि पाइप "नोनन अदर" (ज्ञात अन्य) था, जो एक ऐसी श्रेणी है जिसका अर्थ है कि पाइप निश्चित रूप से सीसे का नहीं है, भले ही विशिष्ट सामग्री अज्ञात हो। शहर ने अन्य तरीकों से हजारों जगहों पर सीसे के पाइप पाए थे, और उसने 1,20,000 से अधिक अन्य पतों के लिए "अज्ञात" श्रेणी का उपयोग किया था। फिर भी, इन 43,000 घरों के विशाल समूह के लिए, मॉडल ने एक बार भी यह सुझाव नहीं दिया कि पाइप सीसे का हो सकता है या अज्ञात हो सकता है। यह 1940 से पहले के बने कई घरों वाले समूह के लिए "सीसे का नहीं है" का एक पूर्ण, अटूट रिकॉर्ड था, उस समय जब सीसे के पाइप आम थे।
यह विरोधाभास केवल एक सांख्यिकीय संयोग नहीं था; इसकी पुष्टि शहर के अपने श्रमिकों द्वारा की गई थी। न्यूयॉर्क शहर के पांच बोरो (boroughs) में, श्रमिकों ने भौतिक रूप से हजारों पाइपों को खोदा और उनका निरीक्षण किया, जिसमें महत्वपूर्ण संख्या में सीसा पाया गया। यदि कंप्यूटर मॉडल सही ढंग से काम कर रहा होता, तो उसे उन 43,000 पतों में से कुछ को संभावित रूप से सीसे का चिह्नित करना चाहिए था। इसके बजाय, इसने उन सभी को सुरक्षित घोषित कर दिया। यही अजीब पैटर्न ईस्ट रोचेस्टर में भी देखा गया, जो एक छोटा गाँव है और वहां से 550 किलोमीटर दूर एक पूरी तरह से अलग जल कंपनी है। वहां भी, मॉडल ने प्रत्येक घर के लिए एक ही "सीसे का नहीं है" वाला उत्तर दिया, भले ही श्रमिकों ने उस गाँव में पाइप खोदे थे और उनमें से लगभग 10% में सीसा पाया था। शोधकर्ता ने यह भी खोजा कि इन पाइपों के लिए शहर के सार्वजनिक रिकॉर्ड स्वतंत्र रूप से नहीं बनाए गए थे। डेटा से पता चला कि शहर ने बस ग्राहक की ओर के पाइप के लिए किए गए कंप्यूटर अनुमान की नकल की और उसे सार्वजनिक पक्ष (पाइप) पर कॉपी-पेस्ट कर दिया, भले ही सार्वजनिक पाइप शहर के स्वामित्व वाला एक अलग पाइप है। यह सुझाव देता है कि निर्धारण एक नया विश्लेषण नहीं था, बल्कि एक कॉपी-पेस्ट त्रुटि थी जिसने किसी भी अनिश्चितता को मिटा दिया जो मॉडल में मौजूद हो सकती थी।
उस 43,215 पतों के समूह में कितने सीसे के पाइप छिपे हो सकते हैं, इसे समझने के लिए, शोधकर्ता ने इमारतों की उम्र को देखा। मॉडल मुख्य रूप से नए घरों पर लागू किया गया था, जिनमें स्वाभाविक रूप से सीसे के पाइप कम होते हैं। हालाँकि, इमारतों की उम्र के अनुसार समायोजन करने के बाद भी, आंकड़े मेल नहीं खा रहे थे। पुराने भवनों में, जहाँ अन्य तरीकों से सीसा मिला, वहां मॉडल ने कुछ नहीं पाया। उसी पड़ोस के भौतिक निरीक्षण परिणामों का उपयोग मार्गदर्शक के रूप में करते हुए, शोधकर्ता ने अनुमान लगाया कि उन 43,215 पतों में से संभवतः 1,150 से 1,450 पतों में सीसे के पाइप हैं जिन्हें गलत तरीके से सुरक्षित लेबल किया गया है। यह अनुमान इस धारणा पर आधारित है कि पाइप खोदने वाले श्रमिक पक्षपाती नहीं थे, लेकिन इस अनिश्चितता के बावजूद, मॉडल के पूर्ण रिकॉर्ड और ज़मीनी वास्तविकता के बीच का अंतर बहुत बड़ा है जिसे अनदेखा नहीं किया जा सकता।
यह अध्ययन यह दावा नहीं करता कि कंप्यूटर मॉडल कभी काम नहीं कर सकते, न ही यह कहता है कि प्रत्येक उपयोगिता विफल हो रही है। इसने पाया कि कई स्थानों पर, मॉडल ने मिश्रित उत्तर दिए जो भौतिक वास्तविकता से मेल खाते थे। समस्या उन सात स्थानों में विशिष्ट थी जहाँ डेटा रिपोर्ट किया गया था। शोधकर्ता का तर्क है कि समस्या आवश्यक रूप से कंप्यूटर कोड की नहीं है, बल्कि इस बात की है कि डेटा को प्रकाशित करने से पहले उसके साथ क्या किया गया। यह संभव है कि मॉडल ने विविध उत्तर दिए हों, लेकिन एक कंप्यूटर प्रोग्राम या मानवीय प्रक्रिया ने उन सभी को फ़िल्टर कर दिया जो एक स्पष्ट "सुरक्षित" परिणाम नहीं थे, इससे पहले कि उन्हें राज्य के पास फाइल किया गया। इसका अर्थ यह होगा कि सार्वजनिक रिकॉर्ड एक स्वच्छ, आत्मविश्वासी सूची दिखाता है जो उस अनिश्चितता को छिपाता है जो वास्तव में मॉडल में थी। राज्य के अपने नियम उपयोगिताओं को एक 'कॉन्फिडेंस इंटरवल' (विश्वास अंतराल)—जो कि उनकी निश्चितता का एक माप है—प्रदान करने और परिणामों की जांच करने की योजना रखने का निर्देश देते हैं। इन उपयोगिताओं द्वारा दायर किए गए रिकॉर्डों में इनमें से कुछ भी नहीं दिखाया गया।
यह ऑडिट केवल इसलिए संभव हुआ क्योंकि न्यूयॉर्क प्रत्येक पते के लिए उपयोग की जाने वाली विधि को प्रकाशित करता है। अधिकांश अन्य राज्यों में, जनता को यह पता नहीं होता कि पाइप का वर्गीकरण फावड़े से आया है या स्प्रेडशीट से। शोधकर्ता का सुझाव है कि राष्ट्र स्तर पर इस स्तर के विवरण की आवश्यकता होना, जिसमें कोई लागत नहीं आएगी, लेकिन यह लोगों को यह जांचने की अनुमति देगा कि क्या कोई उपयोगिता एक एकल, अपरिवत उत्तर के पीछे अनिश्चितता को छिपा रही है। निष्कर्ष यह है कि जब एक मॉडल हजारों घरों में एक पूर्ण, अपरिवर्तित परिणाम उत्पन्न करता है, तो यह एक आदर्श मॉडल का संकेत नहीं है, बल्कि इस बात का संकेत है कि प्रक्रिया सत्य को देखने की अपनी क्षमता खो चुकी है। डेटा दिखाता है कि सबसे बड़े मामले में, फाइलिंग उस शर्त को पूरा नहीं करती थी जो उस विशिष्ट लेबल के उपयोग के लिए राज्य द्वारा निर्धारित की गई थी। शोधकर्ता निष्कर्ष निकालते हैं कि इन्वेंट्री को केवल अपने अंतिम अनुमान को ही नहीं, बल्कि मॉडल की अनिश्चितता को भी दर्ज करना चाहिए, और नियामकों को शून्य भिन्नता वाली सूची को तत्काल जांच की आवश्यकता वाले 'रेड फ्लैग' (चेतावनी संकेत) के रूप में देखना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।