Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York
تكشف هذه الدراسة الشاملة لولاية نيويورك أنه بينما تتوافق نماذج التنبؤ بخطوط الخدمة الأمامية لدى معظم المرافق مع عمليات التحقق الميداني، فإن نظام مدينة نيويورك يظهر تباينًا ذا دلالة إحصائية حيث يصنف النموذج أكثر من 43,000 عنوان كـ "أخرى معروفة" رغم أن عمليات التنقيب الميداني أكدت وجود الرصاص في ما يقرب من 121,000 عنوان، إلى جانب وجود أدلة على أن بعض التقديرات من جانب الجانب العام قد نُسخت خطأً من مخرجات النموذج الخاصة بجانب العميل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الولايات المتحدة، تفرض قاعدة فيدرالية تُسمى "تعديلات قاعدة الرصاص والنحاس" على كل نظام مياه مجتمعي إنشاء خريطة كاملة لخطوط الخدمة الخاصة به، وهي الأنابيب التي تنقل المياه من الشارع إلى المنازل الفردية. والهدف هو العثور على الأنابيب المصنوعة من الرصاص واستبدالها، وهو معدن سام يمكن أن يسبب مشاكل صحية خطيرة، خاصة لدى الأطفال. لعقود من الزمن، كانت المرافق تعرف أماكن وجود أنابيب الرصاص لأن لديها سجلات ورقية قديمة أو لأنها حفرت لاستخراجها. ولكن بالنسبة لملايين العناوين التي لم تتوفر فيها سجلات، سمحت القواعد الجديدة لشركات المياه باستخدام نماذج حاسوبية لتخمين مادة الأنبوب بدلاً من الحفر. تحلل هذه النماذج بيانات مثل عمر المنزل والحي للتنبؤ بما إذا كان من المرجح أن يكون الأنبوب من الرصاص، أو النحاس، أو البلاستيك. الفكرة هي توفير المال والوقت، حيث إن حفر كل أنبوب أمر مكلف للغاية. ومع ذلك، ولأن هذه النماذج هي مجرد تخمينات، تتطلب القواعد من المرافق التحقق من دقتها من خلال فحص عينة مادية للأنابب التي صنفتها. ويتوقف المصلحة العامة على ما إذا كانت هذه التخمينات الحاسوبية موثوقة بما يكفي للوثوق بها في الصحة العامة، أم أنها تخفي عدداً خطيراً من أنابيب الرصاص تحت طبقة من الثقة الإحصائية.
قرر باحث يدعى محمد سرمد سهيل اختبار هذا النظام من خلال النظر في السجلات العامة التي قدمتها مرافق المياه في ولاية نيويورك. وتعد نيويورك فريدة من نوعها لأنها تنشر قائمة مفصلة لكل عنوان، توضح بالضبط كيف حددت المنفأة مادة الأنبوب: سواء عن طريق الحفر، أو التحقق من سجل ورقي، أو استخدام نموذج حاسوبي. لم يحاول سهيل إثبات أن النماذج الحاسوبية خاطئة بشكل عام؛ بل نظر إلى الأرقام المحددة التي قدمتها المرافق ليرى ما إذا كانت منطقية. وقد ركز على 153 منطقة محلية في نيويورك استخدمت هذه النماذج الحاسوبية لـ 100 عنوان على الأقل. كانت خطوته الأولى عبارة عن فحص بسيط: قام بعدّ كم عدد الإجابات المختلفة التي قدمتها النماذج. في النظام السليم، يجب أن يقول النموذج أحياناً "رصاص"، وأحياناً "نحاس"، وأحياناً "غير معروف"، اعتماداً على المنزل المحدد. ولكن في 75 من تلك المناطق المحلية، والتي تغطي ما يقرب من 126,000 عنوان، قدم النموذج إجابة واحدة فقط لكل منزل على حدات. كان الأمر كما لو أن خبير أرصاد جوية يتنبأ بهطول الأمطار في كل يوم من أيام السنة، بغض النظر عن الموسم أو الموقع.
هذا النقص في التنوع ليس علامة تلقائية على الاحتيال، ولكنه علامة تحذير تشير إلى أن هناك خطأ ما. ثم قارن سهيل هذه القوائم ذات "الإجابة الواحدة" مقابل عمليات الفحص المادي التي أجرتها نفس مرافق المياه في تلك البلدات. في معظم الحالات، تطابقت الإجابة الوحيدة التي قدمها النموذج مع ما وجده العمال في الأرض. ومع ذلك، في سبعة أماكن محددة، تعارضت الإجابة الوحيدة للنموذج مباشرة مع ما رآه العمال. والمثال الأكثر لفتاً للنظر كان مدينة نيويورك. فقد استخدمت المدينة نموذجاً حاسوبياً لتصنيف 43,215 عنواناً. وبالنسبة لكل عنوان من هذه العناوين، قال النموذج إن الأنبوب هو "مادة أخرى معروفة"، وهي فئة تعني أن الأنبوب بالتأكيد ليس من الرصاص، حتى لو كانت المادة المحددة غير معروفة. وكانت المدينة قد وجدت أنابيب رصاص في آلاف الأماكن الأخرى باستخدام طرق مختلفة، واستخدمت فئة "غير معروف" لأكثر من 120,000 عنوان آخر. ومع ذلك، بالنسبة لهذه المجموعة الضخمة المكونة من 43,000 منزل، لم يشير النموذج ولو لمرة واحدة إلى أن الأنبوب قد يكون من الرصاص أو حتى غير معروف. لقد كان سجلاً مثالياً وغير منقطع من "ليس رصاص" لمجموعة من المنازل التي تضم العديد من المباني التي بنيت قبل عام 1940، وهو زمن كان فيه أنابيب الرصاص شائعاً.
لم يكن هذا التناقض مجرد صدفة إحصائية؛ فقد أكده عمال المدينة أنفسهم. ففي أحياء مدينة نيويورك الخمسة، قام العمال بالحفر والفحص المادي لعشرات الآلاف من الأنابيب، ووجدوا الرصاص بأعداد كبيرة. لو كان النموذج الحاسوبي يعمل بشكل صحيح، لكان قد صنف بعض هذه العناوين الـ 43,000 كأنابيب يحتمل أن تكون من الرصاص. وبدلاً من ذلك، برأها جميعاً. ظهر نفس النمط الغريب في شرق روتشستر، وهي قرية صغيرة تبعد 550 كيلومتراً ولديها شركة مياه مختلفة تماماً. هناك أيضاً، أعطى النموذج إجابة واحدة "ليست رصاص" لكل منزل صنفه، رغم أن العمال حفروا في تلك القرية ووجدوا الرصاص في ما يقرب من 10% منها. واكتشف الباحث أيضاً أن السجلات العامة للمدينة لهذه الأنابيب لم تُنشأ بشكل مستقل. فقد أظهرت البيانات أن المدينة قامت ببساطة بنسخ التخمين الحاسوبي الخاص بجانب العميل من الأنبوب ولصقه على الجانب العام، على الرغم من أن الأنبوب العام هو أنبوب مختلف تملكه المدينة. وهذا يشير إلى أن التحديد لم يكن تحليلاً جديداً بل كان خطأ "نسخ ولصق" أدى إلى محو أي شك قد يكون لدى النموذج.
لفهم عدد أنابيب الرصاص التي قد تكون مختبئة في تلك المجموعة المكونة من 43,215 عنواناً، نظر الباحث إلى عمر المباني. لقد طُبق النموذج غالباً على المنازل الأحدث، والتي تحتوي بطبيعة الحال على أنابيب رصاص أقل. ومع ذلك، حتى بعد التعديل وفقاً لعمر المباني، لم تكن الأرقام متطابقة. ففي المباني القديمة، حيث وجدت طرق أخرى الرصاص، لم يجد النموذج شيئاً. ومن خلال استخدام نتائج الفحص المادي من نفس الأحياء كدليل، قدر الباحث أن ما بين 1,150 و1,450 من تلك العناوين الـ 43,215 من المحتمل أن تحتوي على أنابيب رصاص تم تصنيفها بشكل غير صحيح على أنها آمنة. ويعتمد هذا التقدير على الافتراض بأن العمال الذين حفروا الأنابيب لم يكن لديهم تحيز، ولكن حتى مع هذا اليقين، فإن الفجوة بين سجل النموذج المثالي والواقع في الأرض أكبر من أن يتم تجاهلها.
لا تدعي الدراسة أن النماذج الحاسوبية لا يمكن أن تعمل أبداً، ولا تقول إن كل مرفق يفشل. لقد وجدت أن النماذج في أماكن عديدة أنتجت مزيجاً من الإجابات التي تطابق الواقع المادي. المشكلة كانت محددة في الطريقة التي تم بها التعامل مع البيانات قبل نشرها. ومن الممكن أن يكون النموذج قد أنتج بالفعل مجموعة من الإجابات، ولكن برنامجاً حاسوبياً أو عملية بشرية قامت بتصفية أي شيء لم يكن نتيجة "آمنة" واضحة قبل تقديمها إلى الولاية. وهذا يعني أن السجل العام يظهر قائمة نظيفة وواثقة تخفي عدم اليقين الذي كان لدى النموذج فعلياً. وتتطلب قواعد الولاية من المرافق تقديم فاصل ثقة - وهو مقياس لمدى تأكدهم - ووضع خطة للتحقق من النتائج. وأظهرت السجلات التي قدمتها هذه المرافق عدم وجود أي من ذلك.
لم يكن هذا التدقيق ممكناً إلا لأن نيويورك تنشر الطريقة المستخدمة لكل عنوان. وفي معظم الولايات الأخرى، لا يعرف الجمهور ما إذا كان تصنيف الأنبوب جاء من مجرفة أو من جدول بيانات. ويقترح الباحث أن اشتراط هذا المستوى من التفصيل على مستوى وطني لن يكلف شيئاً، ولكنه سيسمح لأي شخص بالتحقق مما إذا كانت إحدى المرافق تخفي عدم اليقين خلف إجابة واحدة ثابتة. وتعمل النتائج كتحذير من أنه عندما ينتج نموذج نتيجة مثالية وغير متغيرة عبر آلاف المنازل، فمن المرجح ألا يكون ذلك علامة على نموذج مثالي، بل علامة على أن العملية قد فقدت قدرتها على رؤية الحقيقة. وتظهر البيانات أنه في الحالة الأكبر، لم يستوفِ الملف الشروط التي وضعتها الولاية لاستخدام ذلك الملصق المحدد. ويخلص الباحثون إلى أن الجرد يجب أن يسجل عدم اليقين للنموذج، وليس فقط تخمينه النهائي، وأن على المنظمين التعامل مع أي قائمة ذات تباين صفري كعلامة خطر تستوجب التحقيق الفوري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.