Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
تُثبت هذه الورقة أن تصنيفات تفتيش الأدوية الصادرة عن هيئة الغذاء والدواء الأمريكية تعاني من تحيز شديد في التقارير، حيث يتم تسجيل عمليات التفتيش الفاشلة بتكرار أقل وبتأخيرات كبيرة مقارنة بالعمليات الناجحة، مما يؤدي إلى تدهور جوهري في أداء نماذج تعلم الآلة ومقاييس المراقبة التي لا يمكن تخفيفها إلا جزئياً من خلال تعديلات إحصائية محددة أو حلها عبر نشر تاريخ النشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في كل عام، ترسل إدارة الغذاء والدواء بالولايات المتحدة فرق تفتيش إلى مصانع الأدوية للتأكد من أنها تصنع الدواء بأمان. وتعد عمليات التفتيش هذه جزءًا حيويًا من الصحة العامة، وتقوم الوكالة بنشر نتائجها. عندما لا يجد المفتش أي مشكلات، يحصل المرفق على درجة نجاح. وعندما يتم العثور على مشكلات خطيرة، يحصل المرفق على درجة رسوب، مما قد يؤدي إلى غرامات أو مصادرة للمنتجات أو إجراءات قانونية أخرى. وبالنسبة لأي شخص يحاول فهم مدى جودة أداء هذه المصانع، فإن هذه السجلات العامة هي كنز من المعلومات. فهي مؤرخة، وتغطي مئات الآلاف من المنشآت، وهي مجانية ومتاحة للجميع. وهذا يجعلها مثالية لتدريب البرامج الحاسوبية، المعروفة بنماذج تعلم الآلة، للتنبؤ بالمصانع التي قد تكون معرضة للخطر في المستقبل. والأمل هو أنه من خلال دراسة السجلات الماضية، يمكن لهذه البرامج رصد المشكلات قبل وقوعها، مما يساعد المنظمين على تركيز مواردهم المحدودة حيث تشتد الحاجة إليها.
ومع ذلك، هناك خلل خفي في كيفية حفظ هذه السجلات لم يلاحظه أحد حتى الآن. الخلل ليس في عملية التفتيش نفسها، بل في كيفية كتابة النتيجة النهائية ونشرها للعلن. فعندما يجتاز مصنع ما عملية التفتيش، تسجل الوكالة النتيجة بسرعة وموثوقية. ولكن عندما يفشل مصنع ما، تكون العملية أبطأ بكثير، وغالبًا لا يتم تسجيل النتيجة على الإطلاق في قاعدة البيانات العامة. وهذا يخلق رؤية مشوهة للواقع لكل من يستخدم هذه البيانات. فالبرنامج الحاسوبي الذي ينظر إلى هذه السجلات يرى عالمًا يسير فيه كل شيء على ما يرام تقريبًا، لأن الأخبار السيئة إما مفقودة أو تصل متأخرة جدًا بحيث يكون البرنامج قد انتقل بالفعل إلى مرحلة أخرى. هذا ليس خطأً بسيطًا؛ بل هو انحياز جوهري يغير ما تقوله البيانات بالفعل.
لقد حقق باحث يدعى فاني كومار بالاجامام في هذه القضية من خلال فحص أكثر من عشرة آلاف عملية تفتيش للأدوية تمت بين عامي 2018 و2023. وركزت الدراسة على مجموعة محددة من عمليات التفتيش التي أُتيحت لها مهلة كافية لتتم معالجتها بالكامل. وكانت النتائج صارخة؛ فبالنسبة لعمليات التفتيش التي انتهت بدرجة نجاح، كان حوالي 74% منها يمتلك قرارًا نهائيًا مسجلًا في قاعدة البيانات. أما بالنسبة لعمليات التفتيش التي انتهت بدرجة رسوب، فقد تم تسجيل حوالي 26% منها فقط. وهذا يعني أن عملية التفتيش الناجحة أكثر عرضة للظهور في السجل العام بنحو ثلاثة أضعاف من عملية التفتيش الفاشلة. علاوة على ذلك، عندما يتم تسجيل عملية تفتيش فاشلة، فإن الأمر يستغرق وقتًا طويلاً؛ ففي المتوسط، يتم تسجيل عملية التفتيش الناجحة في غضون 86 يومًا، بينما تستغرق عملية التفتيش الفاشلة أكثر من 300 يوم. وفي حالات كثيرة، لا تظهر النتيجة الفاشلة على الإطلاق.
هذا التأخير والغياب يخلق مشكلة خطيرة للنماذج الحاسوبية التي تعتمد على هذه البيانات. فهذه النماذج غالبًا ما تُدرب للبحث في تاريخ المصنع للتنبؤ بمستقبله. فإذا فشل مصنع في عملية تفتيش قبل خمس سنوات، يجب على النموذج معرفة ذلك مثاليًا. ولكن نظرًا لأن سجل ذلك الفشل قد لا يوجد بعد، أو قد لا يوجد على الإطلاق، فإن النموذج لا يستطيع رؤيته. قام الباحث بإعادة بناء نموذج تنبؤ لاختبار ما يحدث عندما يُجبر الحاسوب على الانتظار حتى يظهر السجل فعليًا قبل استخدامه. وكانت النتيجة انخفاضًا كبيرًا في قدرة النموذج على التمييز بين المصانع الجيدة والسيئة. فقد انخفضت دقة النموذج بمقدار ملموس، مما أثبت أن الدرجات العالية السابقة كانت جزئيًا وهمًا ناتجًا عن بيانات لم يكن بإمكان النموذج رؤيتها في ذلك الوقت. لقد كان النموذج يستخدم معلومات لم تكن متاحة بعد في العالم الحقيقي.
وتصبح المشكلة أسوأ عند محاولة مراقبة هذه النماذج بعد وضعها قيد العمل. فغالبًا ما يتحقق المنظمون مما إذا كان النموذج لا يزال يعمل بشكل صحيح من خلال مقارنة ما يتنبأ به النموذج مقابل ما يحدث بالفعل. إنهم ينظرون إلى نسبة حالات الفشل التي تنبأ بها النموذج مقابل حالات الفشل التي حدثت بالفعل. ولأن السجلات العامة تفتقد الكثير من حالات الفشل، فإن هذا التحقق يعطي إجابة خاطئة تمامًا. وجد الباحث أن الفحص القياسي لا يرى سوى حوالي 6% فقط من حالات الفشل الفعلية التي كان ينبغي للنموذج رصدها. إن الأمر يشبه محاولة قياس عمق نهر من خلال النظر فقط إلى الأمواج السطحية مع تجاهل التيارات العميقة بالأسفل.
كما اختبرت الدراسة الحيل الرياضية القياسية التي يستخدمها الإحصائيون لإصلاح البيانات المفقودة. إحدى الطرق الشائعة تحاول تخمين عدد حالات الفشل المفقودة بناءً على المعلومات المتاحة. ووجد الباحث أن هذه الطريقة تفشل تمامًا في هذه الحالة؛ فحالات الفشل المفقودة ليست متأخرة فحسب، بل غالبًا ما تختفي للأبد. ولأن البيانات لا تخبرنا لماذا يكون السجل مفقودًا، فلا يمكن للحاسوب تخمين الحقيقة. أما الطريقة الأخرى، التي تتضمن الانتظار لفترة أطول لرؤية ما إذا كانت البيانات ستصل، فقد ساعدت قليلاً ولكن ليس بما يكفي. فحتى بعد الانتظار لمدة عامين، لا يزال الفحص يفتقد الغالبية العظمى من حالات الفشل. وتخلص الدراسة إلى أنه لا توجد طريقة لإصلاح مشكلة المراقبة هذه باستخدام البيانات العامة الحالية؛ فالمعلومات المفقودة ببساطة ليست موجودة ليتم العثور عليها.
يقترح الباحث أن الحل بسيط بشكل مفاجئ. فإدارة الغذاء والدواء تمتلك بالفعل المعلومات التي تحتاجها؛ هي فقط بحاجة لنشر قطعة إضافية واحدة من البيانات: التاريخ الدقيق الذي أصبح فيه قرار التصنيف مرئيًا للجمهور. فإذا أضافت الوكالة حقلًا بسيطًا يوضح متى تم نشر السجل، فسيسمح ذلك للبرامج الحاسوبية بمعرفة ما يمكنها وما لا يمكنها رؤيته في أي لحظة معينة. وهذا سيمنع النماذج من استخدام معلومات مستقبلية لجعل تنبؤات ماضية، وسيتيح للمراقبين فهم مقدار الجزء الذي يفتقدونه من الصورة بدقة. وبدون هذا التغيير، ستستمر السجلات العامة في إظهار عالم تبدو فيه مصانع الأدوية أكثر أمانًا مما هي عليه في الواقع، وستظل الأدوات المصممة لحمايتنا عمياء عن المخاطر التي وُجدت لاكتشافها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.