Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice
تحذر هذه الورقة من أن نماذج التنبؤ السريري المستخدمة على نطاق واسع، والمبنية على مجموعتي بيانات شهيرتين من "كاجل" (Kaggle)، تفتقر إلى إمكانية التحقق من مصدر البيانات وتبدو مفبركة، مما يؤدي إلى أبحاث وتطبيقات سريرية قد تكون غير موثوقة، وتدعو إلى إلزامية الإبلاغ عن مصدر البيانات لحماية رعاية المرضى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ يحاول ابتكار وصفة جديدة، وصفة منقذة للحياة لشوربة تعالج مرضاً معيناً. وللقيام بذلك، تحتاج إلى كتاب طبخ يحتوي على مكونات عالية الجودة وموثقة.
هذه الورقة البحثية هي في الأساس عملية تفتيش لسلامة الغذاء اكتشفت مشكلة مرعبة: العديد من الطهاة يستخدمون "كتاب طبخ" وجدوه في منتدى طبخ شهير عبر الإنترنت (Kaggle)، ليتبين لاحقاً أنه مليء بـ مكونات مزيفة.
إليك تفاصيل ما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. مشكلة "المكونات المزيفة"
نظر الباحثون في مجموعتين من البيانات (مجموعات من المعلومات) شهيرتين جداً على موقع Kaggle، وهو موقع يشارك فيه الناس بياناتهم لممارسة مهاراتهم الحاسوبية. إحدى مجموعات البيانات كانت عن السكتات الدماغية، والأخرى عن مرض السكري.
- التشبيه: تخيل أن مجموعات البيانات هذه تشبه كيساً من الدقيق يُباع في السوق. الملصق يقول "دقيق قمح حقيقي 100%". ولكن عندما تنظر عن كثب، تجد أن الدقيق هو في الواقع مجرد غبار طباشير ورمل ممزوج معاً.
- الدليل: وجد الباحثون أن البيانات بدت "مثالية أكثر من اللازم". بيانات المرضى الحقيقية تكون فوضوية؛ فالناس ينسون ملء الاستمارات، وتضيع الأرقام، وتوجد فجوات. لكن هذه البيانات لم تكن تحتوي تقريباً على أي بيانات مفقودة، وكانت الأرقام تتبع أنماطاً غريبة وآلية (مثل برنامج كمبيوتر يخمن الأرقام بدلاً من طبيب يسجلها).
- المصدر: اعترف الأشخاص الذين رفعوا هذه الملفات بأنهم لا يستطيعون إخبار أحد من أين جاءت البيانات. حتى أن أحدهم قال: "لا تستخدموا هذا في الأبحاث!" ومع ذلك، استمر الناس في استخدامها على أي حال.
2. مصنع أبحاث "الوجبات السريعة"
تصف الورقة البحثية توجهاً يسمى "الأبحاث سريعة التدوير".
- التشبيه: تخيل مصنعاً يريد صنع أكبر عدد ممكن من البرغر ليصبح ثرياً، لذا يتوقف عن التحقق مما إذا كان اللحم آمناً. يقوم فقط بوضع خبزة فوق صخرة، ويسميها برغر، ثم يبيعها.
- الواقع: يقوم الباحثون بتحميل هذه البيانات المزيفة، وتشغيل برامج الكمبيوتر عليها، ونشر الأوراق البحثية بسرعة كبيرة للحصول على الشهرة أو المنح الدراسية. هم لا يحاولون مساعدة المرضى؛ بل يحاولون فقط نشر الأوراق البحثية.
3. العواقب الخطيرة
هنا تصبح القصة مخيفة. نظرًا لأن هذه الأوراق البحثية التي تحتوي على "مكونات مزيفة" قد نُشرت في مجلات علمية، بدأ الآخرون يثقون بها.
- تأثير الدومينو:
- 124 ورقة بحثية: كُتبت 124 دراسة مختلفة باستخدام هذه البيانات المزيفة.
- 86 مراجعة: تم الاستشهاد بهذه الأوراق السيئة في 86 مقالاً مراجعاً آخر، مما نشر المعلومات المضللة مثل الفيروس.
- الاستخدام في العالم الحقيقي: والأسوأ من ذلك، أن ثلاثة من هذه النماذج تُستخدم بالفعل في المستشفيات أو الأجهزة الطبية لاتخاذ قرارات بشأن مرضى حقيقيين.
- الخطر: إذا استخدم الطبيب نموذجاً مبنياً على بيانات مزيفة، فقد يخبر المريض بأنه معافى بينما هو مريض، أو العكس. الأمر يشبه نظام GPS مبني على خريطة لمدينة غير موجودة؛ سيقودك بثقة نحو الهاوية.
4. سياسة "لا توجد إيصالات"
تشير الورقة إلى أن "السوبر ماركت" (Kaggle) و"المطاعم" (المجلات العلمية) ليس لديهم قواعد للتحقق من الإيصالات.
- التشبيه: إذا اشتريت سيارة، تتوقع رؤية رقم تعريف المركبة (VIN) وتقرير تاريخ السيارة. ولكن في الأبحاث الطبية، يمكنك شراء مجموعة بيانات ليس لها تاريخ، ولا مالك، ولا دليل على مصدرها.
- الفشل: تحقق الباحثون من "إيصالات" (مصدر) هذه البيانات باستخدام قائمة مراجعة صارمة تسمى TRIPOD+AI. فشلت كلتا مجموعتي البيانات في كل بند. لم تكن هناك معلومات حول من جمع البيانات، أو متى، أو أين، أو لماذا.
5. الحل: "قانون صحي" جديد
الآباء ليسوا مجرد موجهين أصابع الاتهام؛ بل يقترحون مجموعة من القواعد لإصلاح المطبخ:
- للسوبر ماركت (Kaggle): يجب عليهم إجبار الرافعين على ملء "ورقة المصدر" (إيصال مفصل) توضح بالضبط من أين أتت البيانات. إذا لم تستطع إثبات أن الدقيق حقيقي، فلا يمكنك بيعه.
- للمطاعم (المجلات العلمية): لا ينبغي قبول ورقة بحثية ما لم يعرض الطاهي المكونات الخام أولاً. إذا بدت المكونات مزيفة، ارفض الورقة فوراً.
- للطهاة (الباحثين): توقفوا عن محاولة السرعة. افحصوا مكوناتكم. إذا بدت مجموعة البيانات جيدة جداً لدرجة لا تصدق، فمن المرجح أنها كذلك بالفعل.
الخلاصة
هذه الورقة البحثية هي صرخة استيقاظ. تقول إننا لا يمكننا الوثوق بتوقعاتنا الطبية إذا كان الأساس الذي بُنيت عليه مصنوعاً من الرمال.
إذا أردنا إنقاذ الأرواح باستخدام الذكاء الاصطنا والبيانات، فنحن بحاجة إلى التوقف عن استخدام "الدقيق المزيف" والبدء في المطالبة بـ مكونات حقيقية وموثقة. وإلا، فإننا نخاطر ببناء مستشفى على أساس سينهار بمجرد دخول مريض حقيقي من الباب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.