CHARMS and PROBAST+AI: an updated template for Data Extraction and Risk of Bias Assessment in systematic reviews of prediction models

في المشهد الطبي الحديث، يعتمد الأطباء بشكل متزايد على أدوات رياضية للتنبؤ بصحة المريض المستقبلية. هذه الأدوات، المعروفة باسم نماذج التنبؤ السريري، تحلل أعراض الشخص، ونتائج الاختبارات، وتاريخه الطبي لتقدير احتمالية الإصابة بمرض ما أو نجاح علاج معين. لسنوات عديدة، استخدم الباحثون أساليب إحصائية قياسية لبناء هذه النماذج، لكن هذا المجال يشهد تحولاً سريعاً. واليوم، تُستخدم أنظمة حاسوبية قوية قادرة على التعلم من كميات هائلة من البيانات — والتي تُسمى غالباً بالذكاء الاصطناعي — لإنشاء تنبؤات أكثر تعقيداً. وبينما تحمل هذه الأساليب الجديدة وعوداً كبيرة، إلا أنها تقدم طرقاً جديدة لتسلل الأخطاء. فقد يبدو النموذج مثالياً في العمل على البيانات التي تم تدريبه عليها، ولكنه يفشل فشلاً ذريعاً عند تطبيقه على مرضى حقيقيين، وهي مشكلة تنتج غالباً عن رؤية الحاسوب للإجابات قبل بدء الاختبار عن طريق الخطأ. ولضمان أن تكون هذه الأدوات آمنة وموثوقة، يجب على العلماء فحص كل خطوة من خطوات بنائها واختبارها بدقة. تُعرف هذه العملية بالمراجعة المنهجية، حيث يجمع الخبراء جميع الدراسات المتاحة حول موضوع ما ويقيمون جودتها باستخدام قوائم مراجعة صارمة.

لقد كان التحدي الذي واجه هؤلاء المراجعين هو أن القواعد الخاصة بفحص النماذج الإحصائية القديمة لم تأخذ في الاعتبار بشكل كامل الخصائص الفريدة للذكاء الاصطناعي الحديث. وقد عالج فريق من الباحثين من جامعة غلاسكو والجامعة العربية الأمريكية هذه الفجوة من خلال إنشاء أداة رقمية جديدة ومحدثة مصممة لتسهيل هذا العمل الحيوي. لقد أخذوا نموذجاً جاهزاً لجدول بيانات، كان يُستخدم بالفعل لتنظيم البيانات والتحقق من التحيز، وقاموا بإعادة هيكلته بالكامل ليتوافق مع أحدث الإرشادات لتقييم الذكاء الاصطناعي. والنتيجة هي ملف "إكسل" (Excel) متطور وسهل الاستخدام يتيح للمراجعين الفصل بين تقييم كيفية بناء النموذج وتقييم مدى جودة اختباره. هذا التمييز أمر حيوي لأن النموذج يمكن أن يُبنى ببيانات عالية الجودة ثم يُختبر بطريقة غير كافية، أو العكس. ومن خلال إبقاء هذين التقييمين منفصلين، تضمن الأداة الجديدة ألا يغفل المراجعون عن العيوب الدقيقة التي قد تجعل أداة التنبؤ الطبي خطيرة أو عديمة الفائدة.

يكمن الابتكار الجوهري في هذا النموذج الجديد في قدرته على التعامل مع عثرات تعلم الآلة المحددة دون اشتراط أن يكون المراجع عالماً في علوم الحاسوب. فالجدول يتضمن الآن أسئلة محددة حول ما إذا كان الحاسوب قد تسلل إلى بيانات الاختبار أثناء مرحلة التدريب، وهو خطأ يُعرف باسم "تسرب البيانات". كما يسأل عما إذا كان الباحثون قد قاموا بتعديل النموذج بشكل صحيح إذا كانت البيانات المستخدمة تحتوي على مزيج غير متوازن من الأصحاء والمرضى، وهي مشكلة شائعة يمكن أن تؤدي إلى تحريف النتائج. علاوة على ذلك، تتحقق الأداة مما إذا كانت عملية بناء النموذج بأكملها قد تكررت بشكل صحيح عند اختبارها، مما يضمن أن الأرقام النهائية تعكس الواقع وليس مجرد صدفة عرضية. هذه الأسئلة منسوجة مباشرة في جدول البيانات بحيث تقوم الأداة تلقائياً بتسليط الضوء على المواضع التي قد يكون البحث قد أخطأ فيها أثناء إدخال المراجع للمعلومات.

وما يجعل هذه الأداة قوية للغاية هو كيفية إدارتها لتدفق المعلومات. فبدلاً من إجبار المراجع على التنقل ذهاباً وإياباً بين مستندات مختلفة للعثين على نفس المعلومة، يقوم جدول البيانات بربط كل شيء معاً. فعندما يدخل المراجع تفاصيل حول المشاركين في الدراسة أو البيانات التي استخدموها في قسم ما، تظهر تلك المعلومات تلقائياً في الأقسام التي يتم فيها الحكم على جودة النموذج. وهذا يقلل من احتمال وقوع الخطأ البشري ويوفر وقتاً كبيراً. كما صُممت الأداة للتعامل مع ما يصل إلى ثلاثين نموذج تنبؤ مختلف في ملف واحد، مما يجعلها مناسبة للمراجعات واسعة النطاق. وبينما يعمل المراجع عبر قائمة التحقق، يقوم جدول البيانات تلقائياً بإنشاء جداً ملخصة ورسوم بيانية توضح بالضبط عدد النماذج التي اجتازت فحوصات الجودة وعدد النماذج التي فشلت. وتتحدث هذه الملخصات المرئية فورياً، مما يعطي فريق البحث صورة واضحة وفورية للأدلة التي يراجعونها.

ويؤكد الباحثون أن هذه الأداة ليست مقتصرة على الذكاء الاصطناعي؛ فهي تعمل بنفس الكفاءة مع النماذج الإحصائية التقليدية. وهذه الشمولية أمر بالغ الأهمية لأن العديد من المراجعات الطبية تتضمن الآن مزيجاً من الأساليب القديمة والجديدة. ومن خلال توفير إطار عمل موحد واحد، تضمن الأداة أن النموذج المبني بمعادلة بسيطة سيُحاكم بنفس المعايير الصارمة التي يُحاكم بها نموذج مبني بشبكة عصبية معقدة. إن جدول البيانات متاح للجميع للتحميل والاستخدام مجاناً، ويعمل دون الحاجة إلى أكواد برمجة حاسوبية معقدة، مما يجعله متاحاً للباحثين الذين قد لا يمتلكون مهارات تقنية متقدمة. ويشير المؤلفون إلى أنه بينما تقوم الأداة بأتمتة المهام الشاقة المتعلقة بتنظيم البيانات والحسابات، فإنها لا تحل محل الحاجة إلى الحكم البشري؛ إذ يجب على المراجع أن يفسر الإجابات ويقرر معناها بالنسبة لسلامة وموثوقية الأداة الطبية.

في النهاية، يمثل هذا النموذج المحدث خطوة مهمة للأمام في كيفية جمع الأدلة الطبية والتحقق منها. فهو يقر بأن مشهد التنبؤ الطبي يتغير ويوفر البنية التحتية اللازمة لمواكبة هذا التغيير. ومن خلال الفصل بين تقييم إنشاء النموذج وتقييم اختباره، ومن خلال إضافة فحوصات خاصة للمخاطر الفريدة للذكاء الاصطناعي، تساعد الأداة في ضمان أن نماذج التنبؤ التي توجه رعاية المرضى مبنية على أرض صلبة. ويأمل الباحثون أنه من خلال جعل عملية فحص هذه النماذج أسهل وأكثر اتساقاً، فإنهم سيشجعون على إجراء مراجعات أكثر دقة، مما يؤدي في النهاية إلى أدوات طبية أكثر أماناً وفعالية للمرضى في جميع أنحاء العالم.