Falsification Testing of Sepsis Prediction Models: Evaluating Independent Biological Signal After Controlling for Care-Process Intensity

1. بيان المشكلة

على الرغم من الاستثمار الكبير في أنظمة الإنذار المبكر الآلية للإنتان (EWS) باستخدام بيانات السجلات الصحية الإلكترونية (EHR)، لا تزال هناك مسألة منهجية جوهرية لم تُحل: هل تكتشف هذه النماذج إشارات بيولوجية مستقلة وحقيقية للإنتان، أم أنها تتعلم مجرد "كثافة عملية الرعاية"؟

• تسرب عملية الرعاية (Care-Process Leakage): قد تتنبأ النماذج بنمط سلوك الطلب لدى الأطباء (مثل كثرة الفحوصات المخبرية، وقياسات العلامات الحيوية، والملاحظات التمريضية) المطبقة على المرضى الذين يُشتبه بالفعل في إصابتهم بالمرض، بدلاً من اكتشاف التدهور البيولوجي نفسه. مثل هذه النماذج لا تقدم "إنذاراً مبكراً" حقيقياً وتخاطر بتضخيم التحيزات القائمة لدى الأطباء.
• عدم استقرار التسميات (Label Instability): هناك غياب للإجماع حول تعريفات الإنتان. غالباً ما تستخدم الأدبيات بشكل متبادل مصطلحات Sepsis-2 (القائم على معايير SIRS)، وSepsis-3 (القائم على معايير SOFA)، وCMS SEP-1 (القائم على أكواد الترميز الإداري ICD). إذا كانت هذه التعريفات تحدد مجموعات مختلفة من المرضى، فإن النماذج التي يتم قياس أدائها بناءً على الأكواد الإدارية قد تكون تتعلم سلوكيات الفوترة بدلاً من بيولوجيا المرض.

2. المنهجية

تستخدم الدراسة إطار عمل للتفنيد مسبق التسجيل (مسجل في OSF بتاريخ 11 مارس 2026، قبل الوصول إلى البيانات) مصمم لاختبار أربع فرضيات محددة. إذا استوفت أي مرحلة العتبة المحددة مسبقاً، فسيتم تأكيد فرضية أن النماذج تعتمد على كثافة عملية الرعاية.

مجموعات البيانات:

• الأساسية (التأكيدية): MIMIC-IV v3.1 (65,241 إقامة في وحدة العناية المركزة للبالغين، BIDMC، الفترة 2008–2022).
• الاستكشافية (التكرارية): eICU-CRD v2.0 (136,864 إقامة، 208 مستشفى في الولايات المتحدة)، MIMIC-III v1.4 (44,091 إقامة)، وPhysioNet/CinC 2019 Challenge (40,314 إقامة).

هندسة الميزات:

• الميزات البيولوجية: العلامات الحيوية، القيم المخبرية، الخصائص الديموغرافية، والأمراض المصاحبة.
• ميزات وسيطة لكثافة الرعاية: أربعة معدلات مركبة لكل ساعة في وحدة العناية المركزة: وتيرة طلب الفحوصات المخبرية، معدل قياس العلامات الحيوية، وتيرة الملاحظات التمريضية، ومعدل أوامر الأطباء.

إطار عمل التفنيد ذو المراحل الأربع:

1. المرحلة 1 (استقرار الحقيقة الأرضية): حساب تشابه Jaccard الزوجي بين تعريفات Sepsis-2 وSepsis-3 وCMS SEP-1.
   • العتبة: متوسط Jaccard < 0.50 (مما يشير إلى عدم الاستقرار).
2. المرحلة 2 (الاعتماد على الميزات): مقارنة أداء النموذج (AUROC) باستخدام الميزات الكاملة مقابل الميزات البيولوجية فقط.
   • العتبة: انخفاض AUC بمقدار > 0.15 (مما يشير إلى أن ميزات الرعاية هي التي تقود الأداء).
3. المرحلة 3 (شمولية كثافة الرعاية): تدريب المصنفات باستخدام ميزات وسيطة لكثافة الرعاية فقط.
   • العتبة: AUROC الخاص بالرعاية فقط > 0.70 (مما يشير إلى أن أنماط الرعاية وحدها يمكنها التنبؤ بالإنتان).
4. المرحلة 4 (التحقق الاصطناعي): إنشاء سجلات اصطناعية تطابق توزيعات كثافة الرعاية باستخدام "Gaussian copula". تدريب نموذج تمييز (Discriminator) للتمييز بين حالات الإنتان الحقيقية والاصطناعية.
   • العتبة: Discriminator AUROC < 0.60 (مما يشير إلى أن أنماط الرعاية وحدها لا يمكن تمييزها عن حالات الرعاية الحقيقية).

3. النتائج الرئيسية

التحليل الأساسي (MIMIC-IV):

• تأكيد الفرضية: 0 من أصل 4 مراحل تم تأكيدها. فشلت الدراسة في تفنيد النماذج؛ بل على العكس، دعمت صحة اكتشاف الإشارة البيولوجية في هذا المركز الأكاديمي.
• المرحلة 1 (استقرار التسمية): اتفقت Sepsis-2 وSepsis-3 بدرجة عالية (Jaccard = 0.903). ومع ذلك، أظهر كلا التعريفين السريريين اتفاقاً منخفضاً مع CMS SEP-1 (Jaccard ≈ 0.32).
• المرحلة 2 (الاعتماد على الميزات): أدى حذف ميزات كثافة الرعاية إلى تقليل AUROC بمقدار 0.003 فقط (0.901 ← 0.898). وكانت ميزات كثافة الرعاية ضمن أقل الميزات أهمية.
• المرحلة 3 (التنبؤ بالرعاية فقط): حقق نموذج الانحدار اللوجستي (النموذج الأساسي) AUROC قدره 0.660 (أقل من عتبة 0.70). أما نموذج XGBoost الأكثر حساسية فقد وصل إلى 0.729، مما يشير إلى وجود إشارات غير خطية لكثافة الرعاية ولكن لا يتم التقاطها بواسطة النماذج الخطية.
• المرحلة 4 (التحقق الاصطناعي): كانت السجلات الاصطناعية المطابقة لكثافة الرعاية قابلة للتمييز عن الحالات الحقيقية (Discriminator AUROC = 0.633)، مما يش indicar إلى أن أنماط الرعاية وحدها لا يمكنها محاكاة الملف التعريفي متعدد المتغيرات الكامل للإنتان.

التكرار الاستكشافي (eICU وغيره):

• التباين المؤسسي: أظهرت مجموعة eICU متعددة المراكز إشارة أكبر لكثافة الرعاية (انخفاض AUC = 0.076) مقارنة بـ MIMIC-IV (0.003)، مما يشير إلى أن تسرب عملية الرعاية قد يختلف باختلاف نوع المؤسسة (أكاديمية مقابل مجتمعية).
• عدم استقرار التسمية: تم تكرار انخفاض تشابه Jaccard بين التعريفات السريرية والإدارية (حوالي 0.20 عبر المجموعات متعددة المراكز) بشكل قوي وثابت.

4. المساهمات الرئيسية

1. الدقة المنهجية: توفر الدراسة إطار عمل للتفنيد مسبق التسجيل، يتكون من أربع مراحل، لاختبار "تسرب عملية الرعاية" في الذكاء الاصطناعي السريري بصرامة، متجاوزة مقاييس الأداء القياسية.
2. التحقق من الإشارة البيولوجية: تثبت الدراسة أنه في البيئات الأكاديمية عالية الجودة والغنية بالبيانات (مثل MIMIC-IV)، تكتشف نماذج الإنتان في المقام الأول التدهور البيولوجي، وليس مجرد أنماط الاشتباه لدى الأطباء.
3. تكميم التباين في التعريفات: تقدم دليلاً قوياً على أن التشفير الإداري للإنتان (CMS SEP-1) يحدد مجموعة مختلفة تماماً من المرضى عن التعريفات السريرية (Sepsis-2/3). التداخل هو حوالي 20% فقط، مما يعني أن المقاييس التنظيمية والمعايير المرجعية القائمة على أكواد ICD قد تقيس سلوك الفوترة بدلاً من الواقع السريري.
4. الفوارق السياقية: تسلط الضوء على أن تسرب عملية الرعاية ليس ثابتاً عالمياً، بل قد يختلف بناءً على ممارسات التوثيق المؤسسية أو حدة حالة المرضى.

5. الأهمية والآثار المترتبة

• للذكاء الاصطناği السريري: تشير النتائج إلى أن النماذج المدربة على بيانات EHR عالية الدقة (مثل MIMIC-IV) من المرجح أن تكون صالحة للكشف عن الإنتان البيولوجي. ومع ذلك، يجب توخي الحذر عند نشر هذه النماذج في بيئات ذات دقة توثيق أقل أو سير عمل مختلف للرعاية.
• للسياسة والتشريع: إن التباين المنهجي بين تعريفات الإنتان السريرية والإدارية (Jaccard ~0.20) يعني أن مقاييس جودة المستشفيات وبرامج الأداء المرتبطة بالدفع القائمة على أكواد ICD قد تكون غير متوافقة مع النتائج السريرية الفعلية. فالتحسين من أجل الأكواد الإدارية قد لا يؤدي إلى تحسين رعاية المرضى.
• لمعايير قياس الأداء (Benchmarking): قد تؤدي المعايير التي تعتمد على التسميات الإدارية (أكواد ICD) إلى تدريب نماذج للتنبؤ بأنماط الفوترة بدلاً من بيولوجيا المرض، مما قد يؤدي إلى معايير معيبة عند التعميم في النشر السريري الواقعي.
• الاتجاهات المستقبلية: تدعو الدراسة إلى إجراء تحقق مستقبلي متعدد المواقع لتحديد ما إذا كان تسرب عملية الرعاية أكثر وضوحاً في المستشفيات المجتمعية، وتقترح أيضاً البحث فيما إذا كانت تنبيهات الذكاء الاصطناعي تخلق حلقات تغذية راجعة ضارة في سلوك الأطباء.

الخلاصة:
بينما لم تؤكد الدراسة أن نماذج الإنتان مدفوعة أساساً بكثافة عملية الرعاية في المراكز الأكاديمية المرموقة، إلا أنها كشفت عن خلل حرج وقوي في المجال: عدم التطابق المنهجي بين كيفية تعريف الإنتان سريرياً وكيفية تشفيره إدارياً. هذا عدم الاستقرار في التعريف يشكل تهديداً كبيراً لصحة التقارير التنظيمية والمعايير المرجعية المبنية على البيانات الإدارية.