Temporal evaluation of machine-learning models for early in-hospital mortality prediction after acute trauma using routinely collected emergency department data: a multicentre retrospective cohort study
تُظهر هذه الدراسة الاستعادية متعددة المراكز أنه بينما تحقق نماذج تعلم الآلة التي تستخدم بيانات أقسام الطوارئ الروتينية قدرة تمييز عالية للتنبؤ بالوفيات داخل المستشفى بعد الإصابات الحادة، فإن عتبات تشغيلها الثابتة تظهر عدم استقرار زمني كبير وانخفاضاً في الأداء لدى كبار السن، مما يؤكد الحاجة الماسة لتقييم المعايرة وموثوقية المجموعات الفرعية جنباً إلى جنب مع المقاييس الإجمالية قبل التنفيذ السريري.
المؤلفون الأصليون:Ji Sun Lee, Joung Hwan Back, Hyun Jin Kim
في الدقائق الفوضوية الأولى التي تلي وقوع حادث خطير، يواجه أطباء غرف الطوارئ سباقاً مع الزمن. يتعين عليهم تحديد المرضى الذين يواجهون خطراً فورياً بالموت وأولئك الذين من المرجح أن يتعافوا، وغالباً ما يحدث ذلك قبل حتى توفر نتائج الفحوصات المخبرية أو الأشعة. وللمساعدة في ذلك، استخدم الأطباء منذ فترة طويلة أنظمة تسجيل بسيطة تزن علامات أساسية مثل ضغط الدم، ومعدل التنفس، ومدى درجة اليقظة لدى الشخص. هذه الأدوات مفيدة، لكنها تعتمد على معادلات ثابتة لا يمكنها التكيف بسهءولة مع الواقع المعقد والفوضوي للإصابات البشرية. وفي السنوات الأخيرة، تم اقتراح برامج حاسوبية تُعرف باسم "تعلم الآلة" كبديل أكثر ذكاءً؛ إذ يمكن لهذه البرامج فحص كميات هائلة من البيانات للعثور على أنماط دقيقة قد يغفل عنها البشر، مما قد يوفر طريقة أكثر دقة للتنبؤ بمن سينجو ومن لن ينجو. ومع ذلك، فإن النموذج الذي يعمل بشكل مثالي على بيانات الأمس لا يضمن عمله غداً، كما أن الحصول على درجة عالية في اختبار ما لا يعني أن الأداة جاهزة للاستخدام في العالم الحقيقي. فالاختبار الحقيقي لمثل هذا النظام هو ما إذا كان سيظل موثوقاً مع مرور الوقت، وما إذا كان سيعامل جميع المرضى بإنصاف، بغض النظر عن أعمارهم أو نوع الإصابة التي تعرضوا لها.
لقد وضع فريق من الباحثين في كوريا الجنوبية هذا السؤال تحديداً تحت الاختبار باستخدام مجموعة ضخمة من السجلات الواقعية. فقد جمعوا بيانات من ما يقرب من 630,000 بالغ وصلوا إلى أقسام الطوارئ في جميع أنحاء البلاد بسبب إصابات حادة بين عامي 2019 و2023. وكان الهدف هو بناء نماذج حاسوبية يمكنها التنبؤ بالوفاة داخل المستشفى باستخدام المعلومات المتاحة فقط في اللحظة التي يدخل فيها المريض لأول مرة: عمره، وكيفية إصابته، وكيفية نقله، وعلاماته الحيوية الأولية. قام الباحثون بتدريب أربعة أنواع مختلفة من خوارزميات تعلم الآلة على بيانات السنوات الأربع الأولى، ثم طرحوا سؤالاً بسيطاً وحاسماً: هل ستظل هذه النماذج نفسها، دون أي تغيير أو إعادة تدريب، تعمل بدقة عند تطبيقها على المرضى من عام 2023؟
جاءت النتائج مزيجاً من القدرة المثيرة للإعجاب والحذر المثير للقلق. فعندما اختبر الباحثون النماذج على مرضى عام 2023، كانت البرامج الحاسوبية جيدة بشكل ملحوظ في ترتيب المرضى؛ حيث نجحت في الفصل بين أولئك الذين سيموتون وأولئست الذين سيعيشون، محققة مستوى من الدقة يتجاوز بكثير طرق التسجيل التقليدية. في الواقع، كانت النماذج فعالة للغاية في مهمة الترتيب هذه لدرجة أنها حددت ترتيب المخاطر لجميع المرضى تقريباً بشكل صحيح. ومع ذلك، كشفت الدراسة عن خلل جوهري عندما حاول الباحثون استخدام هذه النماذج لاتخاذ قرارات محددة وثابتة. فعندما طبق الفريق قاعدة معينة تم تطويرها في السنوات السابقة — مثل "وضع علامة على أي شخص تتجاوز درجة خطورته هذا الرقم كحالة عالية الخطورة" — وطبقوها على مرضى عام 2023، فشلت القاعدة في رصد عدد كافٍ من المرضى الذين يموتون كما فعلت من قبل. فالقاعدة التي رصدت 90 بالمائة من المرضى المعرضين للخطر في فترة التدريب، لم ترصد سوى حوالي 79 بالمائة عند استخدامها بعد عام واحد. وهذا يعني أنه بينما عرف الحاسوب من هو الأكثر مرضاً من غيره، فإن الخط الدقيق المرسوم لإطلاق الإنذار أصبح أقل موثوقية بمرور الوقت.
كما كشفت الدراسة أن النماذج لم تعمل بالتساوي للجميع. فبينما كان أداء البرامج ممتازاً للبالغين الشباب، انخفضت قدرتها على التمييز بين الحياة والموت بشكل كبير للمرضى الذين تبلغ أعمارهم 65 عاماً فأكثر. هذه الفئة الأكبر سناً، والتي سجلت في الواقع معدل وفيات أعلى، كان من الصعب التنبؤ بها بدقة. علاوة على على ذلك، لم تكن الأرقام الخام التي تخرجها الحاسوب احتمالات مباشرة للوفاة؛ بل كانت منحرفة بسبب الطريقة التي تعلم بها النظام التعامل مع حقيقة أن معظم المرضى ينجون. ولإصلاح ذلك، اضطر الباحثون إلى تطبيق تعديل رياضي على تنبؤات عام 2023، والذي نجح في مواءمة تقديرات الحاسوب مع العدد الفعلي للوفيات المرصودة. وبدون هذا التعديل، كان النظام سيبالغ في تقدير الخطر لكل مريض بشكل كبير.
في نهاية المطاف، يشير هذا البحث إلى أنه على الرغم من أن تعلم الآلة يحمل وعوداً كبيرة في رعاية الطوارئ، إلا أنه ليس منتجاً نهائياً جاهزاً لاستبدال الحكم البشري. وتوضح الدراسة أن النموذج يمكن أن يكون ممتازاً في تصنيف المرضى حسب الخطورة، بينما يفشل في تقديم تنبيهات مستقرة وقابلة للتنفيذ بمرور الوقت. ويؤكد الباحثون أنه لكي تكون هذه الأدوات آمنة ومفيدة في المستشفى، يجب اختبارها ليس فقط من حيث قدرتها على ترتيب المرضى، ولكن أيضاً من حيث ما إذا كانت عتبات التحذير الخاصة بها تظل ثابتة مع مرور السنوات، وما إذا كانت تعمل بإنصاف عبر مختلف الفئات العمرية. وإلى أن يتم استكمال هذا التحقق المستقل والاختبار في العالم الحقيقي، ستظل هذه الخوارزميات القوية مجرد أدوات بحثية متطورة وليست أدلة سريرية راسخة.
ملخص تقني: التقييم الزمني لنماذج تعلم الآلة للتنبؤ المبكر بالوفيات داخل المستشفى بعد الإصابات الرضحية الحادة
بيان المشكلة تُستخدم نماذج التنبؤ السريري للإصابات الرضحية بشكل متزايد لدعم اتخاذ القرار في أقسام الطوارئ (ED). ومع ذلك، فإن التمييز الإجمالي المرتفع (على سبيل المثال، AUROC) وحده لا يضمن الموثوقية الزمنية أو الفائدة السريرية. توجد فجوة حرجة في فهم ما إذا كانت النماذج المدربة على بيانات التقييم الأولية في قسم الطواراء تحتفظ بتقديرات مخاطر معايرة وأداء مستقر عند نقاط عتبة محددة (الحساسية/النوعية) عند تطبيقها على مجموعات مرضى مستقبلية. علاوة على ذلك، لا يزال من غير الواضح ما إذا كانت هذه النماذج تعمل بشكل موحد عبر الفئات الفرعية ذات الأهمية السريرية، مثل كبار السن، أو ما إذا كانت المقاييس الإجمالية تحجب تباينًا كبيرًا. تعالج هذه الدراسة الحاجة إلى التمييز بين أداء التصنيف، وتقدير الاحتمالات المعايرة، والتصنيف القائم على العتبة في سياق القابلية للنقل الزمني.
المنهجية
تصميم الدراسة: دراسة أتراب استعادية متعددة المراكز تستخدم قاعدة بيانات نظام المراقبة المتعمقة للإصابات القائم على قسم الطواراء الكوري (EDIIS).
مصدر البيانات والأتراب: حللت الدراسة 626,233 بالغًا (≥19 عامًا) يعانون من إصابات رضحية حادة (حضور خلال 24 ساعة من الإصابة) من عام 2019 إلى 2023.
أتراب الاشتقاق: تم استخدام بيانات 2019–2022 (N=506,999) لتطوير النموذج، والمعالجة المسبقة، وتقدير المعلمات.
أتراب المقارنة الزمنية: تم استخدام بيانات 2023 (N=119,234) للتقييم. لم تُستخدم نتائج عام 2023 في ضبط النموذج أو إعادة المعايرة.
نقطة زمن التنبؤ والمتنبئات: كان الاستخدام المقصود هو دعم القرار الإنذاري المبكر فور التقييم الأولي في قسم الطوارئ. تم تقييد المتنبئات بصرامة بـ 15 متغيرًا متاحًا في ذلك الوقت: العمر، الجنس، آلية الإصابة، القصد، الوقت حتى الوصول إلى قسم الطوارئ، ضغط الدم الانقباضي/الانبساطي، معدل ضربات القلب، معدل التنفس، درجة حرارة الجسم، مقياس غلاسكو للغيبوبة (GCS)، مستوى AVPU، وسيلة النقل، الحضور في وقت الليل، وحالة متعلقة بالكحول. تم استبعاد البيانات اللاحقة (المختبرات، التصوير، الإجراءات) لمنع التسرب الزمني.
النماذج: تم تدريب أربع خوارزميات على أتراب الاشتقاق باستخدام نهج أوزان الفئات لمعالجة عدم التوازن (نسبة الناجين/الوفيات ~75:1):
الانحدار اللوجستي (Logistic Regression)
الغابة العشوائية (Random Forest)
تعزيز التدرج الشديد (XGBoost)
آلة التدرج الخفيف (LightGBM)
كما تم تقييم نموذج لوجستي مبسط مكون من 5 متغيرات (العمر، الضغط الانقباضي، معدل ضربات القلب، معدل التنفس، GCS).
مقاييس التقييم:
التمييز: AUROC والمساحة تحت منحنى الدقة والضبط (AUPRC).
المعايرة: ميل المعايرة، التقاطع، درجة براير (Brier score)، ورسم الانحدار المتساوي (isotonic regression mapping) الذي تم ضبطه على بيانات الاشتقاق وطبقه على عام vez 2023.
استقرار العتبة: تم تطبيق نقاط التشغيل (مؤشر يودن، والحساسية المقيدة عند 90%) المستمدة من بيانات الاشتقاق دون تغيير على عام 2023 لاختبار الاستقرار الزمني.
تحليل المجموعات الفرعية: الأداء مصنف حسب العمر (19–64 مقابل ≥65) وآلية الإصابة.
القابلية للتفسير: قيم SHAP للمساهمة في الميزات.
المقارنات: درجة الصدمة المعدلة (RTS) ومقلوب مؤشر الصدمة مضروبًا في GCS (rSIG).
النتائج الرئيسية
التمييز: أظهرت جميع نماذج تعلم الآلة تمييزًا عاليًا في مجموعة عام 2023، متفوقة بشكل كبير على الدرجات التقليدية.
تراوحت قيم AUPRC بين 0.630 (اللوجستي) و0.716 (LightGBM).
المعايرة:
مخرجات XGBoost غير المعايرة كانت ضعيفة المعايرة (متوسط الوفيات المتوقع 9.09% مقابل 1.39% الملحوظ؛ ميل المعايرة 0.919).
أدى المعايرة المتساوية (Isotonic calibration) المضبوطة على الاشتقاق إلى تحسين الأداء بشكل كبير: تحسن ميل المعايرة إلى 1.021، وانخفضت درجة براير من 0.0367 إلى 0.0065.
الاستقرار الزمني للعتبات الثابتة:
أظهرت نقاط التشغيل الثابتة المستمدة من الفترة 2019–2022 انخفاضًا في الحساسية عند تطبيقها على عام 2023.
العتبة المقيدة بالحساسية (التي تستهدف 90% حساسية في الاشتقاق) حققت 79.49% حساسية فقط في عام 2023 (انخفاض قدره 10.52 نقطة مئوية).
انخفضت حساسية مؤشر يودن من 97.18% إلى 86.57%.
تباين المجموعات الفرعية:
العمر: كان التمييز أقل بشكل ملحوظ لدى كبار الس سن. بلغ AUROC 0.993 للفئة العمرية 19–64 وانخفض إلى 0.930 لمن هم ≥65 عامًا، رغم أن المجموعة الأكبر سنًا سجلت انتشارًا أعلى للوفيات (2.72% مقابل 0.87%).
آلية الإصابة: تباين الأداء حسب الآلية، حيث تراوحت قيم AUROC من 0.953 (السقوط) إلى 0.999 (الإصابات النافذة)، وإن كان الأخير استند إلى عدد قليل من الحالات.
النموذج المبسط: حقق النموذج اللوجستي ذو الـ 5 متغيرات AUROC قدره 0.932 مع ميل معايرة 0.977، مما يشير إلى قيمة إنذارية كبيرة باستخدام متغيرات محدودة ومتاحة فورًا.
المساهمات الرئيسية
إطار التقييم الزمني: توفر الدراسة إطارًا صارمًا لتقييم نماذج التنبؤ ليس فقط على التمييز الإجمالي، بل أيضًا على الاستقرار الزمني للعتبات التشغيلية الثابتة وقابلية نقل الاحتمالات المعايرة.
التمييز بين أبعاد الأداء: تثبت الدراسة تجريبيًا أن ارتفاع AUROC لا يضمن استقرار الحساسية/النوعية عند نقاط القطع الثابتة بمرور الوقت، ولا يضمن أداءً موحدًا عبر المجموعات الفرعية.
ضرورة المعايرة: تسلط النتائج الضوء على أن نماذج تعلم الآلة ذات الأوزان الطبقية تنتج مخرجات لا يمكن تفسيرها كاحتمالات مطلقة دون معايرة (مثل الانحدار المتساوي) مضبوطة على الاشتقاق.
موثوقية المجموعات الفرعية: تحدد الدراسة فجوة أداء محددة لدى كبار السن (≥65 عامًا)، مما يشير إلى أن النماذج المدربة على مجموعات الإصابات العامة قد تتطلب تحققًا أو تعديلًا خاصًا بكل مجموعة فرعية. الأهمية والادعاءات يزعم المؤلفون أنه بينما تحتوي بيانات قسم الطوارئ التي تُجمع بشكل روتيني على معلومات إنذارية جوهرية، فإن التمييز الإجمالي القوي غير كافٍ للتنفيذ السريري. تؤكد الدراسة على ضرورة تقييم النموذج ليكون أداة دعم قرار سريري عبر ثلاثة أبعاد متميزة:
أداء التصنيف (Ranking Performance): (AUROC) – القدرة على ترتيب المرضى حسب الخطورة.
التصنيف القائم على العتبة (Threshold-Specific Classification): استقرار الحساسية والنوعية عند نقاط قرار ثابتة بمرور الوقت.
تخلص الورقة إلى أن عدم الاستقرار الزمني للعتبات الثابتة وانخفاض التمييز لدى كبار السن يستوجب التحقق المستقل (زمنيًا أو جغرافيًا) والتقييم المستقبلي لدمج سير العمل قبل أي نشر سريري. يصرح المؤلفون صراحةً بأن نتائجهم تدعم التمييز بين أبعاد الأداء هذه بدلاً من الاعتماد على مقياس واحد، ويحذرون من أن أداء نموذج XGBoost المختار يمثل "تقديرًا مقارنًا محتجزًا زمنيًا" وليس منتجًا نهائيًا تم التحقق منه بالكامل وجاهزًا للاستخدام السريري.