Before the Model Comes the Endpoint: Stable-Extubation Adjudication for Cross- Database Prediction in Obstructive Airway Disease

تخيل أنك محقق تحاول حل لغز ما، لكن مسرح الجريمة هو نظام كمبيوتر في مستشفى، و"الجريمة" هي معاناة مريض من صعوبة في التنفس بعد إيقاف جهاز التنفس الاصطناعي. هذا المجال من العلوم يسمى "التنبؤ السريري"، حيث يحاول الأطباء وعلماء البيانات بناء "كرات بلورية رقمية". تستخدم هذه الكرات البلورية بيانات المرضى السابقة لتخمين من قد يواجه مشكلات في التنفس بمفرده بمجرد توقف الجهاز. الفكرة الكبيرة بسيية: إذا استطعنا رصد الخطر مبكراً، يمكننا مساعدة المريض قبل أن تنهار حالته. لكن هناك عقبة؛ فالمستشفيات تسجل البيانات بطرق بشرية فوضوية. أحياناً يحصل المريض على مساعدة بسيطة من قناع فقط لزيادة الأمان (مثل حزام الأمان)، وأحياناً أخرى يفشل فعلياً ويحتاج للعودة إلى الجهاز. إذا لم يستطع الكمبيوتر التمييز بين "الأمان أولاً" وبين "الإنقاذ في حالة الطوارئ"، فإن الكرة البلورية ستصبح عديمة الفائدة. الأمر يشبه محاولة التنبؤ بعاصفة من خلال النظر إلى خريطة طقس تخلط بين النسيم العليل والإعصار.

هذه الورقة البحثية، التي كتبها تيانيي يو (Tianyi Yu)، تعالج هذه الفوضى تحديداً. يتساءل المؤلف سؤالاً جوهرياً: هل يمكننا تنظيف البيانات بحيث تعمل كراتنا البلورية الرقمية فعلياً عندما ننتقل بها من نظام كمبيوتر في مستشفى إلى آخر؟ تبحث الدراسة في حالات المرضى الذين يعانون من حالات تنفسية صعبة مثل الانسداد الرئوي المزمن (COPD) والربو. وجد الباحثون أن الطريقة المعتادة لعدّ "الإخفاقات" كانت مليئة بالضجيج بشكل كبير. لذا ابتكروا قاعدة جديدة أكثر صرامة لتحديد ما يعتبر إخفاقاً حقيقياً. ووجدوا أنه بينما جعلت هذه القاعدة الجديدة البيانات أكثر نظافة واتساقاً بين المستشفيات المختلفة، إلا أن النماذج الحاسوبية التي بنوها لم تكن جاهزة تماماً للاستخدام على المرضى الحقيقيين حتى الآن. استطاعت النماذج رصد الأنماط، لكنها لم تستطع التنبؤ بالمخاطر بدقة كافية لتكون موثوقة عند سرير المريض.

قصة الإشارة الضوضائية

فكر في السجل الصحي الإلكتروني (EHR) في المستشفى كأنه استوديو تسجيل ضخم وفوضوي. في كل مرة يفحص فيها ممرض مريضاً، أو يطلب فيها طبيب اختباراً، أو يصدر فيها جهاز تنبيه، تُضاف نوتة جديدة إلى الأغنية. في حالة المرضى الذين يستخدمون أجهزة التنفس، من المفترض أن تخبرنا هذه الأغنية متى يكونون مستعدين للغناء بمفردهم. لكن التسجيل مليء بالضجيج (الاستاتيكا).

أحياناً، يتم إزالة جهاز التنفس عن المريض، ويتنفس بشكل جيد لفترة، ثم يحصل على مساعدة بسيطة من قناع غير جراحي (مثل قناع الأكسونة عالية التدفق) فقط لزيادة الأمان. وفي أحيان أخرى، يتم نزع الجهاز عنه ويبدأ فوراً في النهجان، مما يستدب عودة الأنبوب. في البيانات الفوضوية، يبدو كلا الحدثين متشابهين: "المريض أُزيل عنه الجهاز، ثم حصل على مساعدة". إذا قمت فقط بعدّ كل مرة طُلبت فيها المساعدة على أنها "إخفاق"، فأنت تعد إجراءات السلامة كأنها كوارث. الأمر يشبه معلماً يرسب طالباً لأنه يرتدي خوذة سلامة في مختبر العلوم، رغم أن الطالب كان يتبع القواعد فحسب.

قاعدة "الاستقرار بعد نزع الأنبوب": مرشح جديد

قرر المؤلف، تيانيي يو، بناء مرشح لتنظيف هذا الضجيج. اقترح قاعدة جديدة، أطلق عليها اسم "التحقق من الاستقرار بعد نزع الأنبوب" (stable-extubation adjudication). فكر في هذا كأنه "فترة تبريد" للبيانات.

تقول القاعدة: يُعتبر المريض "فاشلاً" فقط إذا تم نزع الجهاز عنه، وتنفس بمفرده براحة لمدة 12 ساعة، ثم واجه مشكلة. إذا واجه مشكلة فوراً، أو إذا حصل فقط على مساعدة بسيطة للبقاء آمناً، فلا يُحتسب ذلك كإخفاق في هذا النظام الجديد. علاوة على ذلك، إذا واجه مشكلة بالفعل، يجب أن يحتاج إلى جهاز التنفس مرة أخرى لمدة ساعتين على الأقل ليُحتسب كإخفاق. كما أن الوفاة خلال 48 ساعة تُحتسب أيضاً كإخفاق حاد.

هذه القاعدة تشبه حارس النادي الذي لا يسمح للناس بالدخول إلا إذا وقفوا في الخارج لمدة 12 ساعة ثم قرروا فجأة الهروب. إنها تصفي الأشخاص الذين كانوا يتسكعون أو يتناولون شراباً سريعاً (الدعم الوقائي) وتصطاد فقط أولئك الذين يهربون فعلياً في حالة ذعر (الفشل الحقيقي).

تبادل البيانات الكبير: MIMIC-IV مقابل eICU

لاختبار ما إذا كانت هذه القاعدة تعمل، لعب المؤلف لعبة "الكراسي الموسيقية" مع قاعدتي بيانات ضخمتين: MIMIC-IV (من مستشفى كبير في بوسطن) و eICU-CRD (من مستشفيات مختلفة عبر الولايات المتحدة). قواعدتا البيانات هاتان تشبهان مكتبتين مختلفتين؛ إحدى المكتبتين تكتب كتبها بأسلوب محدد ومفصل للغاية، بينما تكتب المكتبة الأخرى بأسلوب أكثر حرية وتنوعاً. عادةً، إذا دربت كمبيوتراً على قراءة المكتبة (أ)، فسيصاب بالارتباك عندما يحاول قراءة المكتبة (ب).

أراد المؤلف معرفة ما إذا كانت قاعدة "التبريد" الجديدة ستجعل الكتب من كلتا المكتبتين تبدو أكثر تشابهًا.

النتائج:
قبل القاعدة الجديدة، كانت البيانات فوضوية. في مكتبة MIMIC-IV، بدا أن 68.5% من المرضى قد فشلوا. أما في مكتبة eICU، فقد بدا أن 34.8% فقط هم من فشلوا. هذا فرق هائل قدره 33.7 نقطة مئوية. كان الأمر كما لو أن مكتبة تقول "معظم الناس يفشلون" والأخرى تقول "معظم الناس ينجحون"، رغم أنهما ينظران إلى مرضى متشابهين.

بعد تطبيق القاعدة الجديدة:

• في MIMIC-IV، انخفض معدل الفشل إلى 25.2%.
• في eICU-CRD، انخفض إلى 12.5%.
• تقلص الفرق بين المكتبتين إلى 12.7 نقطة مئوية فقط.

لقد نجحت القاعدة! لقد نظفت البيانات وجعلت المستشفيين المختلفين يبدوان أكثر تشابهاً. لقد أثبتت أن الطريقة القديمة في العدّ كانت تبالغ في تقدير حالات الفشل، وتخلط بين إجراءات السلامة والكوارث.

الكرة البلورية: جيدة في الرصد، سيئة في التنبؤ

الآن بعد أن أصبحت البيانات نظيفة، حاول المؤلف بناء "كرة بلورية" (نموذج تنبؤي) لتخمين من سيفشل. قام بتدريب نموذج على مكتبة واحدة واختبره على الأخرى دون تغيير أي شيء.

كانت النتائج مزيجاً من "ليس سيئاً" و"ليس جيداً بما يكفي".

• استطاع النموذج التمييز بين المرضى الذين سيفشلون وأولئك الذين لن يفعلوا أفضل من التخمين العشوائي. وكانت درجة هذه القدرة (تسمى AUROC) هي 0.679 عند الانتقال من MIMIC إلى eICU، و 0.672 في الاتجاه الآخر.
• ومع ذلك، كان النموذج سيئاً جداً في تخمين الخطر الدقيق. إذا قال النموذج إن لدى المريض فرصة 50% للفشل، فغالباً ما كان مخطئاً. "درجة براير" (Brier score) (وهي مقياس لمدى دقة الاحتمالية) كانت 0.471 في أحد الاتجاهين، وهي نسبة مرتفعة جداً وتعني أن التنبؤات كانت غير دقيقة.

يوضح المؤلف أنه بينما استطاع النموذج رؤية الشكل العام للمشكلة (التمييز/Discrimination)، إلا أنه لم يستطع قياس حجم المشكلة بدقة (المعايرة/Calibration). الأمر يشبه تطبيق الطقس الذي يعرف أن المطر سيهطل، لكنه يستمر في القول إن هناك احتمال 90% بينما هو في الواقع 20% فقط.

ماذا يعني هذا للمستقبل؟

الاستنتاج الأهم هو أنه لا يمكنك إصلاح كرة بلورية مكسورة بمجرد جعل عدستها أكثر تطوراً. يجادل المؤلف بأن المشكلة الكبرى لم تكن في خوارزمية الكمبيوتر (العدسة)؛ بل كانت في تعريف الحدث (الشيء الذي يتم رصده). من خلال إصلاح التعريف باستخدام قاعدة "استقرار الـ 12 ساعة"، جعلوا البيانات قابلة للبحث.

ومع ذلك، فإن الورقة واضحة جداً: هذا النموذج ليس جاهزاً بعد للعمل بجانب سرير المريض. لا يمكن استخدامه لإخبار الطبيب: "لا تنزع الأنبوب عن هذا المريض". التنبؤات ليست دقيقة بما يكفي لتوضع فيها حياة المريض على المحك. يقترح المؤلف أنه قبل أن يستخدم أي مستشفى هذا النموذج، يحتاجون لاختباره محلياً، وضبط الأرقام لتناسب أسلوب مستشفاهم الخاص، ومراقبته بعناية للتأكد من عدم انحرافه عن المسار.

باختدصار، لم تحل هذه الدراسة مشكلة التنبؤ بفشل التنفس، لكنها حلت مشكلة تعريف هذا الفشل. لقد أظهرت لنا أنه قبل أن نبني سيارة أفضل، نحتاج للتأكد من أننا جميعاً نقود على نفس الطريق. الطريق أصبح الآن أكثر وضوحاً، لكن السيارة لا تزال بحاجة إلى بعض جولات الاختبار قبل أن تكون آمنة للوصول إلى الطريق السريع.