External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

في بيئة وحدة العناية المركزة عالية المخاطر، غالبًا ما يصل المرضى بضغط دم منخفض للغاية لدرجة أن أجسادهم لا تستطيع ضخ ما يكفي من الدم إلى الأعضاء الحيوية. ولإبقائهم على قيد الحياة، يعطي الأطباء أدوية قوية تسمى "رافعات الضغط الوعائي" (vasopressors) لتقبض الأوعية الدموية وترفع الضغط. وأحيانًا، لا يكون الدواء الأول كافيًا، ويضطر الفريق الطبي إلى إضافة دواء ثانٍ، مثل الفازوبريسين (vasopressin)، للحفاظ على استقرار المريض. إن التنبؤ بموعد احتياج المريض لهذا الدواء الثاني يمثل تحديًا معقدًا؛ فالأمر لا يتعلق ببيولوجيا المريض فحسب، بل أيضًا بكيفية تسجيل المستشفيات المختلفة لإجراءاتها، وما تمتلكه من أدوية، ومتى تقرر تصعيد الرعاية. وقد أمَل الباحثون طويلاً في بناء نماذج حاسوبية يمكنها النظر إلى بيانات المريض الحالية — مثل معدل ضربات القلب، وكيمياء الدم، وجرعات الأدوية الحالية — والتنبؤ بيقين متى سيتم طلب دواء جديد. وإذا نجح مثل هذا النموذج بشكل مثالي، فإنه يمكن أن ينبه الأطباء لمراجعة حالة المريض في وقت مبكر، مما قد يمنع حدوث أزمة قبل وقوعها.

لقد وضع فريق من الباحثين هدفًا لاختبار نموذج تنبؤ محدد مصمم لرصد الإشارة التي تشير إلى أن المريض على وشك تلقي الفازوبريسين. قاموا ببناء نموذجهم باستخدام بيانات من مستشفى أكاديمي واحد كبير في الولايات المتحدة، حيث حللوا آلاف السجلات المرضية لإيجاد الأنماط التي سبقت إعطاء الدواء. تم تدريب النموذج للبحث في خمسة عشر معلومة مختلفة، مثل جرعة الدواء الأول الحالية، ومعدل ضربات القلب، ومستويات مواد كيميائية معينة في الدم. كان الهدف هو إنشاء أداة يمكنها أن تقول للطبيب: "هذا المريض معرض لخطر عالٍ للحاجة إلى الفازوبريسين في الـ 24 ساعة القادمة". ولرؤية ما إذا كانت هذه الأداة مفيدة حقًا، لم يكتفِ الباحثون باختبارها على بيانات نفس المستشفى الذي بُنيت فيه، بل أخذوا النموذج نفسه تمامًا، دون تغيير رقم واحد، وطبقوه على مجموعة مختلفة تمامًا من البيانات من شبكة تضم عشرات المستشفيات في جميع أنحاء البلاد. هذا هو الاختبار النهائي لأي أداة تنبؤ طبي: هل يمكنها العمل في مكان جديد، مع مرضى مختلفين وأطباء مختلفين، أم أنها تعمل فقط في البيئة المحددة التي أُنشئت فيها؟

كشفت نتائج هذا الاختبار عن تمييز جوهري ومفاجئ نوعًا ما. فعندما نظر النموذج إلى مجموعة المرضى الجديدة، ظل جيدًا جدًا في ترتيبهم. فإذا قمت بصف جميع المرضى من الأقل خطرًا إلى الأكثر خطرًا، فإن النموذج وضع المرضى الذين تلقوا الدواء بالفعل بالقرب من أعلى القائمة بشكل صحيح. ومن الناحية الإحصائية، حافظ النموذج على قدرته على التمييز بين أولئك الذين سيحصلون على الدواء وأولئك الذين لن يحصلوا عليه. ومع ذلك، فشل النموذج تمامًا في قول الحقيقة بشأن الأرقام الفعلية. ففي المستشفى الأصلي، توقع النموذج أن حوالي 14 بالمائة من المرضى سيحتاجون إلى الدواء، وهذا طابق الواقع. ولكن عند تطبيقه على المستشفيات الجديدة، توقع النموذج أن 16 بالمائة من المرضى سيحتاجونه، بينما في الواقع، احتاج 9 بالمائة فقط. لقد كان النموذج يبالغ باستمرار في تقدير المخاطر. كان الأمر يشبه توقعات الطقس التي تتوقع بشكل صحيح أنها ستمطر في الأيام التي تمطر فيها بالفعل، لكنها تخبرك بأن هناك احتمالًا بنسبة 90 بالمائة لهطول الأمطار في أيام لا يتجاوز فيها الاحتمال 30 بالمائة.

إن عدم التطابق هذا بين الترتيب والاحتمالية الفعلية يعد اكتشافًا مهمًا لأنه يغير كيفية استخدام هذه الأداة. فقد وجد الباحثون أن تنبؤات النموذج لم تكن مجرد خاطئة قليلاً؛ بل كانت مشوهة بطريقة تجعل الأرقام غير موثوقة لاتخاذ القرارات الطبية المباشرة. في المستشفيات الجديدة، كانت تنبؤات النموذج متباعدة جدًا، مما يعني أنه كان واثقًا جدًا بشأن الحالات القصوى. فقد اعتقد أن بعض المرضى من المؤكد تقريبًا أنهم سيحصلون على الدواء، والبعض الآخر من المؤكد تقريبًا أنهم لن يحصلوا عليه، بينما كان الواقع أكثر اعتدالاً بكثير. وحتى عندما حاول الباحثون تعديل النموذج عن طريق مجرد تحريك متوسط التنبؤ للأعلى أو للأسفل ليتناسب مع الواقع الجديد، لم يحل ذلك المشكلة. ظل شكل التنبؤات خاطئًا. وهذا يشير إلى أن الطريقة التي توثق بها المستشفيات المختلفة رعايتها، أو العتبات المحددة التي يستخدمونها لتقرير إعطاء الدواء، مختلفة جدًا بحيث لا يمكن ببساطة نسخ نموذج واحد ولصقه من مكان إلى آخر.

كما بحثت الدراسة فيما إذا كان يمكن تحسين النموذج من خلال التعلم من البيانات الجديدة. فقد اختبروا طريقة يتم فيها تزويد النموذج بكمية صغيرة من المعلومات الجديدة من المستشفيات المحلية لتعديل إعداداته الداخلية. ووجدوا أنه حتى مع هذا التعلم المحلي، عانى النموذج من أجل التكيف بشكل مثالي، خاصة عند النظر إلى المستشفيات الفردية بدلاً من المجموعة بأكملها. وفي الواقع، كان لدى العديد من المستشفيات الفردية في الشبكة الجديدة عدد قليل جدًا من المرضى الذين تلقوا الدواء، مما يجعل من المستح المستحيل إحصائيًا بناء نسخة مخصصة وموثوقة لكل منها. وخلص الباحثون إلى أنه بينما يمكن للنموذج أن يعمل كأداة ترتيب مفيدة لمساعدة الأطباء على تحديد أولويات المرضى الذين يجب مراجعتهم أولاً، إلا أنه لا يمكن استخدامه لإعطاء نسبة مئوية محددة لاحتمالية حاجة المريض للدواء. لا يمكنه أن يخبر الطبيب: "هناك احتمال 40 بالمائة أن هذا المريض يحتاج إلى الفازوبريسين"، لأن هذا الرقم سيكون خاطئًا على الأرجح.

في النهاية، يسلط هذا البحث الضوء على حد أساسي في استخدام السجلات الصحية الإلكترونية للتنبؤ بالعلاجات الطبية. فالنتيجة التي كان يحاول النموذج التنبؤ بها لم تكن حدثًا بيولوجيًا مثل النوبة القلبية، بل كانت قرارًا بشريًا مسجلًا في نظام حاسوبي. وبما أن هذا القرار يعتمد على العادات المحلية، والأدوية المتاحة، وأساليب التوثيق، فإن "الإشارة" التي يرصدها النموذج هي مزيج من فسيولوجيا المريض وثقافة المستشفى. لقد تعلم النموذج ثقافة المستشفى الأول جيدًا لدرجة أنه لم يستطع فصلها عن بيولوجيا المريض عند انتقاله إلى مكان جديد. ويؤكد الباحثون أنه لا ينبغي استخدام هذه الأداة لبدء العلاج تلقائيًا أو لتقديم ادعاءات حاسمة حول مستقبل المريض. بدلاً من ذلك، قد تكون مفيدة في "وضع صامت"، حيث تضع علامة بهدوء على المرضى المعرضين لخطر عالٍ ليراجعهم طبيب بشري، بشرًا بشرط أن يقوم الفريق المحلي أولاً بفحص وتعديل الأرقام لتناسب واقع مستشفاه الخاص. وتعد هذه الدراسة تذكيرًا بأنه في الطب، النموذج الذي يعمل في مكان ما ليس مضمون العمل في مكان آخر، وأن فهم الفرق بين ترتيب المرضى والتنبؤ بمخاطرهم الدقيقة أمر ضروري لتقديم رعاية آمنة وفعالة.