Implementation Variability Makes Sepsis-3 an Inconsistent Measuring Model for Early AI Prediction on Clinical Data
تُثبت هذه الورقة أن التباين في تنفيذ تعريفات "Sepsis-3"، لا سيما فيما يتعلق بالاشتباه في وجود عدوى، يقوض بشكل كبير قابلية التكرار والأداء التنبؤي لنماذج الذكاء الاصطناعي مقارنة بالتصنيفات المعتمدة من قبل الخبراء، مما يستلي لزوم الإبلاغ الشفاف عن بروتوكولات القياس لضمان القابلية للمقارنة في الأبحاث السريرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في بيئة وحدة العناية المركزة عالية المخاطر، غالباً ما يكون الوقت هو الفارق بين الحياة والموت. وتعد إنتان الدم (Sepsis)، وهي استجابة خطيرة لعدوى يمكن أن تسبب فشلاً في الأعضاء، سبباً رئيسياً للوفاة في المستشفيات في جميع أنحاء العالم. ولأن هذه الحالة يمكن أن تتدهور بسرعة، يعتمد الأطباء على الذكاء الاصطناعي لمسح سجلات المرضى وإطلاق إنذار قبل أن تنهار حالة المريض. ولتعليم هذه الأنظمة الحاسوبية ما يجب أن تبحث عنه، يجب على الباحثين أولاً تعليمها ماهية إنتان الدم في الواقع. وهم يفعلون ذلك من خلال تطبيق مجموعة من القواعد الطبية المتفق عليها، والمعروفة باسم "Sepsis-3"، على البيانات الخام في السجلات الصحية الإلكترونية. تعمل هذه القواعد كمسطرة قياس، حيث تحول التدفقات المعقدة من العلامات الحيوية ونتائج المختبر إلى تسمية بسيطة: إنتان أو لا إنتان. وكان الأمل هو أنه إذا استخدم الجميع نفس القواعد، فستكون نماذج الكمبيوتر الناتجة موثوقة وقابلة للمقارنة. ومع ذلك، تشير دراسة جديدة إلى أن مسطرة القياس هذه أقل اتساقاً مما كان يُعتقد سابقاً، مما يثير تساؤلات جدية حول كيفية تدريب الذكاء الاصطناعي الذي يُفترض به إنقاذ الأرواح.
قرر باحث في جامعة هايدلبرغ التحقيق في مدى موثوقية هذه القواعد من خلال التعامل مع تعريف إنتان الدم ليس كحقيقة ثابتة، بل كنموذج قياس. فقد نظر في كيفية تطبيق فرق بحثية مختلفة، تدعي جميعها اتباع إرشادات "Sepsis-3" نفسها، على بيانات المرضى. ووجد أن الإرشادات تترك مجالاً كبيراً للتفسير. فعلى سبيل المثال، تنص القواعد على البحث عن "عدوى مشتبه بها"، لكنها لا تحدد بالضبط ما هو مزيج المضادات الحيوية والاختبارات المعملية الذي يُعد اشتباهاً. قد يقرر فريق ما أن جرعة واحدة من المضادات الحيوية كافية، بينما قد يتطلب فريق آخر أسبوعاً كاملاً من العلاج. وبالمثل، يمكن أن يختلف تعريف "الخلل الوظيفي في الأعضاء" اعتماداً على كيفية حساب الباحثين لدرجة محددة تسمى "SOFA"، والتي تتبع مدى كفاءة عمل أعضاء المريض. حدد الباحث ستة مجالات مختلفة حيث يمكن اتخاذ هذه الخيارات، وعندما جمعوا جميع التباينات الممكنة، اكتشفوا وجود أكثر من ألفي طريقة متميزة لتنفيذ نفس التعريف الواحد.
ولمعرفة مدى أهمية هذه الخيارات، أجرى الفريق تجربة ضخمة باستخدام بيانات من ثلاث قواعد بيانات مستشفيات مختلفة. لقد أخذوا نفس سجلات المرضى تماماً وطبقوا كل نسخة ممكنة من قواعد "Sepsis-3" عليها. كانت النتائج مذهلة؛ إذ كانت الطرق المختلفة لتعريف العدوى المشتبه بها هي المصدر الأكبر للاختلاف، تليها كيفية قرار الباحثين بالوقت الدقيق لبداية الإنتان. وفي بعض الحالات، غيّر اختيار القواعد التسمية النهائية للمريض تماماً. ووجد الباحث أن هذه الاختلافات لم تكن مجرد تفاصيل تقنية بسيطة، بل أدت إلى مستوى من عدم الاتساق جعل من الصعب مقارنة نتائج الدراسات المختلفة. فالنموذج الذي يتم تدريبه في مستشفى واحد باستخدام مجموعة قواعد معينة قد يختلف جوهرياً عن نموذج يتم تدريبه في مستشفى آخر باستخدام مجموعة قواعد مختلفة قليلاً، حتى لو ادعى كلاهما استخدام المعيار نفسه.
ثم اتخذت الدراسة خطوة حاسمة من خلال مقارنة هذه التسميات المولدة حاسوبياً بأحكام الأطباء الخبراء الحقيقيين. استخدم الباحث مجموعة بيانات قام فيها أطباء كبار بمراجعة سجلات المرضى يدوياً وتحديد متى بدأت حالة الإنتان في نظرهم بالضبط. وعندما قارنوا النسخ الحاسوبية المختلفة من "Sepsis-3" بهؤلاء الخبراء البشريين، واجهت النماذج الحاسوبية صعوبة في الاتفاق مع الأطباء. كان عدم التطابق شديداً بشكل خاص في مجال الحساسية (sensitivity)، مما يعني أن القواعد الحاسوبية غالباً ما فشلت في تحديد حالات الإنتان التي رصدها الأطباء بوضوح. وكان لهذا الفجوة في الاتفاق تأثير مباشر على أداء الذكاء الاصطناعي؛ حيث كان أداء النماذج المدربة على تسميات "Sepsis-3" المولدة حاسوبياً أسوأ بكثير من النماذج المدربة مباشرة على تسميات الخبراء الأطباء. وفي أسوأ الحالات، كانت النماذج المدربة حاسوبياً أقل دقة في تنبؤاتها بنسبة تصل إلى ثمانية عشر نقطة مئوية، وأقل بنسبة ثلاث عشرة نقطة في قدرتها على تحديد الحالات الإيجابية بشكل صحيح.
اكتشف الباحث أنه يمكنه تضييق هذه الفجوة في الأداء من خلال ضبط القواعد الحاسوبية بعناية لتتطابق مع الطريقة التي يفكر بها الخبراء المحليون بشأن المرض. ومن خلال مواءمة تعريف بداية الإنتان والعدوى مع تسميات الخبراء، تمكنوا من تقليل فجوة الدقة إلى بضع نقاط مئوية فقط. ومع ذلك، جاء هذا الحل مع عقبة؛ فالقواعد المحددة التي طابقت أحكام الخبماء بشكل أفضل كانت غالباً هي تلك التي تحدد بدء الإنتان في وقت لاحق في الجدول الزمني، وهو عكس ما هو مطلوب لأنظمة الإنذار المبكر. تشير هذه النتيجة إلى عدم وجود نسخة واحدة مثالية من تعريف "Sepsis-3" تصلح لكل غرض؛ فالقاعدة التي تعد ممتازة للتنبؤ بمن سيموت قد تكون سيئة جداً في رصد المرض مبكراً، والقاعدة التي تتوافق مع خبراء مستشفى معين قد تفشل في مستشفى آخر.
في النهاية، خلصت الدراسة إلى أن التباين في كيفية تطبيق هذه القواعد هو سمة هيكلية في الطب الحديث، وليس خللاً يمكن إصلاحه بسهولة. ويجادل المؤلف بأن المجال اعتمد بشكل مفرط على فكرة أن التعريف المتفق عليه يضمن قياساً متسقاً. وبدلاً من ذلك، يظهر البحث أن الخيارات المتخذة في الكود البرمجي تهم بقدر ما تهم البيانات نفسها. ولكي يكون الذكاء الاصطناو في الرعاية الصحية جديراً بالثقة وقابلاً للتكرار، يجب على الباحثين التوقف عن معاملة تعريف إنتان الدم كصندوق أسود. إنهم بحاجة إلى الشفافية بشأن النسخة المحددة من القواعد التي استخدموها وكيف تتماشى تلك القواعد مع الواقع السريري المحلي. وبدون هذا الوضوح، يظل وعد الذكاء الاصطناعي بإحداث ثورة في الكشف المبكر عن الأمراض محاطاً بشكوك حول كيفية قياس المرض نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.