Offline Reinforcement Learning for Out-of-Distribution ICU Sepsis Decision Support
تُثبت هذه الورقة أن سياسات التعلم المعزز غير المتصل (offline reinforcement learning) لإدارة إنتان الدم في وحدات العناية المركزة تحافظ على إشارات دعم قرار مستقرة وحساسة للأفعال تحت تأثير تزايد انزياحات الشدة خارج التوزيع، كما يتضح من معدلات البقاء المتوقعة باستمرار من قبل النموذج وتحسن درجات الاستقرار الفسيولوجي رغم تراجع النتائج السريرية الملحوظة.
المؤلفون الأصليون:Arasteh, E., Mirian, M. S., Tavakol, M.
في بيئة وحدة العناية المركزة عالية المخاطر، تُعد معالجة تعفن الدم (الإنتان) بمثابة لعبة شطرنج مستمرة وسريعة الوتيرة تُلعب ضد خصم يتغير بسرعة. تعفن الدم هو رد فعل مهدد للحياة تجاه عدوى، وتتطلب إدارته من الأطباء اتخاذ سلسلة لا تنتهي من القرارات: متى يتم إعطاء السوائل، ومتى يتم البدء في الأدوية لدعم ضغط الدم، ومتى يتم تعديل دعم التنفس. يجب أن تتكيف هذه الخيارات لحظة بلحظة مع استجابة جسم المريض، وغالبًا ما يكون ذلك في ظل ظروف من عدم اليقين الشديد. ولأن اختبار استراتيجيات جديدة على مرضى حقيقيين قد يكون خطيرًا، يعتمد الأطباء على السجلات الماضية للتعلم مما ينجح. وهنا يأتي دور فرع من فروع الذكاء الاصطناعي يُسمى "التعلم المعزز غير المتصل" (offline reinforcement learning). فبدلاً من التعلم عن طريق التجربة والخطأ في مستشفى حي، تقوم هذه الأنظمة الحاسوبية بدراسة أرشيفات ضخمة من بيانات المرضى التاريخية لاكتشاف الأنماط في العلاج والنتائج. والهدف هو بناء مساعد رقمي يمكنه اقتراح الخطوة التالية الأفضل لمريض مريض بناءً على ما حدث لمرضى مشابهين في الماضي. ومع ذلك، يظل هناك قلق كبير: إذا وصل مريض أكثر مرضًا بكثير من أي شخص في السجلات التاريخية، فهل ستظل نصيحة الحاسوب صالحة، أم ستنهار عندما تواجه موقفًا لم تره من قبل؟
وضع فريق من الباحثين هدفهم لاختبار هذا السؤال تحديدًا باستخدام بيانات من آلاف الإقامات في وحدات العناية المركزة. وركزوا على تحدٍ محدد: ماذا يحدث عندما يُطلب من الذكاء الاصطناعي اتخاذ قرارات لمرضى يعانون من حالات أكثر خطورة بشكل ملحوظ من أولئك الذين تم تدريبه عليهم. وللقيام بذلك، أنشأوا اختبار جهد صارم باستخدام قاعدة بيانات كبيرة ومتاحة للجمهور من سجلات العناية المركزة. قاموا أولاً بتعليم عدة نماذج مختلفة من الذكاء الاصطناعي لاقتراح العلاجات باستخدام بيانات من مرضى يعانون من مرض متوسط. ثم اختبروا هذه النماذج على مجموعات جديدة من المرضى تم تكوينها عمدًا من حالات تزداد شدة، بدءًا من كون ربع المجموعة يعاني من مرض حرج وصولاً إلى كون ثلاثة أرباعهم في الحالة الأكثر خطورة. أراد الباحثون معرفة ما إذا كانت ثقة الذكاء الاصطناعي والنتائج المقترحة ستنهار مع ازدياد مرض المرضى، أم أن النماذج يمكنها الحفاظ على نهج مستقر ومنطقي حتى في هذه السيناريوهات القصوى.
كشفت النتائج عن تباين صارخ بين ما حدث بالفعل للمرضى في السجلات التاريخية وبين ما تنبأت به نماذج الذكاء الاصطناعي. ومع ازدياد شدة المجموعات الاختبارية، انخفض معدل البقاء الفعلي للمرضى في السجلات بثبات، حيث هبط من حوالي 67 بالمائة في المجموعات الأخف حدة إلى حوالي 40 بالمائة في المجموعات الأكثر خطورة. كان هذا الانخفاض متوقعًا، حيث يعاني المرضى الأكثر مرضًا بطبيعة الحال من صعوبة أكبر في البقاء على قيد الحياة. ومع ذلك، قدمت نماذج الذكاء الاصطناعي قصة مختلفة. فعندما سأل الباحثون النماذج عن محاكاة لما سيحدث إذا اتبعوا خطة العلاج المقترحة من الذكاء الاصطناعي، ظلت معدلات البقاء المتوقعة مرتفعة ومستقرة بشكل ملحوظ، حيث حامت حول 85 إلى 87 بالمائة عبر جميع مستويات الشدة. لم تبدُ النماذج وكأنها ترتبك أو تفقد مسارها مع ازدياد مرض المرضى؛ بل توقعت باستمرار نتائج أفضل بكثير مما لوحظ في البيانات الواقعية.
كان الباحثون حذرين في توضيح أن هذه الفجوة بين التوقعات المرتفعة والواقع الأدنى لا تعني أن الذكاء الاصطناعي قد اكتشف علاجًا سحريًا من شأنه أن ينقذ هؤلاء المرضى في الحياة الواقعية. بدلاً من ذلك، يشير هذا إلى أن المنطق الداخلي للذكاء الاصطناعي لاتخاذ القرارات يظل متسقًا وحساسًا لحالة المريض، حتى عندما تكون تلك الحالة قصوى. فالنماذج تقول أساسًا: "إذا اتبعنا هذا المسار المحدد من العلاج، فمن المفترض أن يبلي المريض بلاءً حسنًا"، لكنها تفعل ذلك ضمن محاكاة قد لا تستوعب بالكامل الواقع الفوضوي لجسم بشري في حالة حرجة. وللتعمق أكثر، نظر الفريق في التغيرات الفسيولوجية اليومية في عمليات المحاكاة. فقد قاموا بقياس ما إذا كانت المؤشرات الرئيسية مثل ضغط الدم، ومستويات الأكسجين، ووظائف الكلى تتحرك في اتجاه إيجابي تحت توجيه الذكاء الاصطناعي. ووجدوا أن المرضى المحاكيين الذين يتبعون خطة الذكاء الاصطناعي أظهروا علامات استقرار أفضل مقارنة بالمرضى الفعليين في السجلات التاريخية. على سبيل المثال، مال ضغط الدم ومستويات الأكسجين لدى المرضى المحاكيين إلى التحسن بشكل أكثر اتساقًا بمرور الوقت مقارنة بالبيانات الواقعية.
تعتبر هذه الدراسة بمثابة اختبار جهد حاسم لموثوقية هذه الأدوات الرقمية. فهي تظهر أن طرق التعلم المعزز غير المتصل يمكنها الحفاظ على إشارة اتخاذ قرار ثابتة وحساسة للأفعال حتى عند دفعها إلى حدود شدة المرض. لم تنهار النماذج في العبث عندما واجهت المرضى الأكثر مرضًا؛ بل استمرت في توليد مسارات متماسكة ومتفائلة. ومع ذلك، يؤكد المؤلفون أن هذه النتائج هي مقياس لاتساق النموذج الداخلي، وليست دليلًا على التفوق السريري. إن الفجوة بين آمال النموذج المرتفعة والواقع المرير للبيانات التاريخية تسلط الضوء على صعوبة التنبؤ بالنتائج لأكثر المرضى ضعفًا. وقبل أن نتمكن من الوثوق بهذه الأنظمة لتوجيه العلاج في العالم الحقيقي، ستحتاج إلى المعايرة مقابل بيانات جديدة ومستقلة وإثبات فعاليتها في البيئات السريرية الفعلية. وفي الوقت الحالي، تقدم الأبحاث إشارة مطمئنة بأن أدوات الذكاء الاصطنا هذه قوية بما يكفي لمزيد من الدراسة، لكنها تؤكد أيضًا على الحاجة الماسة إلى الحذر قبل استخدامها أبدًا لاتخاذ قرارات تتعلق بالحياة أو الموت للمرضى في وحدات العناية المركزة.
ملخص تقني: التعلم المعزز غير المتصل لتقديم دعم القرار في حالات إنتان الدم في وحدة العناية المركزة (ICU)
بيان المشكلة تعد إدارة حالات إنتان الدم (Sepsis) في وحدات العناية المركبة مسألة اتخاذ قرار متسلسلة حرجة، حيث يقوم الأطباء بتكييف التدخلات بناءً على التطورات الفسيولوجية للمريض. وبينما يوفر التعلم المعزز (RL) إطارًا لتعلم سياسات العلاج من البيانات المسجلة، فإن الاستكشاف المستقبلي مقيد أخلاقيًا. وبناءً على ذلك، يجب تقييم السياسات "خارج الاتصال" (offline). ويبرز تحدٍ كبير تحت تأثير "انزياح التوزيع" (distribution shift): فالسياسات التي يتم تدريبها على مجموعات بيانات قياسية قد تتصرف بشكل غير متوقع مع المرضى الذين يعانون من حالات صحية شديدة، وهم فئة غالبًا ما تكون ممثلة تمثيلًا ناقصًا في بيانات التدريب، لكنهم الأكثر أهمية من الناحية السريرية. يبحث هذا البحث فيما إذا كانت طرق التعلم المعزز غير المتصل القياسية تحتفظ بإشارات دعم قرار مستقرة وحساسة للأفعال عند تقييمها على مجموعات مرضى تقع خارج نطاق التوزيع (OOD) وتزداد شدة حالتهم.
المنهجية تستخدم الدراسة مجموعة بيانات MIMIC-III المرجعية لبناء إطار تقييم صارم يرتكز على الانزياح الناتج عن شدة الحالة.
البيانات وتقسيمات خارج نطاق التوزيع (OOD): قام المؤلفون بإنشاء ثلاثة مخاليط اختبار غنية بالشدة (بنسب 25%، 50%، و75% من حالات الشدة OOD) عبر زيادة نسبة المسارات الشديدة المحجوزة للاختبار. وتُعرَّف شدة المسار بقيمة متوسط shock_severity_proxy. يتم تدريب السياسات على مجموعات أقل شدة، وتقييمها على هذه المجموعات الاختبارية الأكثر صعوبة تدريجيًا.
طرق التعلم المعزز غير المتصل (Offline RL): تمت مقارنة سبع خوارزميات قياسية للتعلم المعزز غير المتصل، والتي تم تدريبها جميعها حصريًا على المسارات المسجلة دون تفاعل مع البيئة:
التكرار الملاءم لـ Q (Fitted Q-Iteration - FQI)
تعلم Q المحافظ (Conservative Q-Learning - CQL)
التكرار الملاءم لـ Q مع عقوبة بأسلوب CQL (FQI+CQL)
تعلم Q المقيد بالدفعات (Batch-Constrained Q-Learning - BCQ)
آلة التدرج المعتمد على الميزة (Advantage-Weighted Actor-Critic - AWAC)
التقييم خارج السياسة باستخدام الديناميكيات المتعلمة (OPE): يعد وجود مجموعة ديناميكيات مشتركة ومتعلمة بشكل منفصل (وهي عبارة عن Perceptron متعدد الطبقات أمام التغذية الأمامية) مكونًا حاسمًا في الإطار، حيث تُستخدم حصريًا للتقييم. تتنبأ هذه المجموعة بتغيرات الحالة التالية، والمكافآت، واحتمالات الإنهاء، واحتمالات البقاء بناءً على أزواج (الحالة-الفعل).
إجراء المحاكاة (Rollout Procedure): تولد السياسات مسارات من خلال التفاعل مع نموذج الديناميكيات المتعلم هذا. تتوقف عملية المحاكاة عندما تصل احتمالية الإنهاء التراكمية إلى حد معين (pdone∈{0.3,0.5,0.7,0.9}) أو عند الوصول إلى الحد الأقصى للمدى (Hmax=100).
المقاييس:
البقاء النهائي المتوقع بالنموذج (J^term): متوسط احتمالية البقاء الذي يحدده مقيم البقاء المعاير للحالة النهائية لمحاكاة النموذج. وهو مقياس حساس للفعل ومعتمد على النموذج.
البقاء السريري الملحوظ (Jobs): معدل البقاء الفعلي من البيانات التاريخية المسجلة، وهو ثابت ومستقل عن السياسة.
درجة الاستقرار الفسيولوجي على مستوى الحلقة (EPSS): مقياس استدلالي يقيس ما إذا كانت المتغيرات الفسيولوجية (مثل اللاكتات، وضغط الشريان الوسطي MAP، والكرياتينين) تتحسن، أو تستقر، أو تسوء بمرور الوقت. ويتم حسابه لكل من عمليات المحاكاة الناتجة عن النموذج والمسارات السريرية المسجلة المطابقة.
المساهمات الرئيسية
اختبار الإجهاد لشدة الحالات (Severity-OOD Stress Testing): يقيم المؤلفون سياسات التعلم المعزز غير المتصل القياسية عبر زيادة نسبة مسارات إنتان الدم الشديدة المحجوزة في مجموعة الاختبار تدريجيًا، متجاوزين بذلك التقييم القياسي داخل نطاق التوزيع.
التمييز بين الكميات المقاسة: تفصل الدراسة صراحةً بين البقاء السريري الملحوظ (Jobs) وعائد البقاء النهائي المتوقع بالنموذج (J^term). ويؤكد المؤلفون أن التباين العددي بين هذين المقياسين هو تشخيص يعتمد على النموذج لعملية التقييم خارج السياسة (OPE)، وليس دليلًا على فائدة علاجية سببية.
تحليل الاستقرار الفسيولوجي: يوفر التحليل الثانوي باستخدام EPSS تشخيصًا مكملًا للبقاء النهائي، حيث يقيم ما إذا كانت مسارات السياسة غير المتصلة تظهر تحركات مواتية في المتغيرات الفسيولوجية مقارنة بالبيانات التاريخية.
النتائج
اتجاهات البقاء: مع زيادة نسبة الشدة OOD من 25% إلى 75%، انخفض معدل البقاء السريري الملحوظ (Jobs) بشكل رتيب من 67.3% إلى 48.8%. في المقابل، ظلت عوائد البقاء النهائي المتوقعة بالنموذج (J^term) لطرق التعلم المعزز غير المتصل مستقرة نسبيًا، حيث تراوحت بين 0.84 و0.87 عبر جميع مستويات الشدة والطرق المختلفة.
فجوة الأداء: اتسعت الفجوة بين أفضل عائد متوقع بالنموذج والبقاء السريري الملحوظ مع زيادة شدة المجموعة (من +0.194 عند 25% إلى +0.358 عند 75%). وكانت هذه الفجوة قوية عبر مختلف عتبات إيقاف المحاكاة (pdone).
مقارنة الطرق: لم تهيمن خوارزمية واحدة على جميع الإعدادات. كانت طريقة التكرار الملاءم لـ Q (FQI) هي الأكثر قوة واستقرارًا بشكل متسق، بينما حققت طريقة BCQ أفضل أداء في حالة الشدة الطفيفة مع عمليات محاكاة طويلة. كان التفاوت في الأداء بين الطرق ضئيلاً، مما يشير إلى وجود عائلة من السلوكيات المستقرة القائمة على النموذج بدلاً من وجود خوارزمية واحدة متفوقة.
الاستقرار الفسيولوجي: حققت عمليات محاكاة النموذج للسياسة غير المتصل قيمًا أعلى لـ EPSS مقارنة بالمسارات السريرية المسجلة المطابقة. بالنسبة لسياسة CQL، زادت فجوة EPSS مع زيادة شدة المجموعة (على سبيل المثال، +0.32 عند 75% من شدة OOD عند مدى 10). كانت الدوافع الرئيسية لهذا التحسن هي انخفاض شدة الصدمة، والكرياتينين، واللاكتات، وتحسن ضغط الشريان الوسطي (MAP).
طول عملية المحاكاة: زاد متوسط طول المحاكاة مع زيادة شدة المجموعة، مما يعكس توقع النموذج لطول فترة البقاء أو تأخر الإنهاء. ويشير المؤلفون إلى أن عمليات المحاكاة الأطول تكون أكثر عرضة لتراكم خطأ النموذج.
الأهمية والادعاءات يزعم البحث أنه تحت بروتوكول تقييم خارج السياسة (OPE) مشترك يعتمد على الديناميكيات المتعلمة، يمكن لسياسات التعلم المعزز غير المتصل أن تحتفظ بإشارات دعم قرار مستقرة وحساسة للأفعال حتى عند تقييمها على مجموعات مرضى تزداد شدة حالتهم وتخرج عن نطاق التوزيع الأصلي. إن استقرار J^term وإشارات EPS المواتية يشيران إلى أن هذه الطرق لا تنهار تحت تأثير انزياح الشدة.
ومع ذلك، يتبنى المؤلفون موقفًا متواضعًا فيما يتعلق بالآثار السريرية؛ حيث يصرحون بوضوح بما يلي:
إن الفجوة الملحوظة بين البقاء المتوقع بالنموذج والبقاء الملحوظ هي تباين قائم على النموذج، وليست أثرًا علاجيًا سببيًا.
هذه النتائج ليست دليلًا على أن نشر هذه السياسات سيؤدي إلى تحسين بقاء المرضى أو حالتهم الفسيولوجية في الواقع.
المقاييس ترث التحيزات والتفاؤل من مجموعة الديناميكيات المتعلمة، خاصة في حالات OOD الشديدة.
العمل المستقبلي مطلوب لمعايرة مقيم الديناميكيات، والتحقق من النتائج على مجموعات سريرية مستقلة، وإجراء تقييم سببي قبل إمكانية تقديم أي ادعاءات سريرية أو البدء في النشر.
باختصار، يضع هذا البحث التعلم المعزز غير المتصل كإطار واعد لتوليد إشارات دعم قرار مستقرة تحت ظروف انزياح التوزيع، مع التحديد الدقيق للحد الفاصل بين التشخيص القائم على النموذج والواقع السريري.