Dual-Gated Double Deep Q-Networks for Sepsis Resuscitation: An Offline Reinforcement Learning Framework for Hemodynamic Management in Intensive Care

ملخص تقني: شبكات Q العميقة المزدوجة ذات البوابات المزدوجة لإنعاش حالات إنتان الدم

بيان المشكلة
لا يزال إنتان الدم (Sepsis) أحد الأسباب الرئيسية للوفاة في وحدات العناية المركزة (ICUs)، ويرجع ذلك أساساً إلى صعوبة موازنة الإنعاش الهيموديناميكي. يجب على الأطباء إعطاء السوائل الوريدية (IV) ومقبضات الأوعية الدموية لاستعادة حجم الدم والضغط دون التسبب في فرط تحميل السوائل (الذي يؤدي إلى الوذمة الرئوية واحتقان الأعضاء) أو التضييق المفرط للأوعية (الذي يؤدي إلى نقص تروية الأنسجة). غالباً ما تكون الإرشادات السريرية الحالية عامة، مما يؤدي إلى ممارسات غير متسقة حيث يمكن أن يؤدي الإفراط في العلاج أو نقص العلاج إلى تفاقم النتائج. وبينما يوفر التعلم المعزز (RL) غير المتصل (Offline RL) باستخدام بيانات السجلات الصحية الإلكترونية (EHR) مساراً لسياسات علاجية مخصصة، تواجه شبكات Q العميقة (DQN) القياسية عقبات كبيرة في هذا المجال:

1. تحيز المبالغة في التقدير (Overestimation Bias): تميل شبكات DQN القياسية إلى المبالغة في تقدير قيم Q في البيانات الصاخبة والمحدودة، مما يؤدي إلى توصيات علاجية جريئة ومخاطرة.
2. التقدير المنخفض والخمول (Underestimation and Passivity): تقوم شبكة Double DQN (DDQN) بتصحيح المبالغة في التقدير، لكنها غالباً ما تنزلق نحو التقدير المنخفض في البيئات عالية الضجيج، مما يؤدي إلى تسطيح الفروق في القيم ويجعل الوكيل متردداً جداً في اتخاذ الإجراء أثناء التدهور الحاد.
3. تشويه الإجراء (Action Distortion): تقوم شبكة Dueling DQN (D3QN) القياسية بحساب قيم الحالة عن طريق المتوسط لجميع الإجراءات، مما يسمح للإجراءات عالية الجرعة أو غير العقلانية بتشويه قيمة الحالة الأساسية.
4. الافتقار إلى التقشف في الجرعات (Lack of Dose Parsimony): تفتقر نماذج التعلم المعزز القياسية إلى آلية متأصلة لتفضيل الجرعات الأقل والأكثر أماناً عندما تكون كافية سريرياً، وغالباً ما تميل إلى الجرعات الجريئة إذا كانت تحقق درجة متوقعة أعلى قليلاً.

المنهجية
يقترح المؤلفون شبكات Q العميقة المزدوجة ذات البوابات المزدوجة (DG-D3QN)، وهو إطار عمل للتعلم المعزز غير المتصل يتم تدريبه على قاعدة بيانات MIMIC-IV v3.0. يتم هيكلة النهج كما يلي:

• تنقية البيانات: تستخدم الدراسة مجموعة مكونة من 19,550 مريضاً بالغاً مصاباً بإنتان الدم (تعريف Sepsis-3) مع إقامة في العناية المركزة لمدة لا تقل عن 24 ساعة. تم تقسيم البيانات بصرامة حسب معرف المريض (70% تدريب، 15% تحقق، 15% اختبار) لمنع تسرب البيانات. يتم تجميع الخطوات الزمنية في فترات مدتها 4 ساعات.
• فضاء الحالة والإجراء (State and Action Space):
  • الحالة ($S$): متجه مكون من 50 بُعداً يتضمن البيانات الديموغرافية، درجات فشل الأعضاء (SOFA, SIRS, GCS)، العلامات الحيوية، كيمياء الدم، غازات الدم، حالة التهوية، وتوازن السوائل.
  • الإجراء ($A$): شبكة منفصلة 5×5 (25 إجراءً) تمثل تركيبات من حجم السوائل الوريدية ومعدل مقبضات الأوعية الدموية (المعايرة بما يعادل النورإبينفرين). يتجنب هذا التجزئة "انهيار الفئات" (bin collapse) عبر فصل فترات الجرعة الصفرية عن الجرعات النشطة واستخدام تقسيم قائم على الربيعات للقيم غير الصفرية.
• تشكيل المكافأة (Reward Shaping): يستخدم الإطار تشكيل المكافأة القائم على الإمكانات (PBRS) باستخدام درجة SOFA لتوفير تغذية راجعة متوسطة حول تحسن وظائف الأعضاء ($\Delta$SOFA)، مدمجة مع إشارة وفيات ضعيفة (sparse) لمدة 90 يوماً. يتم إضافة حد عقابي لتثبيط الجرعات العالية غير الضرورية.
• بنية الشبكة (DG-D3QN):
  • البنية المزدوجة (Dueling Structure): تفصل بين تقدير قيمة الحالة $V(s)$ وميزة الإجراء $A(s, a)$.
  • آلية البوابة المزدوجة (Dual-Gating Mechanism): تقدم عامل وزن تكيفي $\eta$ للتدخل بين أهداف Double DQN (لمنع المبالغة في التقدير) والأهداف الجشعة (Greedy targets) (لمنع التقدير المنخفض). يتم توجيه هذه البوابة بواسطة إشارتين:
    1. ثقة تعتمد على الحالة: تقدير متعلم لشدة حالة المريض/عدم اليقين.
    2. التفاوت المعرفي (Epistemic Discrepancy): التباعد بين تقديرات هدف DQN القياسية وهدف Double DQN.
  • مركزية الميزة الموزونة بالإجراء والمطبعة (Normalized Action-Weighted Advantage Centering): بدلاً من المتوسط البسيط، يستخدم فرع الميزة متوسطاً موزوناً بـ softmax لمركزة القيم. يضمن هذا عدم قيام الإجراءات المميتة أو غير العقلانية بتشويه حساب قيمة الحالة الأساسية.
  • التقشف في الجرعة الموجه بالحدة (Acuity-Guided Dose Parsimony): يتم تطبيق عقوبة ديناميكية على قيمة Q بناءً على شدة حالة المريض. عندما يكون المريض مستقراً (درجة شدة منخفضة)، تكون عقوبة الجرعات العالية عالية؛ وعندما يكون المريض في حالة صدمة شديدة، يتم تخفيف العقوبة، مما يسمح بالإنعاش الجريء إذا لزم الأمر.

المساهمات الرئيسية

1. بنية DG-D3QN: تصميم شبكة مبتكر يوازن ديناميكياً بين تحديثات Double DQN والتحديثات الجشعة عبر آلية بوابة تعتمد على الثقة وعدم اليقين، مما يعالج مشكلة المبالغة في التقدير والتقدير المنخفض في السياقات السريرية غير المتصلة.
2. مركزية الميزة المطبعة (Normalized Advantage Centering): تحسين رياضي لشبكة Dueling يقوم بوزن مركزة المزايا عبر (softmax) بدلاً من المتوسط الحسابي البسيط، مما يمنع الإجراءات الشاذة من تشويه قيم الحالة.
3. عقوبة الجرعة المتكيفة مع الشدة: دمج حد عقابي يتناسب مع حدة المريض، مما يشجع بنشاط على الجرعات المحافظة للمرضى المستقرين بينما يسمح بالرعاية الجريئة للحالات الحرجة.
4. تقييم غير متصل صارم: تنفيذ تقسيم بيانات صارم على مستوى المريض والتقييم باستخدام Weighted Importance Sampling (WIS) و Per-Decision Importance Sampling (PDIS) لضمان تقييم سياسة غير متحيز.

النتائج
تم تقييم النموذج على مجموعة اختبار محجوزة تضم 2,933 مريضاً، وأظهر DG-D3QN أداءً متفوقاً مقارنة بالنماذج المرجعية DQN و DDQN و D3QN:

• الاستقرار وتقليل التحيز: حقق DG-D3QN أدنى خطأ في بقايا Bellman (0.4382) وأقل خسارة Huber نهائية (0.3370)، مما يشير إلى تدريب أكثر استقراراً وتقليل تحيز تقدير القيمة.
• السياسة المحافظة: أوصى النموذج بتدخلات منخفضة الجرعة (فئات السوائل 0–1 وفئات مقبضات الأوعية 0–1) في 43.3% من حالات المرضى، مقارنة بنحو 21% للنماذج المرجعية القياسية و 19% لممارسة الأطباء الفعلية.
• الحد من الإفراط في العلاج: انخفضت توصيات الجرعات العالية (الفئات 3–4) إلى 11.6% من الفترات، وهو أقل بنحو ثلاث مرات من نسبة 31.2% التي لوحظت في بيانات الأطباء التاريخية.
• التوافق السريري: تتوافق توصيات النموذج مع نتائج التجارب السريرية الحديثة (مثل CLASSIC و CLOVERS) التي تدعو إلى الإشراف على السوائل لتجنب الحمل الزائد، مع الاحتفاظ بالقدرة على التوصية برعاية جريئة للمرضى الذين يعانون من صدمة شديدة (انخفاض MAP، ارتفاع اللاكتات، ارتفاع SOFA).

الأهمية والادعاءات
يزعم البحث أن DG-D3QN يوفر إطار عمل أكثر استقراراً وأماناً للإدارة الهيموديناميكية في حالات إنتان الدم. من خلال معالجة تحيز المبالغة في التقدير الشائع في التعلم المعزز والميل لتوصية جرعات عالية خطيرة، يقدم النهج المقترح سياسة قوية رياضياً ومحافظة سريرياً. يؤكد المؤلفون أن النموذج نجح في تعلم "القيام بالأقل" عندما يكون ذلك مناسباً، مما يقلل من خطر فشل الأعضاء الناجم عن السوائل، مع الحفاظ على المرونة للتحرك بجرأة عندما تقتضي شدة حالة المريض ذلك. يسلط العمل الضوء على إمكانات التعلم المعزز غير المتصل لصقل الإرشادات السريرية، بشرما توفر ضمانات هيكلية محددة (البوابات، المركزية، وعقوبات الجرعة) للتعامل مع الضجيج وندرة البيانات في بيئات العناية المركزة الواقعية.