ملخص تقني: تحويل ديناميكيات المريض إلى وكيل (Agentifying) داخل النماذج اللغوية الكبيرة عبر التفاعل مع نموذج عالم سريري

تعريف المشكلة

تُعد إدارة تعفن الدم (Sepsis) في وحدات العناية المركزة (ICUs) مسألة اتخاذ قرار متسلسل عالية المخاطر. يتطلب العلاج الفعال من الأطباء معايرة السوائل الوريدية ومقبضات الأوعية (vasopressors) بمرور الوقت لاستعادة التروية مع تجنب الإصابات العضوية اللاحقة. يتميز هذا التحدي بتطور فسيولوجي سريع للمريض، حيث يمكن للإجراءات التي تحسن الديناميكيات قصيرة المدى (مثل ضغط الدم) أن تؤدي إلى تفاقم النتائج طويلة المدى (مثل الوذمة الرئوية أو الفشل الكلوي).

بينما تمتلك النماذج اللغوية الكبيرة (LLMs) معرفة سريرية واسعة ويمكنها الاستدلال بناءً على الإرشادات الطبية، إلا أنها تفتقر إلى التجذر المتأصل في ديناميكيات المريض المشروطة بالعمل (action-conditioned patient dynamics). قد يعرف النموذج اللغوي الكبير المبادئ الفسيولوجية العامة، لكنه قد يفشل في تقدير كيفية استجابة مريض معين لجرعة محددة خلال الساعات القليلة القادمة. غالبًا ما تتعلم الطرق الحالية سياسات العلاج مباشرة من مسارات السجلات الصحية الإلكترونية (EHR) بأثر رجعي، عبر ربط الحالات بالأفعال. وتكون هذه النهج عرضة للتحيز السلوكي التاريخي وتواجه صعوبة في الاستدلال حول مسارات العلاج البديلة غير الممثلة جيدًا في البيانات الرصدية.

المنهجية

يقدم المؤلفون SepsisAgent، وهو وكيل مدعوم بنموذج عالم (world model-augmented LLM agent) مصمم للتوصية بعلاج تعفن الدم. الابتكار الجوهري هو دمج نموذج عالم سريري (Clinical World Model) مع سياسة النموذج اللغوي الكبير عبر سير عمل "الاقتراح–المحاكاة–التحسين" ومنهج تدريبي ثلاثي المراحل.

1. النموذج العالمي السريري

النموذج العالمي السريري ($W_\theta$) هو تقريب مُتعلم ومشروط بالفعل لنمو المريض. بالنظر إلى الحالة الراهنة للمريض $s_t$ وإجراء علاجي مرشح $a_t$، فإنه يتنبأ بتوزيع الحالة الفسيولوجية التالية $s_{t+1}$ وإشارات النتائج اللاحقة $o_t$.

• البنية: تم تنفيذها باستخدام مشفر وحدة متكررة بوابية (GRU) مكونة من طبقتين لمعالجة مسار تاريخ المريض، يليه رأس انتقال حالة (يتنبأ بمعلمات التوزيع الطبيعي للحالة التالية) ورأس نتائج (يتنبأ بالنتائج السريرية طويلة المدى مثل الوفاة).
• الوظيفة: يعمل كمحاكي تنبؤي، مما يسمح للوكيل بمقارنة خيارات العلاج المضادة للواقع (counterfactual) قبل الالتزام بوصفة طبية.

2. سير عمل SepsisAgent

في وقت الاستدلال، يعمل SepsisAgent عبر حلقة اقتراح–محاكاة–تحسين:

1. الاقتراح: يولد النموذج اللغوي الكبير مجموعة من التدخلات المرشحة للسوائل ومقبضات الأوعية ($C_t$).
2. المحاكاة: لكل مرشح، يقدر النموذج العالمي السريري العواقب الفسيولوجية ($\hat{y}_t$)، بما في ذلك الحالات المستقبلية وإشارات النتائج.
3. التحسين: يقارن النموذج اللغوي الكبير أزواج (الإجراء–الاستجابة) هذه مع الأولويات السريرية والإرشادات لاختيار إجراء العلاج النهائي.

- 3. المنهج التدريبي ثلاثي المراحل

يجادل المؤلفون بأن مجرد توفير الوصول إلى نموذج عالم للنموذج اللغوي الكبير ليس كافيًا؛ بل يجب تدريب الوكيل صراحةً على تفسير التغذية الراجعة المحاكية. اقترحوا خط تدريب مرحلي:

• المرحلة الأولى: التنبؤ بديناميكيات المريض والاستدلال الواعي بالإرشادات (الضبط الدقيق الخاضع للإشراف - SFT):

  • يتم تدريب النموذج على مهام تتضمن التنبؤ بالوفاة داخل المستشفى (IHM)، والتنبؤ بالاحتياج لمقبضات الأوعية (VR)، والاستدلال على العلاج بخطوة واحدة.
  • يتم توليد البيانات باستخدام GPT-4.1 لإنشاء مسارات استدلال (chain-of-thought) تدمج تحليل حالة المريض، وتنبؤ الديناميكيات، وقيود الإرشادات.
  • الهدف: تعليم النموذج فهم تطور المريض والاستدلال ضمن إرشادات تعفن الدم.

• المرحلة الثانية: نسخ السلوك (الاقتراح–المحاكاة–التحسين):

  • يتعلم النموذج كيفية التفاعل مع النموذج العالمي من خلال مسارات استدلال متعددة الجولات.
  • باستخدام انتقالات الخبراء، قام المؤلفون بتوليد مسارات تفاعل حيث يقترح الوكيل إجراءات، ويستعلم من النموذج العالمي عن الاستجابات المحاكية، ثم يحسن قراره قبل اختيار إجراء الخبير.
  • الهدف: تعليم الوكيل كيفية استخدام التغذية الراجعة للنموذج العالمي أثناء اتخاذ القرار (التعلم بالتقليد).

• المرحلة الثالثة: التعلم التعزيزي الوكيل القائم على النموذج العالمي (RL):

  • يتفاعل الوكيل مع النموذج العالمي السريري كبيئة افتراضية باستخدام تحسين السياسة النسبي الجماعي (GRPO).
  • يقوم الوكيل بأخذ عينات من مسارات استدلال متعددة لكل حالة ويقوم بتحسين دالة مكافأة مركبة تشمل النتائج النهائية (البقاء على قيد الحياة/الوفاة)، والاستقرار الفسيولوجي المتوسط (درجة SOFA، ديناميكيات اللاكتات)، وعقوبات اتساق الإرشادات.
  • الهدف: تحسين استراتيجيات العلاج طويلة المدى بدلاً من الاستقرار قصير المدى الجشع.

المساهمات الرئيسية

1. وكيل مدعوم بنموذج عالم (World Model-Augmented LLM Agent): اقتراح SepsisAgent، الذي يتعاون مع نموذج عالم سريري لمقارنة التدخلات المضادة للواقع. يتفوق على طرق التعلم التعزيزي التقليدية ونماذج LLM الأساسية في مسارات تعفن الدم من مجموعة بيانات MIMIC-IV.
2. نموذج تدريب متعدد المراحل: إثبات أن الوصول إلى نموذج عالم وحده يؤدي إلى أداء غير متسق. يضع البحث منهجًا (SFT $\leftarrow$ نسخ السلوك $\leftarrow$ RL) يعلم الوكيل كيفية تفسير الديناميكيات المحاكية بشكل صحيح ومواءمتها مع قيود السلامة السريرية.
3. الاستيعاب الداخلي لديناميكيات المريض: دليل على أن التعلم التعزيزي الوكيل القائم على النموذج العالمي يعزز قدرة النموذج اللغوي الكبير الجوهرية على التنبؤ بنتائج المريض (IHM و VR) حتى عند إزالة المحاكي أثناء التقييم. يتعلم الوكيل انتظامات تطور المريض بدلاً من مجرد ملاءمة إشارات المكافأة.

النتائج التجريبية

تم تقييم النظام على 725 حلقة من الحالات المستبعدة من مجموعة بيانات MIMIC-IV.

• قيمة السياسة: حقق SepsisAgent أعلى درجات قيمة السياسة خارج السياسة (Off-policy value scores) (باستخدام Doubly Robust، وWeighted Importance Sampling، وWeighted Per-Decision Importance Sampling) بين جميع النماذج المرجعية، بما في ذلك طرق RL التقليدية (DDQN، AI Clinician) ومختلف نماذج LLM (GPT-4.1، Gemini-3، o3).
• السلامة والالتزام: حقق SepsisAgent أعلى نسبة التزام بإرشادات تعفن الدم (97.95%) وأقل معدلات للأفعال غير الآمنة (0.08% نقص في الجرعة، 0.14% زيادة في الجرعة). في المقابل، أظهرت النماذج اللغوية الكبيرة البسيطة والنماذج المدعومة بنموذج عالم دون مسار التدريب المحدد معدلات أعلى من الأفعال غير الآمنة أو قيم سياسة أقل.
• دراسات الاستبعاد (Ablation Studies):
  • المرحلة الأولى (SFT) والمرحلة الثانية (نسخ السلوك) حسنت مقاييس السلامة وبعض قيم السياسة، لكنهما لم يحققا مكاسب مستقرة عبر جميع مقدرات خارج السياسة.
  • تم تحديد المرحلة الثالثة (RL) كمحرك رئيسي لتحسين قيمة السياسة، مما يشير إلى أن النموذج العالمي يعمل كبيئة فعالة لتحسين الاستراتيجيات طويلة المدى.
• التعميم: أظهر النموذج أداءً قويًا عبر مجموعات البيانات عند اختباره على حلقات MIMIC-III، متفوقًا على نماذج RL التقليدية.

الأهمية والادعاءات

يدعي البحث أنه يقدم إثبات مفهوم لاستخدام التعلم الوكيل القائم على نموذج العالم لدعم اتخاذ القرار السريري المتسلسل في البيئات عالية الخطورة.

• ما وراء مجرد الوصول: النتيجة الأساسية هي أن الوصول إلى محاكي ليس كافيًا؛ يجب تدريب الوكيل على تفسير التغذية الراجعة للمحاكي. تميل النماذج اللغوية العامة إلى الثقة المفرطة في التحسينات قصيرة المدى المحاكية (مثل التعافي الفوري لضغط الدم) مع تجاهل المخاطر طويلة المدى (مثل زيادة السوائل)، وهو نمط فشل تم تصحيحه بواسطة مسار التدريب المقترح.
• الاستيعاب الداخلي: يشير العمل إلى أن التفاعل المتكرر مع نموذج عالم سريري يسمح للنماذج اللغوية الكبيرة باستيعاب ديناميكيات المريض، مما يحسن قدرتها على التنبؤ بالوفاة والاحتياج لمقبضات الأوعية حتى بدون الوصول إلى المحاكي أثناء الاستدلال.
• السلامة: يوازن النهج بنجاح بين تحسين قيمة العلاج والالتزام الصارم بإرشادات السلامة السريرية، متجنبًا "الاختصارات غير الآمنة" التي غالبًا ما تظهر في وكلاء RL المدفوعين بالمكافأة فقط.

يصرح المؤلفون صراحةً أن البحث يُجرى لأغراض أكاديمية باستخدام بيانات استرجاعية وبيئات محاكية، وأن النماذج ليست مخصصة للنشر السريري المباشر دون إشراف بشري.