Evaluating Safety-Critical Communication Behavior of Large Language Models Using Workflow-Embedded Multi-Agent Clinical Simulation

تعتمد المستشفيات على سلسلة دقيقة من التواصل للحفاظ على سلامة المرضى. فعندما تلاحظ ممرضة تدهور حالة المريض، يجب عليها الاتصال بسرعة بطبيب أقدم، يُعرف باسم "الريجيسترار" (المقيم)، للإبلاغ عن المشكلة والحصول على التعليمات. هذه اللحظة من التصعيد بالغة الأهمية؛ فإذا نسيت الممرضة تفصيلاً رئيسياً، أو إذا أخطأ الطبيب في فهم مدى الاستعجال، فقد يتعرض المريض لضرر يمكن الوقاية منه. وللمساعدة في ذلك، تستخدم العديد من المستشفيات قائمة مرجعية معيارية تسمى ISBAR، وهي اختصار لـ: تحديد الهوية (Identify)، الموقف (Situation)، الخلفية (Background)، التقييم (Assessment)، والتوصية (Recommendation). وتجبر هذه الأداة المتحدث على تنظيم أفكاره قبل الكلام، مما يضمن عدم ترك معلومات حيوية مثل العلامات الحيوية والطلبات المحددة.

ومع بدء المستشفيات في استكشاف استخدام الذكاء الاصطناعي للمساعدة في هذه المحادثات، يبرز سؤال جديد: هل يمكن لبرنامج كمبيوتر أن يدير هذا التواصل عالي الخطورة بأمان؟ إن النماذج اللغوية الكبيرة، وهي التكنولوجيا الكامنة وراء روبوتات الدردشة الحديثة، ممتازة في توليد نصوص تشبه النصوص البشرية. ومع ذلك، فهي معروفة أيضاً بأنها قد تخترع حقائق أو تغفل تفاصيل حاسمة عندما تُترك لتتصرف بمفردها. وقبل أن يتمكن أي نظام من هذا النوع من كسب الثقة في مستشفى حقيقي، كان على الباحثين إيجاد طريقة لاختبار ما إذا كانت هذه البرامج ستتصرف بأمان عند وضعها داخل سير عمل طبي واقعي وتحت ضغط الوقت، بدلاً من مجرد الإجابة على أسئلة بسيطة على الشاشة.

وللإجابة على ذلك، قام فريق من الباحثين في جامعة كوليدج كورك ببناء محاكاة رقمية تحاكي التدفق الدقيق لجناح المستشفى. لم يستخدموا مرضى حقيقيين أو أطباء حقيقيين، بل أنشأوا بيئة محكومة حيث لعبت وكلاء الذكاء الاصطناعي أدواراً محددة: حيث لعب وكيل دور ممرض الجناح، وآخر دور الريجيسترار الأقدم، وثالث دور مدير التمريض. وقد تم "قفل الأدوار" لهذه الوكلاء، مما يعني أن برامج الكمبيوتر كانت مُشددة على الالتزام بشخصياتها، وعدم الخروج عن وظائفها الموكلة إليها لسرد القصة أو التصرف كشخص آخر. وقد غدّى الباحثون هؤلاء الوكلاء بملفات حالات اصطناعية تصف مرضى يعانون من تدهور في حالتهم، مثل شخص يعاني من عدوى شديدة أو جرح نازف. وكان الهدف هو مراقبة كيفية تواصل وكلاء الذكاء الاصطناعي مع بعضهم البعض عندما تسوء حالة المريض.

قام الباحثون بإعداد اختبار عادل عبر تشغيل السيناريو نفسه مرتين لكل حالة مريض. في النسخة الأولى، بدأ وكيل الممرض المحادثة بطريقة طبيعية وغير منظمة، تماماً كما قد يتحدث البشر دون نص مكتوب. وفي النسخة الثانية، طُلب من الممرض استخدام قائمة ISBAR، وتقديم المعلومات بالتنسيق المنظم المحدد. ثم استجاب وكيل الريجيسترار لكلا النوعين من المكالمات، وسجل الباحثون كل كلمة من الحوار الناتج. ثم استخدموا نظاماً آلياً متطوراً لقراءة مئات هذه المحادثات، بحثاً عن أنواع محددة من الأخطاء. فقد تحققوا مما إذا كانت الممرضة قد أغفلت تفاصيل منقذة للحياة، وما إذا كان الطبيب قد قدم خطة واضحة مع وقت محدد للمتابعة، وما إذا كان الذكاء الاصطناعي قد اخترع حقائق ليست موجودة في ملف المريض.

كشفت النتائج عن مزيج مفاجئ من النجاح والفشل. فعندما استخدمت الممرضة هيكل ISBAR، أصبحت المحادثات أكثر كفاءة؛ حيث كان الحوار أقصر، واستغرق عدداً أقل من الأدوار للوصول إلى قرار، وكان الذكاء الاصطناعي أقل عرضة لاختراع حقائق طبية وهمية. وفي المحادثات غير المنظمة، اخترع الذكاء الاصطناعي تفاصيل حول حالة المريض في حوالي 26.5 بالمائة من الحالات، ولكن عند استخدام القائمة المرجعية، انخفض هذا الرقم إلى 10.0 بالمائة. وهذا يشير إلى أن منح الذكاء الاصطناعي تنسيقاً صارماً يساعده على البقاء مرتكزاً على الحقائق المقدمة إليه.

ومع ذلك، كشفت الدراسة أيضاً عن خطر خفي. فبينما كانت المحادثات المنظمة أكثر ترتيباً وسرعة، إلا أنها لم تجعل التواصل أكثر أماناً بالطريقة الأكثر حرجاً. فقد وجد الباحثون أن معدل إغفال المعلومات الحيوية، المعروف باسم "الحذف الحرج للسلامة"، لم ينخفض؛ بل في الواقع، سجلت المحادثات المنظمة معدلاً أعلى قليلاً لهذه الفجوات الخطيرة، حيث بلغت 16.0 بالمائة، مقارنة بـ 11.5 بالمائة في المحادثات غير المنظمة. ويشير الباحثون إلى أنه عندما يتبع الذكاء الاصطناعي قائمة مرجعية جامدة، فقد يفترض أنه قد غطى كل شيء ويتوقف عن طرح الأسئلة الاستيضاحية التي قد يطرحها البشر لسد الفجوات. لقد منعت القائمة المرجعية الذكاء الاصطناعي من اختلاق الأمور، لكنها لم تمنعه من نسيان قول شيء أساسي.

ولضمان دقة تحليلهم الحاسوبي، طلب الباحثون من ممرضتي عناية مركزة ذوات خبرة مراجعة عينة أصغر من هذه المحادثات. بحث الخبراء البشريون عن نفس الأشياء التي بحث عنها الكمبيوتر: التفاصيل المفقودة، والحقائق المختلقة، وخطط العمل الواضحة. ولم يتفق الممرضون البشريون والنظام الآلي دائماً؛ فقد كان الكمبيوتر جيداً جداً في رصد المعلومات المفقلة المحتملة، لكنه كان غالباً شديد الصرامة، حيث صنف عمليات حذف اعتبرها الممرضون البشريون غير مهمة. وعلى العكس من ذلك، كان الكمبيوتر يغفل أحياناً الطرق الدقيقة التي تفتقر فيها الخطة إلى السلامة في العالم الحقيقي. أظهرت هذه الفجوة أنه بينما يمكن لأجهزة الكمبيوتر مسح آلاف المحادثات بسرعة، إلا أنها لا تدرك تماماً تفاصيل السلامة السريرية كما يفعل البشر المدربون.

في نهاية المطاف، يوضح هذا العمل أن اختبار الذكاء الاصطناعي في محاكاة واقعية تعتمد على لعب الأدوار أمر ضروري لفهم كيفية سلوكه في العالم الحقيقي. أظهرت الدراسة أن مجرد جعل النظام يتبع قائمة تواصل مرجعية يحسن من كفاءته ويقلل من ميله للكذب، ولكنه لا يضمن عدم تفويته لتفاصيل سلامة حرجة. وخلص الباحثون إلى أنه قبل استخدام مثل هذه الأدوات في المستشفيات، يجب تقييمها ليس فقط بناءً على ما إذا كانت تبدو مهذبة أو تتبع تنسيقاً معيناً، بل بناءً على قدرتها على نقل الصورة الكاملة لحالة المريض بشكل موثوق. إن الطريق نحو ذكاء اصطناعي طبي آمن يتطلب أكثر من مجرد برمجيات أفضل؛ إنه يتطلب عملية اختبار صارمة تجمع بين الفحوصات الآلية والتقدير الذي لا يمكن استبداله للخبراء البشريين.