Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

عندما يُشخَص رجل بسرطان البروستاتا، غالبًا ما يتضمن المسار المستقبلي قرارًا مصيريًا: ما إذا كان سيقوم باستئصال غدة البروستاتا بالكامل باستخدام تقنية جراحية بمساعدة الروبوت. هذا الإجراء، المعروف باسم استئصال البروستاتا الجذري بمساعدة الروبوت، هو علاج قياسي للمرض الموضعي، ولكنه يأتي مع شبكة معقدة من المعلومات التي يجب على المريض فهمها. يحتاجون إلى معرفة كيفية عمل الجراحة، وكيف يبدو التعافي، وكيف قد تؤثر على قدرتهم على التحكم في المثانة أو الحفاظ على الوظيفة الجنسية، وكيف سيراقب الأطباء عودة السرطان. في الماضي، اعتمد المرضى على الكتيبات المطبوعة أو محادثة واحدة مع جراحهم للتنقل عبر هذه الأسئلة. أما اليوم، فيلجأ الكثيرون إلى روبوتات الدردشة القائمة على الذكاء الاصطناعي للحصول على إجابات فورية. يمكن لهذه النماذج اللغوية الكبيرة توليد نصوص تبدو وتسمع كأنها نصيحة بشرية، ولكن يظل السؤال الجوهري قائمًا: هل يمكن الوثوق بها لشرح رحلة طبية تغير مجرى الحياة بدقة ووضوح؟

وضع فريق من الباحثين من المستشفى التابع لكلية شمال سيشوان الطبية خطة لاختبار هذا السؤال تحديدًا. ركزوا على ثلاثة أنظمة ذكاء اصطناعي شهيرة: ChatGPT وDeepSeek وDoubao. لم يطلب الفريق من الآلات إجراء جراحة أو تشخيص شخص معين؛ بل عاملوها كمزودي معلومات. قاموا بتجميع قائمة من خمسة وعشرين سؤالًا متميزًا قد يطرحها المريض في مراحل مختلفة من عملية الرعاية، بدءًا من الفحص الأولي للسرطان وصولاً إلى المتابعة طويلة الأمد بعد الجراحة. غطت هذه الأسئلة كل شيء، من تفسير نتائج الاختبارات إلى فهم مخاطر تلف الأعصاب. ثم قام الباحثون بتغذية كل نموذج من هذه النماذج الثلاثة بكل سؤال من هذه الأسئلة الخمسة وعشرين، مما أنتج إجمالي خمسة وسبعين استجابة منفصلة. ولضمان اختبار عادل، طُرحت الأسئلة بشكل فردي في محادثات منفصلة حتى لا تتمكن النماذج من التعلم من الإجابات السابقة في نفس جلسة الدردشة.

بمجرد جمع الاستجابات، احتاج الباحثون إلى وسيلة لتقييم جودتها. فقد استعانوا بثلاثة خبراء طبيين عملوا كمراجعين "مُعمّين"، مما يعني أنهم لم يكونوا يعرفون أي ذكاء اصطناعي كتب أي إجابة. قيم هؤلاء الخبراء النصوص باستخدام عدة أدوات معتمدة مصممة لقياس جودة تثقيف المرضى. بحثوا فيما إذا كانت المعلومات كاملة، وما إذا كانت تقدم نصائح عملية يمكن للمريض استخدامها بالفعل، وما إذا كانت مكتوبة بطريقة يسهل فهمها. كما تحققوا من وجود أخطاء محددة، مثل الحقائق المختلقة أو التوصيات الطبية القديمة، وحسبوا مدى صعوبة قراءة النص بالنسبة للشخص العادي. كان الهدف هو معرفة ما إذا كان أحد المحركات يتفوق باستمرار على الآخرين أو ما إذا كانت جميعها تعاني من نفس المشكلات.

كشفت النتائج أنه بينما أنتجت جميع النماذج الثلاثة معلومات آمنة ودقيقة بشكل عام، إلا أنها امتلكت "شخصيات" ونقاط قوة متميزة. قدم أحد النماذج، وهو ChatGPT، نصائح قابلة للتنفيذ بشكل متسق؛ فعندما يسأل المريض عما يجب فعله بعد ذلك، كان هذا النموذج أكثر عرضة لتقديم تعليمات واضحة وخطوة بخطوة يمكن للشخص اتباعها. كما سجل درجات أعلى في مقاييس مدى جودة هيكلة المعلومات لدعم اتخاذ القرار لدى المريض. أما النموذج الآخر، DeepSeek، فقد أنتج نصًا كان أسهل في القراءة بشكل ملحوظ؛ حيث كانت جمله أقل تعقيدًا، ومفرداته أكثر سهولة من غيره. ومع ذلك، فإن النص "الأسهل" من DeepSeek كان لا يزال مكتوبًا بمستوى يصعب على العديد من البالغين قراءته براحة، متجاوزًا المستوى الموصى به عادةً للمواد الصحية العامة. أما النموذج الثالث، Doubao، فقد كان أداؤه مشابهًا للآخرين من حيث الدقة، لكنه عانى أكثر من ناحية سهولة القراءة وأغفل تفاصيل رئيسية أحيانًا.

على الرغم من هذه الاختلافات، وجدت الدراسة أنه لا يوجد نموذج واحد مثالي، ولا ينبغي استخدام أي منها كبديل لنصيحة الطبيب. اكتشف الباحثون أنه بينما نادرًا ما تخترع الآلات حقائق أو تقدم نصائح قديمة وخطيرة، إلا أنها قد تغفل أحيانًا معلومات مهمة، خاصة في استجابات DeepSeek وDoubao. علاوة على ذلك، لم يتفق الخبراء البشريون الذين قيموا الإجابات دائمًا مع بعضهم البعض. يشير هذا النقص في الاتفاق إلى أن الحكم على جودة المشورة الطبية هو مهمة صعبة، حتى بالنسبة للمتخصصين المدربين، وأن الاختلافات الصغيرة في الدرجات بين النماذج قد لا تكون ذات أهمية كبيرة كما تبدو. كما سلطت الدراسة الضوء على تحدٍ مستمر: أنتجت جميع النماذج الثلاثة نصوصًا معقدة للغاية بالنسبة للشخص العادي. فالمصطلحات الطبية وهياكل الجمل تطلبت مستوى تعليميًا ثانويًا أو أعلى لاستيعابها بالكامل، مما يخلق حاجزًا أمام العديد من المرضى الذين هم في أمس الحاجة لهذه المعلومات.

خلص الباحثون إلى أن أدوات الذكاء الاصطناعي هذه تظهر وعودًا كأدوات مساعدة للأطباء، وربما تعمل كمسودة أولية للمواد التعليمية التي يمكن لجراح المسالك البولية بعد ذلك مراجعتها وتنقيحها. يمكنها بسرعة توليد شروحات تغطي مجموعة واسعة من المواضيع، لكنها لا تستطيع بعد استبدال المحادثة المتأنية والشخصية التي تحدث بين الجراح والمريض. يمكن للروبوت أن يسرد مخاطر الجراحة، لكنه لا يستطيع النظر في عين المريض، أو فهم مخاوفه المحددة، أو موازنة التاريخ الطبي الفريد والقيم الشخصية لكل مريض. في الوقت الحالي، أفضل استخدام لهذه الآلات القوية هو كأداة دعم للممارسين السريريين، وليس كمصدر مستقل للإرشاد الطبي. وتعد هذه الدراسة تذكيرًا بأنه بينما يمكن للتكنولوجيا جعل المعلومات متاحة بشكل أكبر، فإن العنصر البشري في الرعاية يظل أساسيًا لضمان أن المعلومات ليست دقيقة فحسب، بل مفهومة حقًا أيضًا.