Performance of a domain-specific large language model in answering patient questions in psychiatry
على الرغم من تفوق النموذج اللغوي الكبير المتخصص في هذا المجال "MIND" على روبوتات الدردشة العامة في درجات المعايير الموضوعية والاكتمال، إلا أن الأطباء النفسيين المرخصين فضلوا في نهاية المطوير الاستجابات التي أنشأها ChatGPT رغم ما يتمتع به "MIND" من تدريب متفوق على الدقة السريرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للرعاية الصحية، يتجه المرضى بشكل متزايد إلى الإنترنت بحثاً عن إجابات حول أدويتهم، سعياً وراء توضيح لكيفية عمل الدواء، وما هي الآثار الجانبية المتوقعة، أو كيف قد يتفاعل مع حياتهم اليومية. وبينما أظهرت النماذج اللغوية الكبيرة — وهي برامج حاسوبية قوية قادرة على توليد نصوص تشبه النصوص البشرية — وعوداً في الإجابة على الأسئلة الطبية، إلا أنها غالباً ما تعاني في مواجهة المتطلبات المحددة للرعاية السريرية. فهذه الأدوات العامة يمكنها إنتاج إجابات سلسة ومعلوماتية، لكنها تفتقر أحياناً إلى الدقة اللازمة، أو تغفل تحذيرات سلامة حيوية، أو تخترع حقائق قد تضلل شخصاً مستضعفاً. وفي مجال الطب النفسي، حيث المعلومات العامة غير متسقة بالفعل والالتزام بتناول الدواء يمثل تحدياً كبيراً، فإن خطر تلقي نصائح غير دقيقة يكون مرتفعاً بشكل خاص. فغالباً ما يمتلك الأطباء خمس عشرة إلى عشرين دقيقة فقط في كل زيارة، مما يترك وقتاً ضئيلاً لمعالجة كل سؤال من أسئلة المرضى، وهو ما يدفع الكثيرين منهم للبحث عن معلومات من مصادر إلكترونية غير موثقة. وقد كان السؤال المركزي للباحثين هو ما إذا كان بإمكان نموذج حاسوبي متخصص، مدرب فقط على مصادر طبية موثوقة، أن يوفر التوجيه الدقيق والآمن والمخصص الذي يحتاجه المرضى دون الأخطاء الشائعة في روبوتات الدردشة العامة.
ولاستقصاء ذلك، طور فريق من الباحثين في مستشفى لوري للأطفال في شيكاغو نظام ذكاء اصطناعي متخصص أطلقوا عليه اسم "MIND". وبخلاف روبوتات الدردشة العامة التي يتم تدريبها على أجزاء واسعة وغير منقحة من الإنترنت، تم بناء "MIND" باستخدام نهج أكثر ضيقاً وأماناً. فقد قام الباحثون بتغذية النظام حصرياً بمجموعة من المواد التعليمية للمرضى من سبعة مصادر موثوقة، بما في ذلك الجمعية الأمريكية للطب النفسي، وإدارة الغذاء والدواء، والمكتبة الوطنية للطب. وقد صُمم النظام وفق مبادئ سلامة صارمة: حيث تمت برمجته لاسترجاع الإجابات فقط من هذه الوثائق الموثقة، وللاستشهاد بمصادرها، وللتصريح بوضوح بضرورة استشارة الطبيب بدلاً من الاعتماد على الحاسوب. واختبر الباحثون هذه الأداة الجديدة مقابل نظامين آخرين معروفين: روبوت دردشة عام واسع الاستخدام، ومنصة اتخاذ قرار طبي مصممة للأطباء وليس للجمهور. وقد طرحوا على الأنظمة الثلاثة خمسين سؤالاً شائعاً حول دواء مضاد للاكتئاب يسمى "إسيتالوبرام"، تغطي موضوعات تتراوح من كيفية عمل الدواء وكيفية تناوله، إلى آثاره الجانبية وسلامته لمجموعات خاصة مثل الحوامل أو كبار السن.
وكشفت نتائج المقارنة عن ميزة متميزة للنموذج المتخصص من حيث الموثوقية والاكتمال. فعندما تم تقييم الاستجابات بواسطة معيار حاسوبي فحص الدقة والوضوح والسلامة، تفوق نظام "MIND" على كل من روبوت الدردشة العام والمنصة الموجهة للأطباء في كل فئة. فقد قدم إجابات أكثر اكتمالاً، وأقر بعدم اليقين بشكل أكثر فعالية، وكان أفضل في معرفة متى يحيل المريض إلى الطبيب. ومع ذلك، أصبحت القصة أكثر دقة عندما طلب الباحثون من عشرة أطباء نفسيين معتمدين من قبل البورد مراجعة الإجابات. وبينما اتفق الأطباء على أن النموذج المتخصص كان أكثر أماناً واكتمالاً، وجدوا أن روبوت الدردشة العام كان أكثر دقة قليلاً في ادعاءاته المحددة. ولعل الأمر الأكثر إثارة للدهشة هو أن الأطباء النفسيين فضلوا بشكل ساحق الاستجابات من روبوت الدردشة العام على النموذج المتخصص. وكان هذا التفضيل قوياً بشكل خاص بين الأطباء الشباب في بداية مسيرتهم المهنية. وقد لاحظ الباحثون أن روبوت الدردشة العام يميل إلى تقديم إجابات أقصر وأكثر مباشرة، مما يعطي شعوراً بالوضح، بينما قدم النموذج المتخصص استجابات أطول وأكثر تفصيلاً تضمنت أحياناً معلومات شعر الأطباء أنها غير ضرورية أو غير دقيقة قليلاً في سياق ملخص قصير.
يسلط هذا البحث الضوء على مقايضة معقدة في تصميم الذكاء الاصطناعي الطبي. فقد نجح النموذج المتخصص في هدفه الأساسي المتمثل في الاستناد إلى حقائق موثقة وتجنب "الهلوسة" الشائعة في الأنظمة العامة، لكنه عانى لمواكبة الإيجاز والأسلوب الذي وجده الخبراء البشريون أكثر جاذبية. ولاحظ الباحثون أنه كلما أصبحت الإجابات أكثر تفصيلاً واكتمالاً، تم تقييمها أحياناً على أنها أقل دقة، مما يشير إلى أن إضافة السياق الضروري يمكن أن يجعل الإجابة تبدو أقل دقة للقارئ البشري. علاوة على ذلك، لم يستطع النموذج المتخصص الإجابة على كل سؤال؛ فبالنسبة لاثني عشر من أصل خمسين استعلاماً، اعترف بشكل صحيح بأنه لا يملك المعلومات، في حين حاولت الأنظمة الأخرى الإجابة على جميعها. وكان هذا الرفض للتخمين ميزة سلامة متعمدة، لكنه جعل الأداة أيضاً أقل تنوعاً من منافسيها. كما لاحظ الأطباء النفسيون أن استجابات النموذج المتخصص كُتبت بمستوى قرائي أعلى من روبوت الدردشة العام، وهو انعكاس لحقيقة أن الوثائق المصدرية نفسها كُتبت بمستوى معقد، يفوق بكثير مستوى القراءة الموصى به للمواد الموجهة للمرضى.
في النهاية، يشير البحث إلى أنه بينما يمكن لنموذج متخصص ذي متن مقيد أن يوفر أساساً أكثر أماناً واكتمالاً لتعليم المرضى من روبوت الدردشة العام، إلا أنه ليس بعد بديلاً مثالياً للحكم البشري أو أسلوب التواصل المفضل لدى الأطباء. لقد أثبت النظام المتخصص أنه من الممكن بناء ذكاء اصطناعي يلتزم بصرامة بالأدلة الطبية ويتجنب الأخطاء الخطيرة، ولكنه كشف أيضاً عن أن تحقيق دقة واكتمال عاليين يمكن أن يأتي أحياناً على حساب سهولة القراءة وتفضيلات المستخدم. ويخلص المؤلفون إلى أن عملهم يعد نموذجاً لبناء أدوات مستقبلية يمكنها تعزيز الرعاية النفسية، لكنهم يؤكدون أن هذه الأنظمة تتطلب مزيداً من التحسين لتحقيق التوازن بين السلامة والدقة والطريقة التي يفضل بها البشر تلقي المعلومات. إن الطريق إلى الأمام يتضمن صقل هذه النماذج لتكون موثوقة مثل النظام المتخصص، ولكن واضحة وجذابة مثل روبوتات الدردشة العامة، لضمان حصول المرضى على التوجيه عالي الجودة والقائم على الأدلة دون ارتباك أو تأخير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.