Validation of Large Language Models in Healthcare: a Scoping Review
تستعرض هذه المراجعة النطاقية طرق التحقق القائمة للنماذج اللغوية الكبيرة في مجال الرعاية الصحية، وتصنفها حسب المهمة ونوع التقييم لتزويد أصحاب المصلحة بإطار عمل مهيكل لاختيار الاستراتيجيات المناسبة للسياق قبل التنفيذ السريري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الطب الحديث، ظهر نوع جديد من الأدوات التي يمكنها قراءة مكتبات ضخمة من السجلات الطبية، والإجابة على أسئلة معقدة حول الأعراض، وصياغة رسائل للمرضى بسرعة لا يمكن للبشر مضاهاتها. هذه الأدوات، المعروفة باسم النماذج اللغوية الكبيرة، هي شكل من أشكال الذكاء الاصطناهي المدرب على كميات هائلة من النصوص. وهي لا تكتفي بمجرد استرجاع الحقائق من قاعدة بيانات؛ بل تولد جملًا جديدة، وتنسج المعلومات معًا لإنشاء استجابات تبدو طبيعية وبشرية. وبينما تعد هذه التكنولوجيا بتخفيف الأعباء الإدارية عن الأطباء ومساعدة المرضى على فهم رعايتهم الصحية، إلا أنها تحمل مخاطر جسيمة. ولأن هذه النماذج تنشئ نصوصًا بدلاً من مجرد استدعائها، فقد تخترع أحيانًا حقائق تبدو منطقية ولكنها كاذبة تمامًا، وهي ظاهرة تُعرف غالبًا باسم "الهلوسة". كما قد تعكس التحيزات الموجودة في البيانات التي تدربت عليها، مما قد يؤدي إلى تقديم نصائح غير عادلة أو ضارة. وقبل أن يمكن الوثوق بأداة قوية كهذه في مستشفى أو عيادة، يجب اختبارها بدقة لض ضمان سلامتها ودقتها وعدالتها.
لقد شرع فريق من الباحثين في المركز الطبي الجامعي في أوتريخت بهولندا في رسم خارطة للمشهد حول كيفية اختبار هذه النماذج حاليًا. فقد أجروا مراجعة شاملة للأدبيات العلمية للعثور على كل طريقة تُستخدم للتحقق من صحة النماذج اللغوية الكبيرة في مجال الرعاية الصحية. بحث الفريق في الدراسات المنشورة من عام 2005 حتى أواخر عام 2024، بحثًا عن الأوراق التي تصف كيفية فحص جودة أنظمة الذكاء الاصطناهي هذه. وقد ركزوا على خمس مهام محددة يُحتمل استخدام هذه النماذج فيها بشكل أكبر: توليد النصوص العامة، وتلخيص المستندات الطويلة، والإجابة على الأسئلة، واستخراج تفاصيل طبية محددة من النصوص، والعمل كوكلاء محادثة مثل برامج الدردشة الآلية (الدردشة الآلية). وبعد فحص آلاف الدراسات المحتملة، حددوا 266 ورقة بحثية ذات صلة قدمت طرقًا ملموسة للتقييم.
نظم الباحثون طرق التحقق هذه في ثلاثة توجهات رئيسية. الأول هو التقييم البشري، حيث يقرأ الأشخاص مخرجات الذكاء الاصطناهي ويحكمون على جودتها بناءً على معايير مثل الصحة، أو الصلة بالموضوع، أو الأسلوب. وغالبًا ما يُعتبر هذا هو المعيار الذهبي لأن البشر يفهمون الفروق الدقيقة والسياق بشكل أفضل من الآلات. والنهج الثاني هو التقييم الآلي مع مرجع بشري، حيث يقارن برنامج حاسوبي إجابة الذكاء الاصطناهي بإجابة مثالية كتبها إنسان، ويقيس مدى تطابقهما. والنهج الثالث هو التقييم الآلي بالكامل، حيث يحكم الحاسوب على المخرجات بمفرده، دون وجود مثال مكتوب بواسطة إنسان للمقارنة به. ووجدت المراجعة أنه على الرغم من وجود العديد من الطرق، إلا أنها غالبًا ما تكون مشتتة وخاصة بمهام معينة؛ فعلى سبيل المثال، يتطلب التحقق مما إذا كان الملخص جيدًا أدوات مختلفة عن التحقق مما إذا كان برنامج الدردشة الآلية مهذبًا.
إن أحد أهم النتائج هو أن الفحوصات السطحية البسيطة ليست كافية. وتوضح المراجعة أن الطرق التي تكتفي فقط بعدّ الكلمات المتداخلة بين إجابة الذكاء الاصطناهي والنص المرجعي غالبًا ما تكون مضللة. فالمقاييس التقليدية هذه تفشل في استيعاب ما إذا كان المعنى صحيحًا أو ما إذا كانت المعلومات آمنة للمريض. وبدلاً من ذلك، وجد الباحثون تحولًا متزايدًا نحو تقنيات أكثر تطورًا. وتشمل هذه التقنيات طرقًا تتحقق مما إذا كانت تصريحات الذكاء الاصطناهي متسقة واقعيًا مع المادة المصدرية، لضمان عدم اختلاقه لحقائق طبية. وهناك أيضًا أدوات مصممة لاختبار ما إذا كان الذكاء الاصطناهي يتصرف باتساق عندما يُطرح نفس السؤال بطرق مختلفة قليلاً، أو ما إذا كان يعامل الناس من خلفيات مختلفة بإنصاف. وتؤكد المراجعة أنه بالنسبة للمجالات عالية المخاطر مثل الرعاية الصحية، فإن درجة واحدة بسيطة نادرًا ما تكون كافية. إذ تتطلب استراتيجية التحقق القوية عادةً مزيجًا من الأساليب، حيث تتحقق من الدقة، والسلامة، والعدالة، والوضوح في آن واحد.
كما يشير المؤلفون إلى وجود فجوة كبيرة في الممارسات الحالية. فبينما تقترح العديد من الدراسات طرقًا جديدة لاختبار هذه النماذج، إلا أن هناك نقصًا في الإرشادات الموحدة المخصصة للرعاية الصحية تحديدًا. فالعديد من الطرق الموجودة تم تطويرها لمهام لغوية عامة وقد لا ترصد الأخطاء الطبية المحددة. وتقترح المراجعة أن الاعتماد فقط على الأدوات الآلية أمر محفوف بالمخاطر لأنها قد تغفل أحيانًا عن الأخطاء الدقيقة التي قد يلاحظها البشر. وعلى العكس من ذلك، فإن الاعتماد فقط على الحكام البشر هو أمر بطيء ومكلف. ويبدو أن المسار الأكثر واعدًا للمضي قدمًا هو نهج هجين، حيث تتولى الأدوات الآلية الجزء الأكبر من عملية الفحص، بينما يتدخل الخبراء البشريون للتحقق من النتائج وضمان توافق النموذج مع المعايير الطبية.
في نهاية المطاف، تعمل هذه المراجعة كخارطة طريق لأي شخص يتطلع لاستخدام هذه الأدوات القوية في الطب. وهي لا تدعي أنها حلت مشكلة التحقق من الصحة، بل تقدم بدلاً من ذلك جردًا واضحًا للأدوات المتاحة حاليًا. ويخلص الباحثون إلى أنه مع ازدياد شيوع هذه النماذج، يحتاج المجتمع الطبي إلى تجاوز الاختبارات العامة واعتماد أطر عمل للتحقق منظمة وخاصة بكل مهمة. ومن خلال فهم نقاط القوة والضعف لكل طريقة تقييم، يمكن للمطورين والأطباء ضمان أن تكون أنظمة الذكاء الاصطناهي هذه شركاء موثوقين في رعاية المرضى، وليس مصادر غير متوقعة للخطأ. ويؤكد هذا العمل أن عملية التحقق ليست حدثًا يتم لمرة واحدة، بل هي عملية مستمرة وضرورية لدمج التكنولوجيا بأمان في النظام الدقيق للرعاية الصحية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.