Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

في عالم الأبحاث الطبية، فإن الطريقة الأكثر موثوقية للإجابة على سؤال ما هي جمع كل دراسة كُتبت على هذا الموضوع على الإطلاق، وقراءتها جميعاً، ودمج نتائجها في صورة واحدة واضحة. تُسمى هذه العملية بالمراجعة المنهجية. وهي المعيار الذهبي لتحديد العلاجات التي تنجح والتي لا تنجح، مما يشكل العمود الفقري للإرشادات السريرية الحديثة. ومع ذلك، فإن إنشاء هذه المراجعات يعد مهمة هائلة؛ إذ يتطلب الأمر من فرق الباحثين قضاء شهور أو حتى سنوات في البحث عبر ملايين المقالات، وقراءة الملخصات لتقرير أي منها يهمهم، واستخراج أرقام محددة من النصوص الكاملة، والتحقق من جودة الأبحاث لضمان موثوقيتها. إن العملية مجهدة للغاية لدرجة أنها قد تكلف مئات الآلاف من الدولارات وتؤخر وصول المعلومات المنقذة للحياة إلى الأطباء والمرضى.

مؤخراً، ظهر نوع جديد من البرامج الحاسوبية يُعرف بنموذج اللغة الكبير. هذه الأنظمة مدربة على كميات هائلة من النصوص البشرية التي يمكنها قراءة وفهم وتوليد اللغة بطرق تحاكي الذكاء البشري في كثير من الأحيان. وقد بدأ الباحثون يتساءلون عما إذا كانت هذه الأدوات يمكن أن تتولى العمل الشاق لإنشاء المراجعات المنهجية، محولةً إياها من معاناة تستغرق شهوراً إلى مسألة ساعات. والأمل هو أن تتمكن هذه الآلات من التعامل مع الأجزاء المتكررة والكثيفة بالبيانات من العمل، مما يفرغ الخبراء البشر للتركيز على القرارات المعقدة التي تتطلب حكماً عميقاً. ولكن لكي يحدث ذلك، يجب أن تكون الآلات دقيقة بما يكفي ليتم الوثوق بها في حياة المرضى.

وضع فريق من الباحثين في جامعة مونتريال وجامعة مكغيل هدفهم لاختبار هذه الفكرة بأسلوب عملي للغاية. لم يحاولوا بناء روبوت معقد ومؤتمت بالكامل يدير عملية المراجعة بأكملها من البداية إلى النهاية، بل طلبوا من نسخة متقدمة ومحددة من نموذج لغة كبير القيام بكل خطوة رئيسية من خطوات المراجعة المنهجية، واحدة تلو الأخرى، باستخدام تعليمات بسيطة فقط والبيانات المستمدة من خمس مراجعات طبية منشورة سابقاً. كان الهدف هو معرفة ما إذا كان المستخدم العادي، دون أي تدريب خاص في الذكاء الاصطناعي، يمكنه جعل الكمبيوتر يقوم بالعمل بنفس كفاءة الفريق البشري. ركز الباحثون على خمس مراحل متميزة: إنشاء مصطلحات البحث للعثور على المقالات، وفحص العناوين والملخصات لاختيار الدراسات ذات الصلة، واستخراج نقاط بيانات محددة من النصوص الكاملة، وتقييم جودة الدراسات والتحيز المحتمل فيها، وأخيراً دمج البيانات لإنتاج النتائج النهائية.

كشفت النتائج عن قصة تجمع بين نقاط قوة مفاجئة وقيود واضحة. فعندما تعلق الأمر باستخراج أرقام وحقائق محددة من نص المقالات الطبية، كان النموذج الحاسوبي جيداً بشكل ملحوظ؛ بل إنه تفوق على المؤلفين البشريين الأصليين الذين كتبوا المراجعات. وعندما قارن الباحثون البيانات المستخرجة من قبل الكمبيوتر مقابل معيار جديد صارم للغاية وضعه المراجعون الخبراء، كانت الآلة صحيحة بنسبة 93 بالمائة. كما كانت أسرع أيضاً، حيث استغرقت دقائق فقط للقيام بما استغرق البشر فيه ساعات. وبالمثل، عندما طُلب منها الحكم على جودة الدراسات وتحديد العيوب أو التحيزات المحتملة، تفوقت الآلة مرة أخرى على البشر، بنسبة دقة بلغت 83 بالمائة. وأشار الباحثون إلى أنه عندما ارتكب الكمبيوتر خطأً في تقييم الجودة، فإنه مال إلى أن يكون حذراً للغاية، حيث وصف دراسة بأنها محفوفة بالمخاطر بينما قد تكون آمنة، وهو خطأ غالباً ما يكون أكثر أماناً من تجاهل مشكلة حقيقية.

ومع ذلك، عانى الجهاز بشكل كبير في المراحل المبكرة من العملية، حيث تعين عليه اتخاذ قرارات مبنية على معلومات غير مكتملة. فعندما طُلب من الكمبيوتر إنشاء سلاسل البحث —وهي قوائم الكلمات المحددة المستخدمة للعثور على المقالات في قواعد البيانات الطبية— وجد حوالي 85 بالمائة من المقالات ذات الصلة التي وجدها البشر، وهي نتيجة جيدة، لكنها تعني أنه أغفل جزءاً كبيراً من الأدبيات. وساء الوضع عندما حاول الكمبيوتر فحص النص الكامل للمقالات لتقرير ما إذا كان سيتم تضمينها في المراجعة النهائية؛ ففي هذه الخطوة، أغفل النموذج أكثر من نصف المقالات الهامة التي حددها المراجعون البشريون بشكل صحيح. وبينما كان الكمبيوتر جيداً جداً في معرفة ما لا ينبغي تضمينه، فقد كان سيئاً في العثور على الأشياء الصحيحة للاحتفاظ بها. وهذا يشير إلى أنه بينما يمكن للآلة أن تكون أداة قوية للقراءة وتنظيم البيانات، إلا أنها ليست جاهزة بعد لتحل محل البشر في المراحل الأولية والحاسمة المتعلقة بتقرير مدى صلة البحث.

تضمنت الخطوة الأخيرة دمج البيانات لحساب النتائج الإجمالية للمراجعة. وهنا، أنتج الكمبيوتر أرقاماً قريبة جداً من النتائج البشرية، وإن لم تكن متطابقة تماماً. كانت الاختلافات صغيرة ومن المرجح أنها تعود إلى كيفية تفسير الآلة للبيانات الغامضة أو كيفية تعاملها مع تفاصيل حسابية بسيطة. ووجد الباحثون أن الكمبيوتر يمكنه إنتاج هذه النتائج في ثوانٍ، وهي مهمة تستغرق من البشر وقتاً أطول بكثير. ومع ذلك، سلطت الدراسة الضوء على أن جعل الكمبيوتر يقوم بذلك بشكل مثالي يتطلب تعليمات محددة ودقيقة للغاية حول كيفية التعامل مع البيانات المفقودة والأساليب الإحصائية المستخدمة. وبدون هذا التوجيه الدقيق، يمكن للنتائج أن تنحرف قليلاً عن الحقيقة.

تخلص الدراسة إلى أن الطريق نحو أتمتة الأبحاث الطبية ليس قفزة واحدة، بل هو سلسلة من الخطوات حيث تتطلب المهام المختلفة أدوات مختلفة. فبالنسبة للمهام التي تتضمن القراءة واستخراج الحقائق، مثل سحب البيانات من الجداول أو تقييم جودة الدراسات، فإن هذه النماذج الحاسوبية تتفوق بالفعل على البشر ويمكن استخدامها على الفور لتسريع العمل. ولكن بالنسبة للمهام الأكثر ذاتية، مثل تحديد المقالات التي يجب البحث عنها أو تحديد النصوص الكاملة التي يجب الاحتفاظ بها، فإن الآلات ليست موثوقة بما يكفي للعمل بمفردها بعد. ويقترح الباحثون أن النهج الأكثر فعالية لغير المتخصصين هو نموذج هجين: دع الكمبيوتر يتولى العمل الشاق لاستخراج البيانات وفحوصات الجودة، مع إبقاء الخبراء البشر في قلب العملية لتوجيه البحث واتخاذ قرارات الفحص النهائي. يمكن لهذه الشراكة أن تقلل بشكل كبير من الوقت والتكلفة اللازمين لإنتاج الأدلة الطبية دون التضحية بالدقة التي يعتمد عليها المرضى.