High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis
تكشف هذه المراجعة المنهجية والتحليل التلوي أنه بينما تحقق النماذج اللغوية الكبيرة دقة متوسطة عالية في استخراج البيانات في عملية توليف الأدلة، إلا أن أداءها يظهر تباينًا كبيرًا عبر الإعدادات المختلفة، مما يستلزم التحقق الخاص بكل مهمة والتحقق البشري لضمان الموثوقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
كلما شرع فريق من الباحثين في محاولة فهم علاج طبي، يتعين عليهم أولاً جمع الحقائق من عشرات، وأحياناً مئات، من الدراسات الفردية. هذه العملية، المعروفة باسم المراجعة المنهجية، هي حجر الزاويد للأدلة الطبية الحديثة. وهي تتطلب من العلماء قراءة تقارير مكثفة واستخراج أرقام محددة: كم عدد المرضى الذين شاركوا، وما هي الجرعة التي تلقوها، وماذا كانت النتائج. إذا نُسخ رقم واحد بشكل غير صحيح، فإن الاستنتاج الكامل للمراجعة يمكن أن يتغير، مما قد يؤدي بالأطباء إلى التوصية بالعلاج الخاطئ. لعقود من الزمن، تم تنفيذ هذا العمل بأيدٍ بشرية، وهي مهمة بطيئة ودقيقة حيث يقوم شخصان غالباً بقراءة نفس الوثيقة بشكل مستقل لاكتشاف الأخطاء. إنها المعيار الذهبي للدقة، لكنها أيضاً مستهلكة للوقت ومكلفة للغاية.
في السنوات الأخيرة، دخل أداة جديدة هذا المجال: النماذج اللغوية الكبيرة. هذه برامج حاسوبية قوية مدربة على كميات هائلة من النصوص يمكنها قراءة ورقة علمية ومحاولة استخراج نفس الأرقام التي يستخرجها البشر. كان الأمل هو أن تتمكن هذه الأنظمة القائمة على الذكاء الاصطناعي من القيام بالعمل الشاق، مما يسرع العملية ويحرر الخبراء البشر للتفكير الأكثر تعقيداً. ولكن مع زيادة شيوع هذه الأدوات، ظهر سؤال جوهري: هل يمكننا الوثوق بها لتكون بدقة البشر، وهل يظل أداؤها ثابتاً بغض النظر عن نوع المعلومات المطلوبة منها؟
تتناول دراسة جديدة أجراها كارلوس دارسي ألفيس بيرسوت وزملاؤه نظرة إحصائية عميقة لهذا السؤال. لم يكتفوا بالسؤال عما إذا كانت الآلات تعمل؛ بل جمعوا كل التقارير المتاحة التي اختبرت هذه النماذج مقابل معيار بشري ودمجوا النتائج لرؤية الصورة الكاملة. ما وجدوه هو قصة لواقعين مختلفين تماماً يتعايشان. فمن ناحة، يعد متوسط أداء هذه الأنظمة الاصطناعية مرتفعاً بشكل مثير للإعجاب. ومن ناحة أخرى، يخفي هذا المتوسط واقعاً فوضوياً حيث يمكن للأداء أن يتأرجح بشدة اعتماداً على المهمة المحددة.
جمع الباحثون بيانات من ستة وأربعين تقريراً مختلفاً، تمثل خمسة وأربعين تحقيقاً مستقلاً. ركزوا تحديداً على اللحظة التي تسبق نظر الإنسان في عمل الآلة. أرادوا معرفة: إذا طُلب من نموذج لغوي كبير استخراج معلومة ما، فكم مرة يصيب في المحاولة الأولى؟ وعندما جمعوا النتائج من ثماني دراسات رئيسية استوفت معاييرهم الصارمة، كانت الإجابة مشجعة. فقد أصابت النماذج الإجابة الصحيحة بنسبة 86.4 بالمائة تقريباً. يشير هذا الرقم إلى أن هذه الأدوات، بمعناها العام، قادرة تماماً.
ومع ذلك، لا تنتهي القصة عند ذلك الرقم المتوسط. فقد نظر الباحثون بعمق ووجدوا أن هذا المتوسط المرتفع بُني على أساس من عدم الاتساق الشديد. لقد حسبوا نطاقاً يوضح نوع الأداء الذي يمكن توقعه في موقف جديد وغير مرئي. امتد هذا النطاق من حد منخفض قدره 19.2 بالمائة إلى حد مرتفع قدره 99.4 بالمائة. ولوضع هذا في السياق، تخيل طالباً يجري اختباراً ويحصل على متوسط درجة 86 بالمائة. إذا تراوحت درجات هذا الطالب في الاختبارات الفردية بين الرسوب والكمال، فلن تشعر بالثقة في إرساله إلى فصل دراسي لتصحيح الأوراق. ينطبق المنطق ذاته هنا؛ فالحقيقة أن المتوسط مرتفع لا تضمن أن الآلة ستؤدي جيداً في سيناريو محدد من الواقع.
تكشف الدراسة أن نوع المعلومات المستخرجة يحدث فرقاً هائلاً. فعندما تتضمن المهمة حقائق بسيطة وواضحة، تؤدي النماذج عملها بشكل جيد جداً. ولكن عندما تتطلب المهمة البحث عن أرقام مدفونة في جداول معقدة، أو تفسير نص غامض، أو استخراج بيانات مفقودة أو تم الإبلاغ عنها بشكل سيء، تنخفض الدقة بشكل كبير. وفي حالة محددة اضطر فيها النموذج إلى البحث عن معلومات مفتوحة النهاية تتطلب استدعاء التفاصيل من الذاكرة بدلاً من مجرد نسخها، انخفضت الدقة لتصل إلى 17 بالمائة فقط. هذه الدراسة الواحدة، بمهمتها المختلفة تماماً، سحبت المتوسط العام للأسفل ووسعت نطاق النتائج الممكنة. وعندما أزال الباحثون هذا العنصر الشاذ للنظر في مهام أكثر تشابهاً وهيكلية، ارتفع متوسط الدقة إلى 91.2 بالمائة، ولكن حتى حينها، ظل الأداء عرضة للتفاوت الكبير من إعداد لآخر.
كما فحص الباحثون كيفية تعامل هذه الأدوات مع البيانات الرقمية، وهو الجزء الأكثر أهمية في المراجعة الطبية. وهنا، كانت النتائج مختلطة. ففي بعض الاختبارات عالية الهيكلية، حققت النماذج دقة تقارب الكمال، حيث أصابت 99 بالمائة من الأرقام. وفي دراسات أخرى ذات أنواع مختلفة من البيانات، انخفضت الدقة إلى حوالي 63 بالمائة. هذا التباين يعني أنه لا يمكن للباحث افتراض أنه بما أن النموذج جيد في شيء ما، فإنه سيكون جيداً في كل شيء. فالنموذج الذي يتفوق في العثور على اسم دواء قد يفشل فشلاً ذريعاً في العثور على العدد الدقيق للمرضى الذين عانوا من عرض جانبي.
يتعلق اكتشاف حاسم آخر بسير العمل. فقد بحثت العديد من الدراسات في كيفية أداء هذه الأدوات عندما يشارك البشر في العملية، مثل عندما يقوم إنسان بالتحقق من عمل الآلة أو عندما تعمل الآلة كقارئ ثانٍ. غال� tinggi ما تظهر هذه المسارات المدعومة بشرياً نتائج أفضل وتوفر الوقت. ومع ذلك، تفرق الدراسة بوضوح: إن سرعة ودقة إنسان يعمل مع آلة لا تماثل عمل الآلة بمفردها. فالتوفير في الوقت المذكور في بعض الدراسات يأتي غالباً من قيام الآلة بإعداد المسودة الأولية، ولكن لا يزال على الإنسان قضاء وقت في التحقق من العمل وتصحيحه. الآلة لا تلغي الحاجة إلى الإشراف البشري؛ بل تغير طبيعة العمل فحسب.
نظر الباحثون أيضاً في جودة الدراسات التي راجعوها ووجدوا أن العديد منها يعاني من عيوب منهجية. فلم توضح بعض الدراسات بوضوح كيف اختبرت النماذج، أو استخدمت نفس البيانات لتدريب النموذج واختباره في آن واحد، مما قد يجعل النتائج تبدو أفضل مما هي عليه في الواقع. وبسبب هذه القيود وقلة الدراسات المستقلة حقاً، لا يستطيع الباحثون القول بيقين مطلق أن هذه الأدوات ستعمل بشكل مثالي في كل موقف مستقبلي. وتشير الأدلة إلى أنه بينما تعد هذه الأدوات قوية، إلا أنها ليست موثوقة بما يكفي لاستبدال المراجعين البشر تماماً.
إن خلاصة هذا العمل ليست أن الذكاء الاصطناعي فاشل، بل هو أداة تتطلب تعاملاً حذراً. إن متوسط الدقة المرتفع حقيقي، لكنه معيار مضلل إذا أُخذ خارج سياقه. إنه يخبرنا أن التكنولوجيا تمتلك الإمكانات، ولكنه يحذرنا أيضاً من أن الأداء هش. فالنظام الذي يعمل جيداً لاستخراج نوع واحد من البيانات قد يفشل تماماً لنوع آخر. ويرى الباحثون أن المسار الأفضل ليس الثقة بالآلات بشكل أعمى، بل استخدامها كجزء من استراتيجية قائمة على تقييم المخاطر. فبالنسب للوظائف البسيطة والواضحة، يمكن استخدامها بثقة. أما بالنسبة للبيانات المعقدة أو الرقمية أو الغامضة، فيظل التحقق البشري أمراً ضرورياً.
في نهاية المطاف، تنقل هذه الدراسة النقاش من "هل تستطيع الآلة فعل ذلك؟" إلى "تحت أي ظروف تستطيع الآلة فعل ذلك؟". والإجابة هي أن الآلة تستطيع فعل ذلك جيداً، ولكن فقط عندما تكون الظروف مناسبة. إن درجة الدقة المتوسطة المرتفعة هي وعد بالقدرة، لكن التباين الواسع هو تحذير من عدم القدرة على التنبؤ. وبالنسبة للعلماء الذين يعتمدون على هذه المراجعات لتوجيه الممارسة الطبية، فإن الدرس واضح: الآلة هي مساعد مفيد، لكنها ليست بعد بديلاً للعين البشرية الدقيقة والناقدة. ومن المرجح أن يتضمن مستقبل تركيب الأدلة شراكة حيث تتعامل الآلة مع الحجم، بينما يضمن الإنسان الصلاحية، مع إدراك أن أداء الآلة ليس ضمانة أبداً، بل هو متغير يجب التحقق منه باستمرار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.