Errors in AI-Assisted Retrieval of Medical Literature: A Comparative Study
تكشف هذه الدراسة كمياً أن النماذج اللغوية الكبيرة واسعة الاستخدام ذات النسخ المجانية تظهر تبايناً كبيراً ومعدلاً مرتفعاً من الفشل التام (47.8%) عند استرجاع مراجع الأدبيات الطبية الدقيقة، مما يؤكد الحاجة الماسة للتحقق البشري من البيانات البيبليوغرافية التي ينشئها الذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب تحاول كتابة ورقة بحثية. تطلب من روبوت أمين مكتبة فائق الذكاء وكلي المعرفة قائمة تضم 10 كتب لتساعدك. يسلمك الروبوت قائمة تحتوي على العناوين، والمؤلفين، وأرقام تصنيف المكتبة. تبدو سعيداً وتبدأ في القراءة. ولكن بعد ذلك، تدرك: نصف الكتب لا وجود لها في الواقع. بعضها يحمل العنوان الصحيح ولكن المؤلف الخطأ. البعض الآخر يحمل المؤلف الصحيح ولكن السنة الخطأ. وبعض أرقام التصنيف تقود إلى رفوف فارغة.
هذا هو بالضبط ما اكتشفته دراسة جديدة أجرتها جيني غاو ولانجينغ تشانغ حول "أمناء المكتبات الآليين" (التي تُعرف بالنماذج اللغوية الكبيرة أو LLMs) عندما يحاولون البحث عن الأوراق البحثية الطبية.
إليك تفاصيل نتائجهم، مترجمة إلى لغة يومية بسيطة:
التجربة الكبرى: اختبار "روبوت أمين المكتبة"
قرر الباحثون وضع خمس أدوات ذكاء اصطناعي مجانية شهيرة تحت الاختبار: Grok، وChatGPT، وGoogle Gemini، وPerplexity، وDeepSeek.
اختاروا 40 مقالاً طبياً حقيقياً وعالي الجودة من أربع مجلات شهيرة (مثل New England Journal of Medicine وJAMA). وسألوا كل ذكاء اصطناعي: "إليك ملخص لهذا المقال. يرجى إيجاد 10 أوراق بحثية أخرى مهمة تتعلق بهذا الموضوع، وتزويدي بالتفاصيل الدقيقة (مثل الـ DOI، ومعرف PubMed، والروابط) حتى أتمكن من العثور عليها."
أنشأت أدوات الذكاء الاصطناعي 2,000 مرجع في المجمل. ثم قام الباحثون بدور أمناء مكتبة صارمين، حيث فحصوا كل مرجع بدقة للتأكد مما إذا كان حقيقياً وصحيحاً.
النتائج الصادمة: مشكلة "الهلوسة"
كانت النتائج مخيفة لأي شخص يثق في الذكاء الاصطناعي لإنجاز واجباته المدرسية:
- معدل "الفشل التام": في حوالي 48% من الحالات، قدم الذكاء الاصطناعي مرجعاً كارثياً تماماً. فإما أنه كان ورقة بحثية مزيفة لم توجد قط، أو أن التفاصيل كانت خاطئة لدرجة أنك لا تستطيع العث found الورقة على الإطلاق. الأمر يشبه قيام الروبوت بتسليمك خريطة لصندوق كنز مدفون في حقل غير موجود أصلاً.
- الدرجة "المتوسطة": إذا أعطيت الذكاء الاصطناعي درجة من 0 إلى 1 (حيث 1 تعني الكمال)، فإن متوسط درجته كان 0.29 فقط. هذه درجة رسوب.
- الفائزون والخاسرون:
- كان Grok هو "الطالب المتفوق"، حيث حصل على أكثر التفاصيل صحة (رغم أنه لا يزال يرتكب الأخطاء).
- كان Google Gemini هو "الطالب المتعثر"، حيث أخطأ في التفاصيل معظم الوقت.
- كان ChatGPT وPerplexity في المنتصف، لكنهما لا يزالان بعيدين عن المثالية.
لماذا حدث هذا؟
وجدت الدراسة سببين رئيسيين لجعل الروبوتات ترتبك:
- عامل "المجلة": كان من الصعب على الذكاء الاصطناعي العثور على تفاصيل صحيحة للأوراق البحثية من مجلة New England Journal of Medicine (NEJM) مقارنة بمجلة British Medical Journal (BMJ). ويشتبه الباحثون في أن هذا لأن ملخصات NEJM أقصر وتحتوي على معلومات أقل يمكن للذكاء الاصطناعي "التمسك بها" للعثور على الورقة الصحيحة. الأمر يشبه محاولة العثور على شخص معين في زحام باستخدام اسمه الأول فقط مقابل امتلاك اسمه الكامل وعنوانه.
- فخ "الثقة": كانت أدوات الذكاء الاصطناعي واثقة جداً. فقد تقدم لك قائمة تبدو مثالية بالعناوين والتواريخ والروابط. لكن غالباً ما كانت الروابط معطلة أو التواريخ خاطئة. يُسمى هذا "الهلوسة المرجعية". الذكاء الاصطناعي حريص جداً على إرضائك لدرجة أنه يخترع حقائق تبدو حقيقية ولكنها في الواقع محض خيال.
"التحقق المزدوج" لم يفلح
حاول الباحثون استخدام خدعة ذكية. فبعد أن قدم الذكاء الاصطناعي القائمة، سألوه: "يرجى التحقق من هذه الأرقام والروابط للتأكد من أنها حقيقية."
هل ساعد ذلك؟ لا. لقد قام الذكاء الاصطناعي بالتحقق من أخطائه بكل ثقة. الأمر يشبه سؤال شخص ألف قصة ليتحقق من صحة قصته؛ سيقوم فقط بتكرار الكذبة بمزيد من الثقة.
الخلاصة: استخدم الذكاء الاصطناعي كمرشد، وليس كمعلم ملهم
إذاً، ماذا يعني هذا بالنسبة لك؟
- الذكاء الاصطناعي شريك رائع للعصف الذهني: يمكنه مساعدتك في التفكير في المواضيع أو إيجاد أفكار عامة.
- الذكاء الاصطناعي فاشل جداً في التحقق من الحقائق: لا يمكنك الوثوق به ليعطيك "الإيصالات" (الروابط الفعلية، أو التواريخ، أو المعرفات) للأبحاث الطبية أو العلمية.
- القاعدة الذهبية: إذا أعطاك الذكاء الاصطناعي مرجعاً، يجب عليك البحث عن الورقة بنفسك والتحقق من وجودها. لا تقم بمجرد نسخ ولصق قائمة الذكاء الاصطناعي في عملك.
باختصار: النماذج اللغوية الكبيرة تشبه المرشدين السياحيين المتحمسين الذين يعرفون الكثير عن العالم، لكنهم يخترعون أحياناً معالم ليست موجودة. إذا اتبعت خريطتهم بعمى، فقد ينتهي بك الأمر تائهاً في حقل غير موجود. احمل دائماً بوصلتك الخاصة (التحقق البشري) عند التنقل في البحوث الطبية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.