Do AI chatbots find what experts would? Effects of model, user role, and sample size on study retrieval for medical questions
تقيم هذه الدراسة ثلاثة من روبوتات الدردشة القائمة على النماذج اللغوية الكبيرة في الإجابة على الأسئلة الطبية، وتجد أن أداء الاسترجاع يتباين بشكل كبير حسب النموذج ودور المستخدم، مع تفوق ChatGPT على غيره، وإظهار جميع النماذح انحيازاً نحو الاستشهاد بالتجارب السريرية الأكبر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثين على أفضل وصفة لطبق معين، ولكن بدلاً من سؤال طاهٍ، تسأل روبوتاً فائق الذكاء قد قرأ كل كتاب طبخ كُتب على الإطلاق. هذا الروبوت هو "نموذج لغوي كبير" (LLM)، وهو نوع من برامج الدردشة الآلية التي يمكنها الدردشة والكتابة والإجابة على الأسئلة عن طريق التنبؤ بالكلمة التالية في الجملة. في عالم الطب، بدأت هذه الروبوتات تكتسب شعبية لأنها تستطيع تلخيص المشكلات الصحية المعقدة بسرعة وتوجيهك إلى الدراسات التي تدعم نصيحتها. ولكن هناك عقبة: أحياناً تقوم هذه الروبوتات بتأليف أشياء، أو ما يسمى بـ "الهلوسة"، حيث تستشهد بدراسات لا وجود لها. والأسوأ من ذلك، أنها قد تغفل عن أهم الدراسات تماماً. تسأل هذه الورقة سؤالاً بسيطاً ولكنه حاسم: إذا كان خبير بشري (مثل باحث طبي) قد قام بالفعل بالعمل الشاق للعثور على القائمة المثالية من الدراسات لمسألة طبية محددة، فما مدى قدرة هذه الروبوتات الذكية على إيجاد نفس القائمة؟ هل يتصرفون كـ مريض فضولي، أم طبيب مشغول، أم باحث جاد؟ وهل حجم الدراسة يهم الروبوت؟
قرر مؤلفو هذه الدراسة وضع ثلاثة من أحدث وأقوى برامج الدردشة الآلية (Chatbots) تحت الاختبار. لقد عاملوا برامج الدردشة هذه كطلاب يخضعون لامتحان محدد للغاية. كانت "أسئلة الاختبار" عبارة عن 20 موضوعاً طبياً حقيقياً مأخوذة من قاعدة بيانات "كوكرين" للمراجعات المنهجية لعام 2026، وهي بمثابة المكتبة ذات المعايير الذهبية حيث قامت فرق من الخبراء بالفعل بجمع وتدقيق أفضل الأدلة لمشكلات صحية معينة. لكل موضوع من هذه المواضيع العشرين، طلب الباحثون من برامج الدردلة الآلية إيجاد الدراسات البحثية الأصلية ("المصادر الأولية") التي تدعم الإجابات. ولرؤية ما إذا كانت شخصية الروبوت ستؤثر، طرحوا نفس الأسئلة بثلاث طرق مختلفة: مرة كما لو كان مريضاً هو من يسأل، ومرة كما لو كان طبيباً (ممارساً إكلينيكياً) يسأل، ومرة كما لو كان باحثاً في تركيب الأدلة (عالم متخصص في إيجاد البيانات) يسأل. وقد أجروا هذه التجربة بأكملها أربع مرات لكل مجموعة من هذه التوليفات للتأكد من أن النتائج لم تكن مجرد صدفة، لينتهي بهم الأمر بـ 720 إجابة إجمالية للتحليل.
جاءت النتائج مزيجاً من "ليس سيئاً" و"منحازاً بشكل مفاجئ". في المتوسط، تمكن رد واحد من برامج الدردشة من إيجاد حوالي 39.2% من الدراسات التي حددها الخبراء البشريون بالفعل كقائمة "صحيحة". وهذا يعني أنه إذا وجد الخبراء 10 دراسات مثالية، فإن الروبوت عادة ما يجد حوالي 4 منها فقط. ومع ذلك، كان نوع الروبوت مهماً للغاية؛ فقد كان ChatGPT هو الفائز الواضح، حيث وجد 63.1% من دراسات الخبراء. وجاء Claude في المنتصف بنسبة 37.0%، بينما عانى Gemini أكثر من غيره، حيث وجد 17.3% فقط. ومن المثير للاهتمام أن "شخصية" المستخدم لعبت دوراً صغيراً أيضاً: فعندما كُتبت الصيغة من منظور باحث، وجدت الروبوتات دراسات أكثر (42.8%) مما لو كُتبت من منظور مريض (36.1%) أو طبيب (38.6%).
لكن الاكتشاف الأكثر إثارة للاهتمام كان يتعلق بـ أي الدراسات اختارتها الروبوتات للبحث عنها. نظر الباحثون في خصائص الدراسات التي نجحت الروبوتات في استرجاعها مقابل تلك التي أغفلتها. ووجدوا أن الروبوتات كان لديها تفضيل هائل للدراسات ذات أحجام العينات الكبيرة (بمعنى الدراسات التي اختبرت العلاج على عدد أكبر من الناس). حتى عندما ضبطوا المتغيرات المتعلقة بمدى حداثة الدراسة، أو عدد المرات التي استُشهد بها من قبل الآخرين، أو ما إذا كانت متاحة للقراءة مجاناً، كان حجم الدراسة هو الشيء الوحيد الذي تنبأ بشكل موثوق بما إذا كان الروبوت سيجدها أم لا. فمقابل كل وحدة زيادة في اللوغاريتم الخاص بحجم العينة، قفزت احتمالات إيجاد الروبوت للدراسة بمقدار 1.80 مرة. يبدو الأمر كما لو أن برامج الدردلة الآلية لديها انحياز متأصل يعتقد أنه: "إذا كانت الدراسة تضم حشداً ضخماً من المشاركين، فلا بد أنها الأهم"، متجاهلة بذلك الدراسات الأصغر حجماً ولكنها صالحة تماماً بنفس القدر.
كما تحقق التحقيق مما إذا كانت الروبوتات تؤلف دراسات وهمية أو تخطئ في التفاصيل. لم يخترعوا الكثير من الدراسات الوهمية (وهي علامة جيدة بفضل مهارات الاستنتاج المتقدمة لديهم)، لكنهم ارتكبوا "أخطاء في البيانات الوصفية" (Metadata errors) بنسبة 3% من الوقت تقريباً. وهذا يعني أنهم قد يستشهدون بدراسة حقيقية ولكن يخطئون في اسم المؤلف، أو السنة، أو عنوان المجلة. كان Claude هو الأكثر ارتكاباً لهذه الأخطاء (5.9% من الوقت)، بينما كان Gemini الأكثر دقة (0.2%).
في النهاية، تشير الورقة إلى أنه على الرغم من أن برامج الدردلة الآلية هذه تتحسن في العثور على الأدلة الطبية، إلا أنها ليست بديلاً كاملاً للخبراء البشريين بعد. فهي ناقصة، وتغير إجاباتها اعتماداً على الشخصية التي تتظاهر بأنك هي، ولديها انحياز قوي نحو الدراسات الكبيرة والمشهورة. إذا استخدمت برنامج دردشة آلية للعثور على أبحاث طبية، فقد تحصل على قائمة "الضربات الكبرى"، ولكن يمكنك بسهولة تفويت الدراسات الأصغر والأقل ضجيجاً التي يعرف الخبراء أنها لا تقل أهمية. ويخلص المؤلفون إلى أن هذه الأدوات يجب أن تُعتى كمساعدين مفيدين يمكنهم توجيهك في الاتجاه الصحيح، ولكن ليس كمرجع نهائي لما تقوله الأدلة الطبية بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.