Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications

تخيل عالم الأبحاث الطبية كمكتبة ضخمة وفوضوية لا تتوقف عن النمو أبدًا. في كل يوم، تُكتب آلاف الكتب الجديدة -الأوراق العلمية- حول الجراثيم الدقيقة (الميكروبات) وكيف يمكن أن تسبب أمراضًا مثل السرطان. لفترة طويلة، كانت الطريقة الوحيدة لمعرفة ما إذا كان ميكروب معين هو "الشرير" تتطلب فريقًا من المحققين الأذكياء للغاية (خبراء المجال) لقراءة كل صفحة، ومقارنة الحقائق، وتحديد ما إذا كانت الأدلة قوية بما يكفي. ولكن مع نشر أكثر من مليون مقال جديد سنويًا، أصبح هذا العمل التحقيقي "البشري فقط" مستحيلاً. الأمر يشبه محاولة الشرب من خرطوم إطفاء حريق؛ فالخبراء ببساطة لا يستطيعون المواكبة. وهنا يأتي دور الذكاء الاصطناعي (AI)، وتحديدًا نوع يسمى النماذج اللغوية الكبيرة (LLMs). فكر في هذه الأنظمة كقراء فائقين السرعة يمكنهم مسح المكتبة بأكملة في ثوانٍ. لكن السؤال الكبير هو: هل يمكن للروبوت حقًا أن يفكر مثل الخبير البشري؟ هل يمكنه رصد الإشارات الخفية التي تثبت أن جُرثومة ما تسبب السرطان، أم أنه سيقوم فقط بتأليف قصص (وهي مشكلة تسمى "الهلوسة") ويخطئ في الحقائق؟ كان على العلماء معرفة ما إذا كان بإمكانهم الوثوق بهؤلاء المحققين الرقميين قبل السماح لهم بتولي مهمة فرز الأدلة الطبية في العالم.

تضع هذه الورقة البحثية مواجهة عالية المخاطر بين الخبراء البشر والذكاء الاصطناعي لمعرفة من الأفضل في التحقيق في لغز محدد: ما إذا كان فيروس يسمى "فيروس شبيه بفيروس ورم الثدي في الفئران" (MMTV-LV) يسبب سرطان الثدي لدى البشر. قام الباحثون بجمع 24 ورقة علمية حقيقية حول هذا الفيروس وأنشأوا اختبارًا ضخمًا مكونًا من 77 سؤالًا لاختبار المحققين. طلبوا من أربعة نماذج مختلفة من الذكاء الاصطناعي (اثنان من جوجل يسمىان Gemini، واثنان من OpenAI يسمىان GPT-5) قراءة الأوراق والإجابة على الاختبار، بينما قام فريق من الخبراء البشريين بالشيء نفسه. لم يكن الهدف مجرد معرفة من سيحصل على أكبر عدد من الإجابات الصحيحة، بل لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي التفكير وإصدار الأحكام على الأدلة تمامًا مثل البشر.

كانت النتائج مزيجًا من "الذهول" و"الدهشة". وجدت الدراسة أن اثنين من نماذج الذكاء الاصطناعي، وهما GPT-5 وGPT-5 Nano، قد أديا أداءً مشابهًا تمامًا للخبراء البشريين. وعندما خلط الباحثون إجابات الذكاء الاصطناعي مع إجابات البشر، لم يتغير الاتفاق العام للمجموعة على الإطلاق. كان الأمر كما لو أن الذكاء الاصطناعي قد انضم إلى فريق الخبراء وأصبح مجرد زميل بارع آخر. كانت هذه النماذج رائعة في قراءة النصوص، وفهم اللغة الطبية المعقدة، وتلخيص ما تقوله الأوراق. ونادرًا ما اخترعوا حقائق (هلوسة)، وعندما فعلوا ذلك، كان ذلك عادةً في النماذج الأصغر والأقل قوة.

ومع ذلك، لم يكن الذكاء الاصطناعي مثاليًا. أظهرت الدراسة أن نماذج الذكاء الاصطناعي، وخاصة نماذج Google Gemini، كانت تميل إلى أن تكون "لطيفة" للغاية. فقد كانوا "متساهلين"، مما يعني أنهم كانوا أكثر عرضة للقول بأن الورقة تقدم دليلًا قويًا على تسبب الفيروس في السرطان مقارنة بالبشر. لقد رأوا أحيانًا صلة حيث لم يرَ البشر أي صلة، مثل افتراض وجود رابط بين دراسات الفئرون ومرض البشر دون دليل كافٍ. كما عانى الذكاء الاصطناعي في الأجزاء الأكثر صعوبة من المهمة: وهي العثور على التناقضات داخل الورقة (مثل عدم تطابق الأرقام في الرسم البياني مع النص) ونقد منهجية الدراسة. الأمر يشبه طالبًا يمكنه تلخيص قصة بشكل مثالي ولكنه يغفل حقيقة أن الجدول الزمني للشخصية الرئيسية غير منطقي.

في النهاية، تشير الورقة إلى أنه يمكننا الوثوق بالذكاء الاصططاع المتقدم لمساعدتنا في غربلة جبل الأبحاث الطبية. إنهم سريعون، ودقيقون في الغالب، ويمكنهم مضاهاة الخبراء البشر في استخراج الحقائق الرئيسية. لكنهم ليسوا مستعدين لاستبدال البشر تمامًا بعد. وتقترح المؤلفة أن النهج الأفضل هو استخدام الذكاء الاصطناعي كمساعد قوي للقيام بالعمل الشاق المتمثل في القراءة والتلخيص، مع إبقاء الخبراء البشر في الصورة للتدقيق في المنطق الصعب وكشف الأخطاء الدقيقة. إنها شراكة حيث يقوم الروبوت بالقراءة، ويقوم الإنسان بالتفكير النقدي.