ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies

في عالم البحث العلمي، هناك نوع محدد من العمل يُعرف باسم المراجعة المنهجية. تخيل فريقاً من الخبراء يحاول الإجابة على سؤال معقد، مثل ما إذا كان دواء جديد يعمل بشكل أفضل من دواء قديم، أو ما هي الحالة الراهنة للمعرفة حول تغير المناخ. وللقيام بذلك، لا يمكنهم مجرد قراءة بعض المقالات المثيرة للاهتمام؛ بل يجب عليهم العثور على كل دراسة ذات صلة نُشرت على هذا الموضوع على الإطلاق، وقراءتها جميعاً، ودمج نتائجها في استنتاج واحد موثوق. هذه العملية هي حجر الزاوية في الطب الحديث والسياسات، لكنها صعبة للغاية. ومع نمو عدد الأوراق العلمية كل عام، أصبحت مهمة البحث عن هذه الأوراق وقراءتها جميعاً أبطأ، وأكثر تكلفة، وأصعب في مواكبة المستجدات.

مؤخراً، دخلت برامج الكمبيوتر القوية المعروفة بالذكاء الاصطناعي إلى المشهد. هذه الأدوات يمكنها قراءة النصوص، وفهم اللغة، وتلخيص المعلومات بسرعات لا يمكن للبشر مضاهاتها. بدأ الباحثون في استخدامها للمساعدة في العث Av على الأوراق، وتقرير أي منها يجب الاحتفاظ به، واستخراج الأرقام المهمة. ومع ذلك، جاءت هذه السرعة الجديدة مصحوبة بمشكلة؛ إذ لم يكن لدى أحد مجموعة واضحة من القواعد لكيفية استخدام هذه الأدوات بأمان. فإذا أغفل برنامج كمبيوتر دراسة حاسمة أو أخطأ في قراءة رقم ما، فقد يكون الاستعراض بأكمله خاطئاً، وقد يتخذ الأطباء أو صانعو السياسات الذين يعتمدون عليه قرارات سيئة. لم يعد السؤال فقط عما إذا كانت هذه الأدوات يمكن أن تعمل، بل كيف يمكن استخدامها دون فقدان السيطرة على العلم.

قام فريق من الباحثين من جامعة جنوب الدنمارك الآن باقتراح مجموعة جديدة من الإرشادات تسمى (ARISMA) لحل هذه المشكلة. عملهم لا يعامل الذكاء الاصطناعي كبديل للعلماء البشر، بل يصوره كـ "مساعد ماهر للغاية" يجب مراقبته واختباره وتسجيله في كل خطوة. الفكرة الجوهرية بسيطة ولكنها صارمة: يجب أن يظل كل قرار مهم في المراجعة العلمية مفهوماً، وقابلاً للتحقق، وفي نهاية المطاف مسؤولية بشرية. يجادل الباحثون بأنه بينما يمكن للآلات القيام بالأعمال الشاقة، إلا أنه لا يسمح لها باتخاذ قرارات صامتة بشأن ما يعتبر دليلاً.

تحدد الورقة دورة حياة كاملة لكيفية إجراء المراجعة عند استخدام هذه الأدوات. تبدأ بمرحلة التخطيط، حيث يجب على الفريق البشري تحديد ما يبحثون عنه بوضوح قبل إشراك أي كمبيوتر. تشير الإرشادات إلى أن الذكاء الاصطناعي يمكن أن يكون مفيداً جداً في العصف الذهني لمصطلحات البحث أو اقتراح مرادفات لموضوع ما، ولكن يجب على خبير بشري مراجعة استراتيجية البحث النهائية. ويؤكد الباحثون أنه إذا أغفل الكمبيوتر دراسة مهمة معروفة خلال تجربة تشغيل، فإن استراتيجية البحث تعتبر فاشلة ويجب إصلاحها قبل استخدامها على البيانات الحقيقية. وهذا يضمن أن البحث ليس سريعاً فحسب، بل شاملاً أيضاً.

بمجرد الانتهاء من البحث، يواجه الفريق المهمة الضخمة المتمثلة في فحص آلاف العناوين والملخصات لتحديد الأوراق التي سيقرؤونها بالكامل. وهنا أظهر الذكاء الاصطناعي أكبر قدر من الوعد، ولكنه أيضاً المكان الذي تكون فيه الإرشادات أكثر حذراً. توضح الورقة أن الكمبيوتر يمكن استخدامه لترتيب الأوراق أو اقتراح استبعاد بعضها، لكنه لا يمكنه اتخاذ القرار النهائي بمفرده. يقترح الباحثون نظاماً لـ "مستويات الثقة". في سيناريو منخفض الثقة، يقوم الكمبيوتر فقط باقتراح ترتيب للقراءة من قبل البشر. وفي سيناريو متوسط الثقة، قد يوصي بالاستبعاد، ولكن يجب على البشر مراجعة كل حالة من تلك التوصيات. أما في المراجعات عالية المخاطر، مثل تلك التي ستوجه العلاجات الطبية، فإن الكمبيوتر يعمل فقط كـ "عين ثانية"، بينما يتخذ الفريق البشري القرار النهائي. ومن الضروري، قبل السماح للكمبيوتر بالقيام بأي من هذا، اختباره على مجموعة صغيرة من الأوراق التي قام البشر بتقييمها بالفعل. وإذا ارتكب الكمبيوتر الكثير من الأخطاء في هذه المجموعة الاختبارية، فلا يُسمح له بالمضي قدماً.

تتناول الإرشادات أيضاً المهمة الصعبة المتمثلة في استخراج البيانات، حيث يستخرج الباحثون أرقاماً محددة مثل أعداد المرضى أو نتائج العلاج من نص الورقة. وهنا، يكون الباحثون أكثر تحفظاً. يشيرون إلى أنه بينما يجيد الكمبيوتر العثور على الأوصاف العامة، فإنه غالباً ما يواجه صعوبة في التعامل مع الأرقام الدقيقة المختبئة في الجداول أو الجمل المعقدة. تقترح الورقة أن الكمبيوتر يمكنه ملء نموذج مسودة بالتفاصيل الوصفية، ولكن يجب على البشر مراجعة كل رقم سيُستخدم لحساب نتيجة نهائية سطراً بسطر. وإذا لم يتحقق إنسان من مصدر الرقم، فلا يمكن استخدام هذا الرقم في المراجعة النهائية. هذه القاعدة تحمي من قيام الكمبيوتر بـ "الهلوسة" أو اختراع حقائق تبدو منطقية ولكنها ليست موجودة في النص الأصلي.

طوال العملية، تطالب الإرشادات بوجود "مسار ورقي". في كل مرة يتم فيها استخدام أداة كمبيوتر، يجب على الباحثين تسجيل الأداة المستخدمة، وإصدار البرنامج، والتعليمات التي أُعطيت له، والمخرجات التي نتجت عنه. إذا ارتكب الكمبيوتر خطأً، أو إذا قرر الفريق البشري تغيير كيفية عمل الكمبيوتر، فيجب توثيق هذا التغيير بتاريخه وشرحه. هذا يخلق تاريخاً للمراجعة يسمح لأي شخص يقرأ التقرير النهائي برؤية أين ساعد الكمبيوتر وأين تولى البشر زمام الأمور. كما تتطرق الورقة إلى الجانب القانوني والأخلاقي، مذكرة الفرق بضرورة الحذر بشأن إرسال بيانات خاصة أو غير منشورة إلى خدمات الكمبيوتر العامة، حيث يمكن تخزين تلك البيانات أو استخدامها بطرق لم تكن تهدف إليها الفرق.

قام الباحثون بتطوير هذه الإرشادات من خلال التحدث إلى واحد وعشرين خبيراً في هذا المجال، بما في ذلك علماء ومتخصصون في المعلومات. لقد اختبروا أفكارهم وصقلوها بناءً على التعليقات، مع التركيز على جعل القواعد عملية وواضحة. والنتيجة هي إطار عمل يسمح للفرق باستخدام سرعة الذكاء الاصطناعي دون التضحية بالدقة والموثوقية التي تتطلبها المراجعات العلمية. تخلص الورقة إلى أن الهدف ليس جعل المراجعات آلية بالكامل، بل جعلها أكثر قابلية للتدقيق. ومن خلال معاملة الذكاء الاصطناعي كأداة يتم فحصها وتقييدها بدلاً من كونه صانع قرار مستقل، تضمن الإرشادات أن تظل الاستنتاجات النهائية للمراجعة قائمة على أدلة تم التحقق منها، مع وجود إنسان دائماً في الحلقة ليتحمل مسؤولية الحقيقة.