Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
تقيم هذه الدراسة أداة الذكاء الاصطناعي "Elicit" لتوليف الأدلة السياساتية، وتجد أنه على الرغم من فعاليتها في تسريع عملية تحديد نطاق المواضيع الأولية، إلا أنها تفتقر حالياً إلى الدقة والموثوقية المطلوبتين للمراجعات السريعة المعقدة دون إشراف بشري كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الصحة العامة والسياسات الحكومية، تعتمد القرارات المتعلقة بتمويل علاجات أو برامج معينة على أساس من الأدلة. وقبل كتابة أي قاعدة جديدة، يتعين على الخبراء جمع كافة الأبحاث الموجودة حول موضوع ما، وقراءتها بعناية، وتلخيص ما تقوله بشأن ما ينجح وما لا ينجح. هذه العملية، المعروفة باسم "توليف الأدلة"، تعد ضرورية لاتخاذ خيارات عادلة وفعالة، لكنها أيضاً تستهلك وقتاً طويلاً للغاية. تقليدياً، يقضي فرق من الباحثين شهوراً في البحث عبر آلاف المقالات العلمية، والتحقق مما إذا كان كل منها يتناسب مع السؤال المحدد، ثم استخراج البيانات لبناء صورة واضحة. ومع ازدياد حاجة صانعي السياسات لتصبح أكثر إلحاحاً وتعقيداً، هناك رغبة متزايدة في تسريع هذا العمل دون فقدان الدقة. وهنا يدخل الذكاء الاصطناعي إلى المشهد، واعداً بالعمل كمساعد قوي يمكنه قراءة وفرز المعلومات بسرعة لا يمكن للبشر مضاهاتها.
قرر فريق من الباحثين من جامعات في المملكة المتحدة اختبار إحدى أدوات الذكاء الاصطناعي الجديدة هذه. أرادوا معرفة ما إذا كان برنامج يُدعى "إليست" (Elicit) يمكنه حقاً مساعدة باحثي السياسات في أداء وظائفهم بشكل أسرع وأفضل. اختار الباحثون تقييم الأداة بطريقتين مختلفتين. أولاً، سألوا ما إذا كان بإمكان الذكاء الاصطناعي أن يعمل كدليل مفيد للحصول على نظرة عامة سريعة حول موضوع واسع، وهي خطوة تُسمى غالباً "الاستطلاع" (scoping) وتحدث قبل بدء المراجعة الكاملة. ثانياً، اختبروا ما إذا كان بإمكان الذكاء الاصطناعي أن يحل محل الباحثين البشر في إجراء مراجعة سريعة كاملة للأدلة حول موضوع معقد. وكان الموضوع الذي اختاروه صعباً: اكتشاف أي البرامج تشجع بنجاح على النشاط البدني بين كبار السن الذين يواجهون صعوبات اجتماعية واقتصادية. تم اختيار هذا الموضوع لأنه يتضمن العديد من الأجزان المتحركة، بما في ذلك أنواع مختلفة من الناس، ومختلف أنواع الأنشطة، ومقاييس محددة للنجاح، مما يجعله اختباراً صارماً لأي نظام مؤتمت.
بدأ الباحثون بسؤال الذكاء الاصطناعي لإجراء مسح سريع للأدبيات لمساعدتهم في فهم مشهد أدوات النشاط البدني المستخدمة في الرعاية الأولية. وفي هذا الدور، أثبت البرنامج أنه مفيد للغاية؛ حيث أنتج ملخصاً للأدلة المتاحة في ست دقائق فقط، مقدماً رؤية واسعة للموضوع وجدها الخبراء مفيدة لتشكيل تفكيرهم. لم تكن المخرجات مثالية، وكانت تفتقر إلى الشرح المفصل لكيفية العثور على المعلومات، لكنها كانت بمثابة نقطة انطلاق جيدة. لقد أعطت الفريق شعوراً بما هو موجود وأين توجد الفجوات المحتملة، لتعمل بفعالية كخريطة أولية سريعة قبل أن يبدأوا العمل الأصعب المتمثل في رسم التضاريس الكاملة.
ومع ذلك، عندما طلب الباحثون من الذكاء الاصطناعي القيام بالمهمة الكاملة والصارمة المتمثلة في المراجعة السريعة، كانت النتائج أقل تشجيعاً بكثير. قاموا بتغذية النظام بنفس السؤال المعقد حول النشاط البدني لدى كبار السن من الفئات المحرومة، وراقبوا كيف تعامل مع المهمة. استغرقت العملية أكثر من ثلاث ساعات، اضطر خلالها الباحثون البشر إلى قضاء وقت كبير في تحسين الأسئلة وتصحيح افتراضات الذكاء الاصطناعي. وعند إنتاج التقرير النهائي، احتوى على قائمة من أربعين دراسة زعم الذكاء الاصطناعي أنها ذات صلة. ومع ذلك، عندما تحقق الخبراء البشر من هذه الدراسات مقابل القواعد الصارمة للمراجعة، وجدوا أن ست وثلاثين منها لا تنتمي إليها بالفعل. فقد أدرج الذكاء الاصطناعي دراسات تناولت نتائج خاطئة، أو ركزت على مجموعات خاطئة من الناس، أو فحصت تدخلات لا تتوافق مع المعايير. في الواقع، أغفل البرنامج أربع وثلاثين دراسة نجح الفريق البشري في العثور عليها وتضمينها في مراجعتهم الخاصة.
بدا أن المشكلة الجوهرية هي أن الذكاء الاصطناعي يعاني مع دقة وفهم اللغة المستخدمة في الأوراق العلمية. فقد استطاع بسهولة تحديد كلمات مثل "كبار السن" أو "النشاط البدني"، لكنه فشل في فهم المعنى الأعمق لما إذا كانت الدراسة تختبر بالفعل الشيء الصحيح للمجموعة الصحيحة من الناس. على سبيل المثال، لم يستطع التمييز بين برنامج مصمم لتحسين الصحة العامة وآخر مصمم خصيصاً لزيادة النشاط البدني، حتى لو كانت الصياغة متشابهة. وبسبب هذه الأخطاء، كان الملخص النهائي الذي أنتجه الذكاء الاصطناعي مليئاً بمعلومات لا تجيب على السؤال الأصلي؛ حيث ناقش نتائج غير ذات صلة واستخلص استنتاجات بناءً على أدلة غير مؤهلة للمراجعة. وفي المقابل، كانت المراجعة التي قادها البشر قادرة على تصفية الضجيج والتركيز فقط على الدراسات التي تهم حقاً، مما أدى إلى نتيجة أكثر دقة وموثوقية.
نظر الباحثون أيضاً في كيفية تعامل البرنامج مع البيانات التي وجدها. وبينما كان الذكاء الاصطناعي قادراً على استخراج التفاصيل الأساسية مثل البلد الذي أجريت فيه الدراسة أو عدد المشاركين، إلا أنه كان غير متسق عندما يتعلق الأمر باستخراج نتائج محددة، مثل مقدار تحسن صحة الشخص نتيجة تدخل معين. في بعض الحالات، كان يفقد البيانات تماماً؛ وفي حالات أخرى، كان من غير الواضح ما الذي وجده. علاوة على ذلك، لم يكن لدى البرنامج القدرة على الحكم على جودة الدراسات، مما يعني أنه عامل تجربة ضعيفة وسيئة التصميم بنفس طريقة معاملته لتجربة قوية وجيدة التنفيذ. وهذا النقص في مراقبة الجودة يمثل خطراً كبيراً، إذ قد يؤدي بصناع السياسات إلى الاعتماد على أدلة معيبة.
في النهاية، تشير الدراسة إلى أنه بينما يمكن للذكاء الاصطناعي أن يكون أداة قيمة للحصول على نظرة عامة سريعة وعالية المستوى حول موضوع ما، فإنه ليس مستعداً بعد ليحل محل الباحثين البشر في المهمة الحاسمة المتمثلة في إجراء مراجعة كاملة للأدلة، خاصة عندما تكون الأسئلة معقدة. يمكن للذكاء الاصطناعي تسريع المراحل المبكرة من البحث، لكنه لا يزال يرتكب الكثير من الأخطاء في المراحل اللاحقة بحيث لا يمكن الوثوق به بمفرده. وخلص الباحثون إلى أنه في الوقت الحالي، فإن أفضل نهج هو استخدام البرنامج كمساعد يعمل جنباً إلى جنب مع خبير بشري، الذي يجب أن يتحقق من كل قرار يتخذه الجهاز. إن الوقت الذي يتم توفيره باستخدام الذكاء الاصطناعي غير واضح حالياً، حيث إن الجهد البشري المطلوب لتصحيح أخطائه قد يلغي مكاسب السرعة الأولية. ومع استمرار تطور هذه الأدوات، يبقى الأمل في أن تصبح أفضل في فهم التفاصيل الدقيقة للغة البشرية والبحث، ولكن في الوقت الحالي، يظل العقل البشري ضرورياً لضمان أن تكون الأدلة التي توجه السياسة العامة دقيقة وموثوقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.