Using Human-LLM Disagreement to Improve Checklist-Based Quality Appraisal
تُثبت هذه الورقة أن تحليل الخلاف بين البشر والنماذج اللغوية الكبيرة (LLM) حول التقييم النوعي القائم على قوائم التحقق يمكن أن يحدد المعايير الغامضة، وأن مراجعة هذه البنود تُحسن الاتفاق بشكل كبير مع الحفاظ على الترتيب النسبي للدراسات، مما يدعم سير عمل أكثر موثوقية لتوليف الأبحاث بمساعدة النماذج اللغوية الكبيرة.
المؤلفون الأصليون:Timo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), RoTimo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), Robert A. Bagheri (Methodology and Statistics Utrecht University), Rens van de Schoot (Methodology and Statistics Utrecht University), Klaas Dieleman (Methodology and Statistics Utrecht University), Berend Greijn (Methodology and Statistics Utrecht University), Stefan Houkes (Methodology and Statistics Utrecht University), Sebastiaan Rodenhuis (Methodology and Statistics Utrecht University), Elizabeth M. Grandfield (Methodology and Statistics Utrecht University)
المؤلفون الأصليون: Timo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), Robert A. Bagheri (Methodology and Statistics Utrecht University), Rens van de Schoot (Methodology and Statistics Utrecht University), Klaas Dieleman (Methodology and Statistics Utrecht University), Berend Greijn (Methodology and Statistics Utrecht University), Stefan Houkes (Methodology and Statistics Utrecht University), Sebastiaan Rodenhuis (Methodology and Statistics Utrecht University), Elizabeth M. Grandfield (Methodology and Statistics Utrecht University)
في كل عام، ينتج عالم العلوم فيضاً من الأبحاث الجديدة، مما يخلق تحدياً لأولئك الذين يحاولون استيعاب الصورة الكاملة. عندما يريد العلماء فهم الصورة الشاملة لموضوع ما، فإنهم يجرون مراجعة منهجية، وهي عملية تتضمن جمع كل دراسة ذات صلة بموضوع ما والتحقق من مدى جودة كل منها. عملية فحص الجودة هذه حاسمة لأنها تفصل النتائج الموثوقة عن النتائج المعيبة، لكنها أيضاً بطيئة للغاية ومرهقة ذهنياً. يجب على الخبراء قراءة تقارير كثيفة وتقرير ما إذا كان الباحثون قد اتبعوا القواعد، وهي مهمة قد تستغرق ساعة لكل دراسة وتكون عرضة للأخطاء عندما يتعب البشر. مؤخراً، ظهرت برامج حاسوبية قوية تُعرف باسم نماذج اللغات الكبيرة كعوامل مساعدة محتملة لهذا العمل. يمكن لهذه البرامج قراءة وفهم النصوص، مما أدى إلى فكرة تبعث على الأمل: هل يمكن للكمبيوتر أن يتولى المهمة المملة المتمثلة في فحص جودة الدراسات؟ ومع ذلك، فإن مجرد تسليم قائمة مراجعة إلى الكمبيوتر ليس كافياً؛ فإذا كانت الأسئلة الموجودة في القائمة غامضة أو مربكة، فسيواجه حتى الكمبيوتر الذكي صعوبة في تقديم الإجابة الصحيحة، تماماً كما سيفعل الإنسان.
وضع فريق من الباحثين خطة لاختبار هذه الفكرة، والأهم من ذلك، لمعرفة كيف يمكنهم جعل الكمبيوتر والخبراء البشر يتفقون بشكل أفضل. ركزوا على مجموعة محددة من القواعد تسمى قائمة مراجعة (GRoLTS)، والتي تُستخدم لتقييم الدراسات التي تتبع كيفية تغير مجموعات من الناس بمرผ่าน الزمن. طلب الباحثون أولاً من عدة نماذج حاسوبية مختلفة تطبيق هذه القواعد على مجموعة من الدراسات الحقيقية حول الصدمات، بينما كان الخبراء البشر قد قاموا بالفعل بتقييم نفس الدراسات. وجدوا أن أجهزة الكمبيوتر لم تكن مثالية؛ فقد اتفقت مع البشر في بعض الأسئلة، لكنها اختلفت معهم غالباً في أسئلة أخرى. ولم تكن حالات الاختلاف عشوائية، بل حدثت في أغلب الأحيان عندما صيغ بند من بنود قائمة المراجعة بطريقة تسمح بتفسيرات متعددة، مثل السؤال عما إذا كان قد تم تنفيذ شيء ما لـ "جميع" النماذج بينما لم تبلغ الدراسة إلا عن بعضها، أو استخدام مصطلحات فضفاضة يصعب تحديدها بدقة. فغالباً ما كان الكمبيوتر يجد دليلاً ويقول "نعم"، بينما كان الخبير البشري، الذي يبحث عن معيار أكثر صرامة، يقول "لا".
بدلاً من مجرد قبول هذه الأخطاء، استخدم الباحثون حالات الاختلاف كخريطة لإصلاح قائمة المراجعة نفسها. لقد أخذوا الأسئلة المربكة وأعادوا كتابتها لتكون أكثر وضوحاً وتحديداً. وقاموا بتفكيك الأسئلة المعقدة التي تسأل شيئين في آن واحد إلى أسئلة منفصلة وأبسط. كما أزالوا سيناريوهات "إذا-فإن" التي تتطلب التخمين واستبدلوها بأمثلة ملموسة لما يجب البحث عنه بدلاً من المصطلحات الغامضة. وبمجرد أن أنشأوا هذه النسخة المحسنة الثانية من قائمة المراجعة، طلبوا من أجهزة الكمبيوتر والخبراء البشر تقييم الدراسات مرة أخرى. أظهرت النتائج تحسناً واضحاً؛ حيث اتفقت أجهزة الكمبيوتر والبشر بشكل أكبر بكثير في النسخة الجديدة. لقد تلاشى الارتباك الذي تسبب في تعثر أجهزة الكمبيوتر إلى حد كبير. والأهم من ذلك، وجد الباحثون أن أجهزة الكمبيوتر كانت لا تزال جيدة جداً في فرز الدراسات من الأفضل إلى الأسوأ، حتى لو ارتكبت بعض الأخطاء الصغيرة في أسئلة فردية. وهذا يعني أن الكمبيوتر يمكنه مساعدة الباحثين بشكل موثوق في تحديد أولويات الدراسات التي يجب النظر إليها أولاً، طالما أن القواعد التي يتبعها مكتوبة بوضوح.
تشير الدراسة إلى أن المفتاح لجعل الذكاء الاصطناعي مفيداً للمراجعة العلمية ليس مجرد اختيار برنامج حاسوبي أكثر ذكاءً، بل تصميم أسئلة أفضل ليجيب عليها. فعندما تكون القواعد غامضة، يعاني كل من البشر والآلات، ولكن عندما تكون القواعد دقيقة، تصبح الآلات شركاء موثوقين. لم يجد الباحثون أن أجهزة الكمبيوتر يمكنها استبدال الخبراء البشر بالكامل، حيث لا تزال بعض الأسئلة الصعبة تتطلب حكماً بشرياً. بدلاً من ذلك، أظهروا أنه من خلال تحليل المواضع التي اختلف فيها الكمبيوتر والإنسان، استطاعوا تحديد نقاط الضعف في أدواتهم وإصلاحها. هذا النهج يحول عدم التطابق إلى أداة للتحسين، مما يشير إلى أن مستقبل المراجعة العلمية يكمن في شراكة حيث تتولى أجهزة الكمبيوتر المهام الواضحة، ويركز البشر على المهام المعقدة، مسترشدين بقوائم مراجعة مصممة ليفهمها كلاهما.
ملخص تقني: استخدام التباين بين البشر والنماذج اللغوية الكبيرة لتحسين التقييم النوعي القائم على القوائم المرجعية
بيان المشكلة تتطلب المراجعات المنهجية تقييماً صارماً لجودة الدراسات المدرجة، وهي عملية تتطلب جهداً مكثفاً، وتستنزف القدرات الإدراكية، وعرضة للأخطاء الناتجة عن الإرهاق. وبينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات للأتمتة، فإن تطبيقها في هذا المجال يعوقه الغموض المتأصل في معايير القوائم المرجعية. تركز الأبحاث الحالية عادةً على معاملة القوائم المرجعية كمدخلات ثابتة، مع التركيز على هندسة الأوامر (prompt engineering) أو اختيار النموذج دون معالجة ما إذا كان تصميم القائمة المرجعية نفسها يساهم في التباين بين الخبراء البشريين والنماذج اللغوية الكبيرة. علاوة على ذلك، لا يزال من غير الواضح ما إذا كانت الدرجات التي تولدها النماذج اللغوية الكبيرة تحافظ على الترتيب النسبي للدراسات حسب الجودة، وهو مطلب حاسم لتحديد الأولويات في تركيب الأدلة.
المنهجية استخدمت الدراسة قائمة مراجعة (GRoLTS) الخاصة بتقديم التقارير عن دراسات المسار الكامن، وهي أداة ثنائية مكونة من 21 بنداً مصممة للخبراء البشريين. وظف البحث تصميماً تجريبياً من مرحلتين عبر ثلاثة مجالات متميزة: اضطراب ما بعد الصدمة (PTSD)، والتحصيل التعليمي، وجنوح الأحداث.
تنفيذ خط الأنابيب (Pipeline): تم بناء خط أنابيب للتوليد المعزز بالاسترداد (RAG) لتطبيق القائمة المرجعية على المقالات كاملة النص. تضمن هذا الخط:
المعالجة المسبقة: تحويل ملفات PDF إلى تنسيق Markdown للحفاظ على العناصر الهيكلية.
التقسيم: تقسيم النص إلى قطع متداخلة (1,000 كلمة مع تداخل قدره 50 كلمة).
التضمين والاسترداد: استخدام نموذج Qwen3-Embedding-8B لتوليد تمثيلات متجهية لكل من بنود القائمة المرجعية وقطع النص. لكل بند، تم استرداد أفضل 10 قطع ذات صلة دلالية عبر تشابه جيب التمام (cosine similarity).
التوليد: وجه أمر معياري خمسة نماذج لغوية كبيرة مختلفة (GPT-5-mini، وLLaMA 3.3 70B، وQwen3 30B، وQwen3-Next 80B، وMagistral Small) لتوليد أحكام ثنائية (نعم/لا) بناءً فقط على السياق المسترد.
استراتيجية التقييم:
المرحلة الأولى (الأساس): تمت مقارنة التدوينات البشرية (من دراسة GRoLTS الأصلية) مقابل مخرجات النماذج اللغوية الكبيرة باستخدام القائمة المرجعية الأصلية (v1) في مجال اضطراب ما بعد الص trauma (PTSD).
المرحلة الثانية (المراجعة والتحقق): بناءً على المرحلة الأولى، تمت مراجعة القائمة المرجعية (v2) لمعالجة مصادر التباين. طُبقت القائمة المرجعية المنقحة على المجالات الثلاثة.
المقاييس: تم قياس الاتفاق باستخدام دقة المطابقة التامة، والمقاييس المصححة للاحتمالية (معامل كوهين κ ومعامل فليس κ)، وارتباط سبيرمان الرتبي لتقييم الحفاظ على ترتيب الدراسات.
المساهمات الرئيسية تتمثل المساهمة الأساسية لهذا العمل في إثبات أن تحليل التباين بين البشر والنماذج اللغوية الكبيرة يعمل كأداة تشخيصية لتحسين أدوات التقييم، بدلاً من مجرد تقييم أداء النموذج. حددت الدراسة عيوباً هيكلية محددة في تصميم القائمة المرجعية — مثل الصياغة الشرطية، والأسئلة مزدوجة البند، والنطاق الغامض — التي تؤدي إلى التباين. ومن خلال مراجعة هذه البنود بشكل منهجي (على سبيل المثال، تقسيم البنود للتمييز بين التقرير الجزئي والكامل وإزالة البنود الفرعية الشرطية)، طور المؤلفون قائمة مرجعية منقحة (v2) حسنت بشكل كبير التوافق بين الأحكام البشرية والآلية.
النتائج
الأداء على مستوى البند: في القائمة المرجلية الأصلية (v1)، تباين الاتفاق بشكل جذري، حيث أظهرت بعض البنود دقة شبه مثالية بينما انخفضت أخرى إلى 0.10. اتسمت البنود ذات الدقة المنخفضة بالغموض والمنطق الشرطي.
تأثير المراجعة: حققت القائمة المرجعية المنقحة (v2) تحسناً ملحوظاً. ارتفع متوسط الدقة للبنود الأقل أداءً من حوالي 0.10–0.20 (v1) إلى 0.40–0.60 (v2). كما زادت نسبة البنود التي حققت دقة عالية (0.7–1.0)، وانخفض التباين بين مختلف النماذج اللغوية الكبيرة.
الاتفاق المصحح للاحتمالية: تراوحت قيم معامل كوهين κ للنسخة (v2) بين 0.41 و0.72 (اتفاق متوسط إلى جوهري)، وهو تحسن عن نطاق 0.31–0.52 الملاحظ في (v1). كما تحسن معامل فليس κ عبر جميع المقيمين (خمسة نماذج لغوية كبيرة وإنسان واحد) من 0.41 (v1) إلى حوالي 0.60 (v2).
الحفاظ على الترتيب: رغم استمرار الأخطاء في التصنيف على مستوى البند، حافظت الدرجات الإجمالية المولدة بواسطة النماذج اللغوية الكبيرة على ارتباط متوسط إلى قوي مع التصنيفات البشرية (تراوح ارتباط سبيرمان ρ بين 0.36 و0.72). والأهم من ذلك، وجدت الدراسة أن التصنيفات المشتقة من البنود ذات الاتفاق العالي وحدها أظهرت ارتباطاً قوياً مع التصنيفات البشرية (ρ≈0.58–0.93)، بينما تسببت البنود ذات الاتفاق المنخفض في عدم الاستقرار.
الأهمية والادعاءات يزعم البحث أن موثوقية التقييم النوعي بمساعدة النماذج اللغوية الكبيرة ليست مجرد وظيفة لقدرة النموذج، بل تعتمد بشدة على وضوح وهيكلية أداة التقييم. ويفترض المؤلفون أن التباين بين البشر والنماذج اللغوية الكبيرة يعد إشارة مفيدة لتحديد البنود الإشكالية في القوائم المرجعية، مما يسمح بعملية تكرارية لتنقيح سير عمل تركيب الأبحاث.
تقترح الدراسة استراتيجية "الأتمتة الانتقائية": يمكن للنماذج اللغوية الكبيرة التعامل بفعالية مع المعايير المحددة جيداً للحفاظ على الترتيب النسبي للدراسات من أجل تحديد الأولويات، بينما يجب على المراجعين البشريين التركيز على حل البنود الغامضة أو المعقدة مفاهيمياً. يسمح هذا النهج بدمج النماذج اللغية الكبيرة في المراجعات المنهجية دون اشتراط الدقة المثالية على مستوى البند، بشرط تصميم القائمة المرجعية لتقليل الغموض. وتدعم النتائج الفائدة الأوسع للنماذج اللغية الكبيرة في تركيب الأدلة، شريطة أن يتم تصميم الأدوات التي تستخدمها مع مراعاة القيود البشرية والآلية معاً.