ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

ملخص تقني: تقييم قابلية التكرار الوكيل (ARA)

بيان المشكلة
أصبح مراجعة الأقران العلمية غير قادرة بشكل متزايد على تقييم قابلية التكرار (reproducibility) بالقدر الذي تتطلبه وتيرة المخرجات البحثية الحديثة من حيث النطاق والتعقيد. إن النمو المتسارع في المنشورات، والذي تعززه النماذج اللغوية الكبيرة (LLMs) كأدوات مساعدة في الكتابة، قد أدى إلى إجهاد آليات ضمان الجودة التقليدية. وبينما تعد قابلية التكرار شرطًا ضروريًا للتحقق من المساهمات العلمية، فإن تقييمها يتطلب إعادة بناء التبعيات التجريبية، والخيارات المنهجية، وتدفقات البيانات، وإجراءات توليد النتائج. غالبًا ما تتجاوز هذه العملية قدرة المراجعين البشريين نظرًا لضيق الوقت وحجم الطلبات المقدمة. كما أن النهج الآلية الحالية غالبًا ما تكون محددة بمجالات معينة، أو تعتمد على تحليل بسيط قائم على قوائم التحقق، أو تتطلب الوصول إلى حزم تكرار خارجية (أكواد، بيانات) تتجاوز نص المنشور نفسه. وبناءً على ذلك، تظل تقييمات قابلية التكرار ممثلة تمثيلاً ناقصًا في سير العمل القياسي ويصعب توسيع نطاقها.

المنهجية
تقدم الورقة البحثية تقييم قابلية التكرار الوكيل (ARA)، وهو إطار عمل يصيغ تقييم قابلية التكرار كمسألة استدلال مهيكلة يمكن تنفيذها بواسطة أنظمة وكيلة تعتمد على النماذج اللغوية الكبيرة مباشرة من الوثائق العلمية. يعمل نظام ARA دون الحاجة إلى قطع أثرية خارجية، أو أكواد مصدرية، أو بيئات تنفيذ. يتكون مسار العمل من ثلاث مراحل رئيسية:

1. بناء مخطط سير العمل (Workflow Graph Construction):
   بالاعتماد على ورقة علمية $D$، يقوم نظام ARA ببناء مخطط سير عمل موجه $G = (V, E)$. تُقسم العقد $V$ إلى أربع مراحل مستقلة عن المجال:

• المصادر (Sources): مجموعات البيانات، والافتراضات، والأسئلة البحثية.
• المنهجيات (Methods): التحويلات الوسيطة، والخوارزميات، والمعلمات، والموارد البرمجية/العتادية.
• التجارب (Experiments): بروتوكولات التقييم، والخطوط المرجعية (baselines)، وظروف وقت التشغيل، والتكوينات.
• المصبات (Sinks): الأشكال والجداول ذات الصلة بالنتائج، والاستنتاقات المُبلغ عنها.
  تمثل الحواف $E$ علاقات التبعية بين هذه المكونات. يقوم وكيل يعتمد على نموذج لغوي كبير باستخراج هذه المكونات باستخدام استعلامات مهيكلة، مع ربط الاستجابات باقتباسات حرفية من المصدر لضمان إمكانية التتبع.

2. التقييم الدقيق (Micro-Level Scoring):
   يتم تقييم قابلية إعادة بناء العقد الفردية باستخدام دالة ترتيب $r(\cdot) \in \{1, 2, 3, 4\}$، حيث تشير القيمة 1 إلى نقص المعلومات والقيمة 4 إلى التفاصيل الكافية لإعادة البناء المستقل. يتم إجراء هذا التقييم لكل مرحلة على حدة، مع التمييز بين جوانب مثل وضوح الخوارزمية (للمنهجيات) مقابل توفر مجموعة البيانات (للمصادر).

3. تقييم قابلية التكرار (Reproducibility Scoring):
   يتم تجميع التقييمات الدقيقة في درجة نهائية مركبة لقابلية التكرار $R$ عبر محورين متعامدين:

• درجة المحتوى ($R_c$): تقيس مدى كفاية الوصف للعقد (المصادر، المنهجيات، التجارب، المصبات) لإعادة البناء المستقل. وهي عبارة عن مزيج محدب مرجح لمتوسط الدرجات الخاصة بكل مرحلة.
• الدرجة الهيكلية ($R_s$): تقيس جودة ترابط مخطط سير العمل. وهي تعاقب وجود مصادر غير متصلة، أو مصبات يتيمة، أو مراجع غير محلولة، أو مسارات مكسورة من المصدر إلى المصب، أو تفتت في المخطط.
  الدرجة النهائية هي المتوسط الهندسي: $R = \sqrt{R_c \cdot R_s}$. يضمن هذا الصياغة أن الضعف في أي من التفاصيل الوصفية أو الترابط الهيكلي لا يمكن تعويضه بالقوة في الآخر.

المساهمات الرئيسية

• صياغة الاستدلال على مستوى الوثيقة: يصيغ ARA تقييم قابلية التكرار ليس كمجرد قائمة تحقق أو مهمة تنفيذ كاملة، بل كمسألة استدلال مهيكلة عبر سير عمل توليد الأدلة المستخرج من النص.
• إطار عمل مستقل عن المجال: على عكس الأعمال السابقة المقيدة بمجالات محددة (مثل علوم الحاسوب أو العلوم الاجتماعية)، تم تصميم ARA ليعمل عبر مجالات علمية متباينة.
• دعم تشخيصي قابل للتوسع: يوفر النظام آلية قابلة للتوسع لتحديد عناصر الإبلاغ المفقودة، وسير العمل غير المكتمل، واختناقات قابلية التكرار، بهدف تكملة مراجعة الأقران البشرية بدلاً من استبدالها.
• التقييم الشامل: قام المؤلفون بتقييم ARA باستخدام مجموعة بيانات ReScience C، التي تضم 213 دراسة موثقة بشريًا حول قابلية التكرار الحسابية عبر تخصصات متعددة. ويمثل هذا أكبر اختبار مقارنة عابر للمجالات من نوعه حتى الآن.

النتائج
أُجريت التجارب على 213 مقالًا من ReScience C، مع مقارنة تقييمات ARA مقابل سير عمل إعادة الإنتاج والهياكل الإبلاغية التي تم التحقق منها بشريًا.

• الاتساق: أظهر الإطار استقرارًا جوهريًا عبر بنيات مختلفة من النماذج اللغوية الكبيرة (بما في ذلك متغيرات Gemini وGPT-4.1 وQwen)، ودرجات الحرارة (temperature) في أخذ العينات، والتشغيل المتكرر. ظل الاتساق الهيكلي للمخطط وتغير درجة قابلية التكرار منخفضًا، مما يشير إلى أن النظام لا يندفع بفعل الهلوسة أو العشوائية الشبيهة بـ "القدرة المطلقة" (oracle-like randomness).
• الأداء: حقق ARA اتفاقًا متسقًا مع التقييمات البشرية، حيث وصل إلى دقة تقارب 61% عبر ثلاثة اختبارات لتقييم قابلية التكرار (ReScience C، وReproBench، وGoldStandardDB).
• المقارنة: يؤدي ARA أداءً مشابهًا أو أفضل من الأنظمة الوكيلية الموجودة (مثل ReplicatorAgent وReproScreener) من حيث الاتفاق مع التعليقات البشرية، على الرغم من عمله حصريًا في إطار مستوى الوثيقة دون الوصول إلى المستودعات الخارجية أو حزم التكرار.
• تحليل الاختلاف: تقع الاختلافات بين ARA والخبراء البشريين عمومًا ضمن نطاق مستوى واحد من المقياس الترتيبي. ويكون الاختلاف أعلى في مرحلتي "المنهجيات" و"التجارب"، حيث يعتمد المراجعون البشريون غالبًا على تفاصيل التنفيذ التي لا تظهر إلا أثناء عملية التكرار الكاملة، والتي لا يمكن ملاحظتها من النص وحده.

الأهمية والادعاءات
تدعي الورقة أن ARA يثبت الجدوى التقنية لاستخدام الأنظمة الذكية الوكيلية لتقريب أحكام البشر حول قابلية التكرار على نطاق واسع. يضع المؤلفون ARA ليس كبديل لمراجعة الأقران البشرية الخبيرة، بل كمكمل تشخيصي قابل للتوسع. ومن خلال تحويل تقييم قابلية التكرار إلى مهمة استدلال على مستوى الوثيقة، يوفر الإطار مسارًا لـ:

• تسريع مسارات التحرير وفحص الأدبيات واسع النطاق.
• توفير فحوصات جودة متسقة وشفافة وقابلة للتكرار عبر مختلف المجالات العلمية.
• معالجة "أزمة قابلية التكرار" من خلال تحديد فجوات الإبلاغ قبل البدء في محاولات التكرار الكاملة.

يؤكد المؤلفون أن قيمة النظام تكمكمن في قدرته على العمل دون قطع أثرية خارجية، مما يجعله قابلًا للتطبيق على الغالبية العظمى من الأدبيات المنشورة حيث لا تتوفر الأكواد والبيانات فورًا. إن قوة النتائج عبر نماذج مختلفة والاتساق مع الأحكام البشرية في اختبار صارم يشيران إلى أن إعادة بناء سير العمل المهيكل يمكن أن يلتقط إشارات ذات مغزى لقابلية التكرار تتجاوز مجرد تحليل الوثائق البسيط.