Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review

بناءً على النص المقدم، إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم تأثير تصميم إرشادات المراجع على المراجعة النظيرة المؤتمتة القائمة على النماذج اللغوية الكبيرة (LLM)":

المشكلة
تعالج الورقة التحدي الحرج المتمثل في توسيع نطاق المراجعة النظيرة في مؤتمرات تعلم الآلة، حيث أدى الانفجار في عدد الأوراق المقدمة إلى زيادة العبء على المراجعين، وعدم اتساق الأحكام، والتقييمات السطحية. وبينما توفر النماذج اللغوية الكبيرة (LLMs) حلاً محتملاً لأتمتة المراجعة النظيرة، فإن التأثير المحدد لـ تصميم إرشادات المراجع على جودة ومواءمة المراجعات المؤتمتة لا يزال غير مدروس بشكل كافٍ. يسعى المؤلفون إلى تحديد أي أنواع الإرشادات — سواء كانت سياسات المؤتمرات الرسمية أم تلك التي يتم إنشاؤها من خلال محاكاة المراجعين البشر — هي الأفضل لتوجيه النماذج اللغوية الكبيرة لإنتاج درجات وتبريرات تتوافق مع الأحكام البشرية.

المنهجية
تستخدم الدراسة إطار عمل تجريبي منهجي باستخدام ثلاثة نماذج لغوية كبيرة مفتوحة الأوزان (Qwen3-30B-A3B، وDeepSeek-R1-32B، وQwen3-32B) على مجموعة بيانات تضم 1,500 ورقة بحثية ومراجعة من مؤتمر ICLR 2024. مقياس التقييم هو جذر متوسط مربع الخطأ (RMSE) بين الدرجات التي تولدها النماذج اللغوية الكبيرة ومتوسط درجات المراجعة البشرية.

يقارن المؤلفون بين عدة حالات للإرشادات:

1. بدون إرشادات (No-Guideline): خط أساس (baseline) بنظام "الصفر محاولة" (zero-shot)، حيث يقوم النموذج بتقييم الورقة دون تعليمات محددة.
2. إرشادات المؤتمرات الرسمية (Official Conference Guidelines): الاستخدام المباشر للإرشادات من مؤتمرات NeurIPS وICLR وACL Rolling Review (ARR). وقد تم اختبار هذه الإرشادات في شكل نصها الأصلي، وكذلك كـ "نماذج تعليمات" (instruction-style prompts) (أعيدت كتابتها بواسطة ChatGPT إلى نقاط آمرة).
3. الإرشادات المحاكية للمراجعين (Reviewer-Imitating Guidelines): إرشادات تم إنشاؤها بواسطة نموذج لغوي كبير (Gemini 2.5 Pro) بناءً على مراجعات بشرية عالية الجودة ("جيدة")، ومتوسطة الجودة ("متوسطة")، ومنخفضة الجودة ("سيئة"). تم تصفية هذه المراجعات باستخدام مؤشرات برمجية (الطول، تاريخ التقديم، جودة الاستشهاد، واتساق الدرجات).
4. نموذج المعايير مقابل غير النموذج (Rubric vs. Non-Rubric): بالنسبة للإرشادات المحاكية للمراجعين، اختبر المؤلفون وضعين للتقييم:
   • غير قائم على معايير (Non-rubric): تقييم حر الشكل بناءً على قائمة التحقق المولدة.
   • قائم على معايير (Rubric): نظام تسجيل تراكمي صارم حيث يخصص النموذج نقاط (+1 أو -1) لعناصر محددة في قائمة التحقق، والتي يتم تطبيعها (normalization) لاحقاً إلى مقياس من 1 إلى 10.

المساهمات الرئيسية

1. تفوق الإرشادات الرسمية: تثبت الدراسة أن تقديم الإرشادات يحسن بشكل كبير من أداء المراجعة المؤتمتة مقارنة بخط الأساس (بدون إرشادات). والأهم من ذلك، أن إرشادات المؤتمرات الرسمية (خاصة من NeurIPS وICLR) تحقق باستمرار أدنى مستويات RMSE، متفوقة بذلك على الإرشادات التي يتم إنشاؤها عن طريق محاكاة المراجعين البشر. يشير هذا إلى أن معايير التقييم التي صقلها المجتمع البحثي بمرور الوقت تعمل كأساس أكثر فعالية للأتمتة من الأنماط المستخلصة من المراجعات الفردية.
2. عدم فعالية الإرشادات المحاكية للمراجعين: أدت الإرشادات التي تم إنشاؤها بمحاكاة المراجعين البشر عموماً إلى أداء أسوأ من الإرشادات الرسمية. وفي بعض الحالات (على سبيل المثال، مع نموذج Qwen3-30B-A3B)، أدى استخدام هذه الإرشادات المولدة في الواقع إلى تدهور الأداء مقارنة بخط الأساس (بدون إرشادات).
3. ضرر المعايير الصارمة: وجدت الدراسة أن فرض نظام تسجيل صارم وتراكمي (حساب الدرجات عن طريق جمع تخصيص النقاط لعناصر قائمة التحقق) يؤدي باستمرار إلى تدهور الأداء. تعمل النماذج بشكل أفضل عندما يُسمح لها بتحديد الدرجات بشكل ذاتي وكلي بناءً على الإرشادات، بدلاً من اتباع منطق تسجيل ميكانيكي جامد.
4. تأثير طريقة العرض: شكل عرض الإرشادات أمر مهم. إن تحويل نص السياسة الرسمية إلى "نماذج تعليمات" (instruction-style prompts) غيّر سلوك النموذج، مما أدى أحياناً إلى قلب الترتيب النسبي لأي من إرشادات المؤتمرات كانت الأكثر فعالية.

النتائج

• تقليل RMSE: عبر جميع النماذج، أدى تقديم الإرشادات إلى تقليل RMSE. على سبيل المثال، أظهر نموذج DeepSeek-R1-32B انخفاضاً كبيراً في الخطأ عبر جميع المنابر عند استخدام الإرشادات الرسمية مقارنة بخط الأساس (بدون إرشادات).
• أداء المنابر (Venues): باستخدام الإرشادات الرسمية، أنتجت إرشادات NeurIPS عموماً أفضل توافق (أدنى RMSE)، تليها ICLR وARR. ومع ذلك، تغير هذا الترتيب عند تحويل الإرشادات إلى نماذج تعليمات (instruction-style)، مما يشير إلى أن أسلوب العرض يتفاعل مع بنية النموذج.
• فشل المعايير (Rubric Failure): في تجارب محاكاة المراجعين، تفوق إعداد "غير قائم على المعايير" (Non-Rubric) باستمرار على إعداد "المعايير" (Rubric). على سبيل المثال، مع نموذج Qwen3-30B-A3B، كان RMSE لمجموعة "الجيد" هو 3.22 (غير قائم على المعايير) مقابل 4.42 (قائم على المعايير)، مما يشير إلى أن أنظمة تخصيص النقاط الجامدة تزيد بشكل كبير من الانحراف عن الأحكام البشرية.

الأهمية
تدعي الورقة أن تصميم المطالبات (prompts) للمراجعة النظيرة المؤتمتة ليس مجرد تفصيل إداري، بل هو محدد حاسم لجودة المراجعة. تشير النتائج إلى أن:

• يجب أن تعطي الأنظمة المؤتمتة الأولوية لـ الإرشادات الرسمية المصقولة مجتمعياً على الإرشادات الاصطناعية المستمدة من أنماط المراجعة البشرية.
• الطبيعة الشمولية والذاتية للتقييم البشري يصعب تكرارها باستخدام معايير جامدة؛ إذ إن السماح للنماذج اللغوية الكبيرة بتفسير الإرشادات بمرونة يؤدي إلى توافق أفضل مع الحكم البشري.
• توفر هذه الدراسة إطار عمل مفتوح الأوزان وقابلاً لإعادة الإنتاج لتقييم المراجعة المؤتمتة، مع التأكيد على الحاجة إلى الشفافية والخصوصية (تجنب رفع المخطوطات غير المنشورة إلى واجهات برمجة تطبيقات تجارية غير آمنة).

يخلص المؤلفون إلى أنه بينما يمكن للنماذج اللغوية الكبيرة مساعدة المراجعة النظيرة، فإن فعاليتها تعتمد بشدة على جودة وصيغة التوجيه المقدم، حيث توفر سياسات المؤتمرات الراسخة المسار الأكثر موثوقية.