Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تأثير النماذج اللغوية الكبيرة على آراء مراجعة الأقران من منظور دقيق: أدلة من سجلات المؤتمرات الرائدة في مجال الذكاء الاصطناعي."

١. بيان المشكلة

يواجه نظام مراجعة الأقران الأكاديمي ضغوطاً متزايدة بسبب ارتفاع حجم التقديمات ونقص المراجعين المؤهلين، مما يؤدي إلى مشكلات مثل التحيز، وعدم اتساق الجودة، وإرهاق المراجعين. وقد أدى الظهور السريع للنماذج اللغوية الكبيرة (LLMs) إلى إدخال متغير جديد: احتمال استخدام هذه النماذج للمساعدة في كتابة أو توليد تقارير مراجعة الأقران.

وعلى الرغم من أن الدراسات السابقة قد أثبتت أن النماذج اللغوية تُستخدم في مراجعة الأقران، إلا أنه لا تزال هناك فجوات حرجة:

• ليس واضحاً ما إذا كانت النماذج اللغوية تغير الوظائف التقييمية الأساسية لمراجعة الأقران (مثل تقييم الأصالة مقابل الوضوح السطحي).
• هناك نقص في الفحص المنهجي فيما يتعلق بكيفية تأثير النماذج اللغوية على الشكل اللغوي، والتركيز التقييمي، وإشارات التوصية لتقارير المراجعة على مستوى دقيق (على مستويات الكلمة والجملة والجانب).
• تفتقر المؤتمرات الكبرى (مثل NeurIPS) إلى سياسات صريحة بشأن استخدام النماذج اللغوية، مما يخلق بيئة غامضة يصعب فيها قياس مدى تأثير المساعدة المقدمة من تلك النماذج.

٢. المنهجية

أجرى المؤلفون تحليلاً واسع النطاق ودقيقاً لتقارير مراجعة الأقران من اثنين من أفضل مؤتمرات الذكاء الاصطناعي: ICLR (من عام ٢٠١٧ إلى ٢٠٢٥) و NeurIPS (من عام ٢٠١٦ إلى ٢٠٢٤، باستثناء عام ٢٠٢٠). استخدمت الدراسة إطار عمل تحليلي متعدد المراحل:

أ. جمع البيانات والمعالجة الأولية

• المصدر: مجموعة بيانات OpenReview التي تحتوي على حوالي ١٨٨,٠٠٠ مراجعة وحوالي ٤٩,٠٠٠ ورقة بحثية.
• التجزئة: تم تجزئة النصوص إلى كلمات وجمل باستخدام مكتبة NLTK.
• الكشف عن النماذج اللغوية الكبيرة: للتمييز بين التقارير المكتوبة بشرياً وتلك المدعومة بالنماذج اللغوية، استخدم المؤلفون:
  ١. تقدير الاحتمالية القصوى (MLE): نموذج (مقتبس من Liang et al.) مدرب على نصوص مرجعية كتبها خبراء مقابل نصوص مولدة بواسطة نماذج لغوية كبيرة لتقدير الاحتمالية ($\alpha$) بأن يحتوي المتن على محتوى معدل بواسطة النموذج.
  ٢. تصفية المعجم: استُخدم قاموس معرف مسبق للمصطلحات المستخدمة بشكل متكرر من قبل النماذج اللغوية (مثل "meticulously"، "seamlessly"، "robustly") كمرشح أولي؛ حيث خضعت المراجعات التي تحتوي على هذه المصطلحات لنموذج الـ MLE.

ب. أبعاد التحليل الدقيق

حللت الدراسة ثلاثة مستويات مختلفة من التفصيل:
١. مستوى الكلمة (التعقيد المعجمي): تم القياس باستخدام TAALES (مثل نطاق أكاديمية COCA، وتردد الثنائيات والثلاثيات) لتقييم تنوع المفردات ورقيها.
٢. مستوى الجملة (التعقيد التركيبي): تم القياس باستخدام TAASSC (مثل الجمل الظرفية لكل جملة، والمبتدئات الاسمية لكل جملة، والأفعال المساعدة) لتقييم البنية القواعدية والتسلسل المنطقي.
٣. مستوى الجانب (التركيز المحتوي): باستخدام نموذج تصنيف تسلسلي مُدرب مسبقاً يعتمد على BERT (محسن من Yuan et al.)، جرى ترميز المراجعات وفق ثمانية جوانب تقييمية محددة هي: الملخص، الدافع، الأصالة، السلامة العلمية، الجوهر، قابلية التكرار، المقارنة ذات المغزى، والوضوح. كما تم ترميز قطبية الشعور (إيجابي/سلبي) لكل جانب.

ج. التحليل المقارن

• المقارنة الزمنية: ما قبل ظهور النماذج اللغوية (قبل ٢٠٢٣) مقابل ما بعد الظهور (٢٠٢٣–٢٠٢٥).
• مقارنة المجموعات: المراجعات المدعومة بالنماذج اللغوية مقابل المراجعات غير المدعومة بها.
• تصنيف الثقة: تم تحليل النتائج بناءً على درجات الثقة المبلغ عنها ذاتياً من قِبل المراجعين (١–٥) لتحديد ما إذا كانت النماذج اللغوية تؤثر بشكل غير متناسب على المراجعين ذوي الثقة المنخفضة.
• تحليل الارتباط: حُسبت معاملات ارتباط سبيرمان بين ذكر الجوانب وبين كل من الدرجات الإجمالية ودرجات الثقة.

٣. المساهمات الرئيسية

١. التوصيف اللغوي الدقيق: بخلاف الدراسات السابقة التي حللت المراجعات على مستوى المستند الكامل، توفر هذه الورقة تفصيلاً دقيقاً للتغيرات في المستوى المعجمي والتركيبي ومستوى الجوانب عقب ظهور النماذج اللغوية الكبيرة.
٢. الكشف عن أنماط مساعدة النماذج اللغوية: تحدد الدراسة علامات لغوية معينة (مثل زيادة المبتدئات الاسمية، وهياكل الجمل الموحدة) وتحولات في المحتوى مرتبطة بالمساعدة من النماذج اللغوية.
٣. الأثر المرتبط بالثقة: تكشف الدراسة أن النماذج اللغوية لها تأثير أكثر بروزاً على المراجعين ذوي درجات الثقة المنخفضة، حيث تساعدهم على إنتاج تقارير أطول وأكثر سلاسة، ولكنها قد توجه تركيزهم بعيداً عن الاستدلال النقدي العميق.
٤. الدليل التجريبي على جودة التقييم: تتحدى الدراسة الافتراض بأن النماذج اللغوية تغير نتائج الدرجات جذرياً، حيث وجدت أنه بينما تزداد السلاسة اللغوية، يظل الارتباط بين ذكر الجوانب والدرجات النهائية ضعيفاً.

٤. النتائج الرئيسية

أ. التعقيد اللغوي والبناء

• الطول: بعد ظهور النماذج اللغوية، أصبحت نصوص المراجعة أطول وأكثر سلاسة، خاصة في ICLR 2025.
• التعقيد المعجمي: لوحظ انخفاض طفيف في رقي المفردات؛ إذ تميل النماذج اللغوية إلى توليد نصوص واضحة وسهلة القراءة، متجنبة المصطلحات شديدة التعقيد.
• الأنماط التركيبية:
  • المبتدئات الاسمية: زيادة ملحوحة في استخدام العبارات الاسمية كمبتدئات (مثلاً: "The paper" بدلاً من "I")، مما يعزز الموضوعية.
  • الأفعال المساعدة: انخفاض في الأفعال المساعدة، مما يشير إلى هياكل جمل أكثر مباشرة وإيجازاً.
  • النمذجة (Standardization): أصبحت الأنماط التركيبية أكثر تجانساً عبر مختلف مستويات الثقة، مما قلل من الاختلاف الأسلوبي الفردي.

ب. التحول في التركيز التقييمي (مستوى الجانب)

• زيادة التأكيد: أظهرت المراجعات المدعومة بالنماذج اللغوية زيادة ملحوظة في الملخصات والجوهر.
• نقص التأكيد: حدث انخفاض كبير في ذكر الأصالة، وقابلية التكرار، والمقارنة ذات المغزى.
• التفسير: يبدو أن النماذج اللغوية تساعد المراجعين على شرح الوضوح السطحي وتلخيص المحتوى بفاعلية، لكنها تواجه صعوبة في تقديم رؤى نقدية عميقة تتعلق بحداثة العمل أو قابليته لإعادة الإنتاج.

ج. أثر ثقة المراجع

• المراجعون ذوو الثقة المنخفضة (الدرجة ١): ظهرت عليهم أكبر التغييرات بعد ظهور النماذج اللغوية؛ فقد زادت أطوال مراجعاتهم بشكل كبير، واعتمدوا بقوة على الملخصات. تبدو النماذج اللغوية بمثابة "سقالات" لهؤلاء المراجعين، مما يسمح لهم بإنتاج تقارير تبدو أكثر اطلاعاً.
• المراجعون ذوو الثقة العالية: أصبحت تقاريرهم أكثر إيجازاً ودقة، مع اعتماد أقل على النماذج اللغوية في عملية التوليد الهيكلي.

د. الارتباط مع الدرجات والثقة

• الدرجات: كان تردد ذكر الجوانب (حتى في المراجعات المدعومة بالنماذج اللغوية) ذا ارتباط ضعيف وغير مهم إحصائياً مع الدرجات الإجمالية الممنوحة. وهذا يشير إلى أن النماذج اللغوية تُستخدم كـ مساعد للكتابة وليس كأداة للتلاعب باتخاذ القرار.
• الثقة: يوجد ارتباط سلبي ضعيف بين ذكر الوضوح وثقة المراجع. عندما يكون الوضوح منخفضاً، يشعر المراجعون بثقة أقل حتى مع دعم النماذج اللغوية.

٥. الأهمية والآثار المترتبة

• نظرية: تشير الدراسة إلى أن النماذج اللغوية تعيد تشكيل شكل مراجعة الأقران (السلاسة، البنية، الطول) أكثر من إعادة تشكيل جوهرها (الدرجات، التقييم النقدي العميق). وهي تسلط الضوء على مقايضة محتملة: السلاسة اللغوية في ازدياد، بينما العمق التقييمي (للأصالة/القابلية للتكرار) في تناقص.
• عملية:
  • السياسة: يجب على المؤتمرات وضع مبادئ توجيهية تشجع على استخدام النماذج اللستقية لصقل اللغة والتلخيص، ولكن تقيد الاعتماد عليها في الأحكام التقييمية الأساسية.
  • الأدوات: يمكن للمجلات توفير أدوات رسمية مدعومة بالنماذج اللغوية لتوحيد الجودة وتقليل التحيز، بدلاً من ترك الاستخدام لتقدير الأفراد.
  • البحث المستقبلي: يدعو المؤلفون إلى إجراء دراسات تجريبية لتحديد السببية وتحليل أوسع ليشمل مجالات غير متعلقة بالذكاء الاصطناعي (مثل Nature، PLOS ONE) للتحقق مما إذا كانت هذه الاتجاهات مرتبطة بنطاقات محددة.

الخلاصة: تختتم الورقة بأن النماذج اللغوية الكبيرة أصبحت جزءاً لا يتجزأ من سير عمل مراجعة الأقران، لكن وظيفتها الحالية تتمثل في كونها أدوات كفاءة تعزز القدرة على القراءة والهيكلة. ومع ذلك، فإنها تخاطر بجعل خطاب المراجعة نمطياً موحداً وتقليل التركيز على الأبعاد النقدية مثل الأصالة، مما يستوجب رقابة بشرية دقيقة للحفاظ على صرامة التقييم الأكاديمي.