Traditional statistical representations outperform generative AI in identifying expert peer reviewers

ملخص تقني: التمثيلات الإحصائية التقليدية تتفوق على الذكاء الاصطوِعي التوليدي في تحديد الخبراء للمراجعة العلمية

بيان المشكلة
أدى النمو المتسارع للمشاركات العلمية إلى الضغط على نظام المراجعة العلمية العالمي، مما جعل تحديد الخبراء يدويًا أمرًا غير ممكن. وبينما اعتمدت المؤسسات بشكل متزايد على النماذج اللغوية الكبيرة (LLMs) والأنظمة الآلية لمطابقة المراجعين مع المقترحات، فإن موثوقية هذه النماذج التوليدية في تحديد خبراء المجال بدقة تفتقر إلى التقييم الصارم واسع النطاق. تعتمد المنهجيات الحالية غالبًا على تسميات وسيطة (proxy labels) تُدخل التحيز (مثل التقييم الذاتي أو التوسيم البشري الخارجي) وتفتقر إلى حقيقة أرضية (ground truth) معيارية للخبرة العلمية. علاوة على ذلك، يعاني المجال من مشهد مجزأ من الخوارزميات دون إجماع حول طرق التمثيل الأفضل لاسترجاع الخبراء في البيئات التشغيلية.

المنهجية
يؤطر المؤلفون تحديد الخبراء كمسألة استرجاع معلومات (Information Retrieval)، باستخدام نظام المراجعة العلمية الموزعة (DPR) التابع للمرصد الأوروبي للجنوب (ESO) خلال الفترة 110 (P110) كبيئة اختبار. توفر هذه الإطار بيئة فريدة "مغلقة الحلقة" حيث يعمل مؤلفو المقترحات في آن واحد كمجمع للمراجعين، مما يسمح بتقييم صارم.

• البيانات: تحلل الدراسة 435 مقترحًا و379 مراجعًا فريدًا تم تعيينهم للمقترحات. مدخلات البيانات الأساسية هي ملخصات المقترحات وملفات خبرة المراجعين المستمدة من ملخصات المنشورات (المسترجعة عبر NASA/ADS) والكلمات المفتاحية المبلغ عنها ذاتيًا.
• الحقيقة الأرضية (Ground Truth): تستخدم الدراسة استراتيجية تحقق مزدوجة:
  1. التسميات الذهبية الوسيطة (Proxy Gold Labels): اعتبار "المراجع المعين للمقترح" (المؤلف المرشح لمراجعة مجموعة أقرانه الخاصة بمقترحه) هو الخبير المحدد لذلك المقترح بعينه.
  2. التسميات المبلغ عنها ذاتيًا: مقارنة درجات الاسترجاع مع مستويات الخبرة التي صنفها المراجعون لأنفسهم (خبير، متوسط، غير خبير).
• الأسالب التي تم تقييمها: تم اختبار ست منهجيات متميزة:
  1. الكلمات المفتاحية (Keywords): نظام مطابقة الكلمات المفتاحية الأساسي لـ ESO.
  2. LDA (تخصيص ديريكليه الكامن): نمذجة المواضيع.
  3. TF-IDF (تردد المصطلح - عكس تردد المصطلح): التمثيل المعجمي الإحصائي.
  4. SPECTER2: نموذج محول (Transformer) تم ضبطه بدقة بناءً على الاقتباسات العلمية.
  5. SentenceTransformer: نموذج تضمين دلالي عام الأغراض.
  6. GPT-4o mini: نموذج لغوي توليدي كبير استُخدم لتسجيل التوافق الدلالي.
• مقايسات التقييم: تستخدم الدراسة مقايسات استرجاع المعلومات القائمة على الترتيب بما في ذلك: الوسيط (Median Rank)، ومتوسط الرتبة العكسية (MRR)، وHit@25 (نسبة المقترحات التي يكون فيها الخبير المعين ضمن أفضل 25 توصية)، وZ-scores. بالإضافة إلى ذلك، يُستخدم معامل الفائدة التراكمي المخفض المعياري (NDCG) لتقييم التوافق مع تسلسل الخبرة المبلغ عنه ذاتيًا. يتم تحديد الأهمية الإحصائية عبر إعادة أخذ العينات (bootstrap resampling) واختبار ويلكوكسون للرتب الموقعة.

النتائج الرئيسية
يُظهر التقييم التجريبي أن التمثيلات الإحصائية التقليدية تتفوق بشكل كبير على الذكاء الاصطوِعي التوليدي والأنظمة العصبية الدلالية في هذا المجال المتخصص:

• أداء الاسترجاع: حقق TF-IDF أعلى أداء، حيث نجح في تحديد الخبير المعين ضمن أفضل 25 توصية بنسبة 79.5% (Hit@25) مع وسيط رتبة قدره 4.0. في المقابل، حقق GPT-4o mini نسبة Hit@25 بلغت 51.5% فقط مع وسيط رتبة قدره 24.0، وهو ما يماثل أداء LDA (الذي حقق 50.3% في Hit@25) ويعد أسوأ بكثير من TF-IDF.
• التوافق مع الحكم البشري: عند تقييم التوافق مع تسميات الخبرة المبلغ عنها ذاتيًا، تصدر TF-IDF مرة أخرى بمعامل NDCG بلغ 0.832، يليه عن قرب SentenceTransformer بنسبة 0.827. وقد تفوق كلاهما بشكل ملحوظ على نظام الكلمات المفتاحية الأساسي (0.789). ومن الجدير بالذكر أن GPT-4o mini (0.811) وSPECTER2 (0.815) تفوقا أيضًا على نظام الكلمات المفتاحية، لكنهما لم يتجاوزا TF-IDF.
• المتانة: أظهر كل من TF-IDF وSentenceTransformer متانة في السيناريوهات محدودة البيانات (مثل تاريخ النشر المحدود)، بينما تدهور أداء LDA وSPECTER2 بشكل كبير مع قلة عدد المنشورات.
• التنعيم الدلالي (Semantic Smoothing): يلاحظ المؤلفون أنه بينما تلتقط التضمينات العصبية العلاقات الدلالية الواسعة، فإنها تطبق "تأثير تنعيم" يحجب المفردات الدقيقة والمتخصصة في المجال (مثل "Type Ia" أو "Brown Dwarf") المطلوبة لتمييز المجالات الفرعية شديدة التخصص. وقد فشلت النماذج التوليدية، على وجه الخصوص، في الاستفادة من هذه الإشارات المعجمية الدقيقة بفعالية.

الأهمية والادعاءات
يدعي البحث أنه بالنسبة للمهام العلمية المتخصصة، تظل التمثيلات الإحصائية الشفافة والقابلة لإعادة الإنتاج متفوقة على النماذج اللغوية الكبيرة المكلفة حاسوبيًا والاحتمالية. ويجادل المؤلفون بأن نجاح TF-IDF يسلط الض الضوء على أن مطابقة المصطلحات التقنية الدقيقة في المجالات المتخصصة هي الأكثر تمييزًا من التجميع الدلالي الواسع الذي تقدمه البنى العصبية الحديثة.

تؤسس هذه الدراسة إطار تقييم صارم للمراجعة العلمية المؤتمتة، وتثبت أن:

1. الدقة فوق الدلالة: في المراجعة العلمية، يعد التطابق الدقيق للمصطلحات التقنية الخاصة بالمجال أمرًا بالغ الأهمية، وهي نقطة قوة للأساليب الإحصائية مثل TF-IDF التي غالبًا ما يتم تمييعها بواسطة التنعيم الدلالي للنماذج التوليدية.
2. قابلية إعادة الإنتاج: توفر الأساليب الإحصائية الحتمية قابلية إعادة الإنتاج المطلوبة لقرارات المراجعة العلمية الرسمية، بينما تُدخل النماذج اللغوية الكبيرة عدم الحتمية وتكاليف حاسوبية عالية تقوض هذه المتطلبات.
3. الواقع التشغيلي: تتحدى النتائج الأدبيات الحديثة التي تشير إلى أن نماذج التعلم العميق تتطلب مخطوطات كاملة النص لتنافس TF-IDF؛ حيث تظهر هذه الدراسة أن TF-IDF يتفوق على النماذج الدلالية حتى عند الاقتصار على ملخصات المنشورات، بشرما كان التقييم يحاكي الواقع التشغيلي لاسترجاع الخبراء عالميًا.

يخلص المؤلفون إلى أنه مع قيام وكالات التمويل والمراصد بأتمتة المراجعة العلمية، يجب أن تظل الأساليب المعجمية الشفافة والفعالة حاسوبيًا هي المعيار القوي لاسترجاع الخبرة العلمية.