📊 statistics

Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

يتناول هذا الرد الملاحظات الواردة حول تجربة التصنيف في مؤتمر ICML 2023 من خلال هيكلة استجابته حول أربعة محاور رئيسية هي: تأطير مراجعة الأقران كعملية تقدير إحصائي، وتخفيف مشكلات العدالة والتحيز الاستراتيجي في آلية الترتيب الرتيب (Isotonic Mechanism)، ودمج الإشارات التكميلية مثل تصنيفات المراجعين، واقتراح إطار عمل متمحور حول الإنسان لعصر الذكاء الاصطناٍعي التوليدي.

المؤلفون الأصليون: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالم أبحاث علوم الحاسوب رفيعة المستوى (وتحديداً الذكاء الاصطناعي) كمهرجان موسيقي ضخم وفوضوي. في كل عام، تريد آلاف الفرق (الباحثين) العزف على المسرح الرئيسي (نشر أوراقهم البحثية)، ولكن لا يوجد سوى بضع مئات من الحكام (المراجعين) للاستماع إليهم، والمهرجان ينمو بسرعة تجعل الحكام يغرقون في الطلبات.

يجادل مؤلفو هذه الورقة البحثية، وهم فريق من الإحصائيين وعلماء الحاسوب، بأننا بحاجة للتوقف عن معاملة هذا المهرجان كمسابقة شعبية بسيطة والبدء في معاملته كـ لغز إحصائي. إليك تفصيل لأفكارهم باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: تذاكر كثيرة جدًا، وحكام غير كافين

المهرجان ينفجر نموًا. في عام 2026، تلقوا أكثر من 26,000 أغنية لتقييمها. الحكام متعبون، ولا يمكنهم الاستماع إلى كل أغنية بشكل مثالي. أحيانًا يكون لدى الحكام يوم سيء، وأحيانًا لا "يفهمون" نوعًا موسيقيًا معينًا، وأحيانًا تكون الموسيقى جيدة جدًا أو سيئة جدًا لدرجة تمنعهم من الحكم عليها بنزاهة.

يقول المؤلفون: "لا يمكننا ببساطة ترك الجمهور يقرر (مثل عد 'الإعجابات' على وسائل التواصل الاجتماعي) لأن الجمهور ليس خبيرًا بما يكفي. نحن بحاجة إلى طريقة أفضل لمعرفة أي الأغاني هي الأفضل حقًا".

2. الحل: "قائمة تشغيل المؤلف" (آلية الأيزوتونيك - Isotonic Mechanism)

يقترح المؤلفون حيلة ذكية تسمى الآلية الأيزوتونيكية (Isotonic Mechanism).

التشبيه: تخيل أنك حكم في مسابقة طبخ. عليك تقييم 100 طبق. قد تكون قاسيًا بعض الشيء على الطعام الحار أو لينًا جدًا مع الحلويات. درجاتك "مشوشة" (غير دقيقة تمامًا).
الآن، تخيل أن الطاهي (المؤلف) الذي صنع الطبق يقف هناك تمامًا. هو يعرف طعامه أفضل من أي شخص آخر. هو يعرف بالضبط كيف تقارن أطباقه العشرة ببعضها البعض.

الطريقة القديمة: يكتفي الطاهي بالقول: "طبقي هو 9 من 10". (هذا من السهل الكذب بشأنه؛ فالجميع يريد الحصول على 10).
الطريقة الجديدة: يُطلب من الطاهي ترتيب أطباقه العشرة من الأفضل إلى الأسوأ. "الطبق (أ) أفضل من الطبق (ب)، والذي هو أفضل من الطبق (ج)".

لماذا ينجح هذا: من الصائع جدًا الكذب بشأن ترتيب عملك دون أن يتم كشفك. إذا قلت إن "الطبق ج" هو الأفضل، بينما "الطبق أ" في الواقع سيء جدًا، يمكن للرياضيات اكتشاف الكذبة. من خلال طلب ترتيب المؤلفين لأعمالهم الخاصة، يمكن للنظام "تنظيف" الدرجات الفوضوية من الحكام. الأمر يشبه استخدام معرفة الطاهي الخاصة لإصلاح ضعف سمع الحكام.

3. معالجة القلق بشأن "عدم الإنصاف"

قلق البعض قائلين: "ماذا لو حصل طاهٍ مشهور لديه 50 طبقًا على ميزة كبيرة على طاهٍ جديد لديه طبقان فقط؟ نظام الترتيب يعمل بشكل أفضل للشخص الذي لديه عناصر أكثر لترتيبها".

إصلاح المؤلفين: أدركوا أنه إذا تركت شخصًا واحدًا يرتب كل شيء، فسيكون ذلك غير عادل. لذا، اقترحوا استراتيجية "التجميع".

التشبيه: بدلًا من طلب ترتيب جميع الأطباق الخمسين في خط واحد ضخم من قبل الطاهي المشهور، اطلب منه تقسيمها إلى "قوائم تذوق" صغيرة (على سبيل المثال: "قائمة الحساء"، "قائمة الحلويات"). رتب أنواع الحساء مقابل بعضها البعض، والحلويات مقابل بعضها البعض.
النتيجة: هذا يساهم في تكافؤ الفرص. تُظهر الرياضيات أنه حتى مع هذا التجميع، لا يزال النظام يجعل الدرجات أكثر دقة، لكنه يمنع الطهاة المشهورين من الهيمنة على النتائج لمجرد أن لديهم مدخلات أكثر.

4. مشكلة "الاستراتيجية": هل يمكن للطهاة الغش؟

يعترف المؤلفون بأنه إذا كان الترتيب هو ما يحدد فعليًا من سيعزف على المسرح الرئيسي، فقد يحاول الطهاة التلاعب بالنظام.

الخطر: قد يقوم الطاهي بترتيب طبق سيئ للغاية على أنه "رائع" فقط ليتم قبوله، أو يضع طبقه الأفضل في مرتبة أدنى "ليوفره" للعام القادم.
الواقع: يقول المؤلفون: "لا يمكننا منع كل أشكال الغش، ولكن يمكننا تصميم القواعد لجعل الغش أصعب". ويقترحون البدء بخطوات صغيرة (استخدام الترتيب فقط لتحديد الأوراق التي تحتاج إلى نظرة ثانية، بدلاً من القبول أو الرفض الفوري) حتى نتمكن من تعلم كيفية تصرف الناس قبل جعلها لعبة عالية المخاطر.

5. المستقبل: البشر + الذكاء الاصطناعي، وليس الذكاء الاصطناعي ضد البشر

تنتهي الورقة برؤية شاملة. الذكاء الاصطناعي يغير كيفية كتابة الأبحاث ومراجعتها. يمكن للذكاء الاصطناعي كتابة الكود، والتحقق من الرياضيات، وحتى صياغة المراجعات.

موقف المؤلفين:

لا تستبدلوا البشر: الذكاء الاصطناعي هو أداة، مثل الآلة الحاسبة فائقة القوة. يمكنه تنظيم البيانات وإيجاد الأنماط، لكن لا ينبغي أن يكون هو الحكم النهائي.
"الإنسان في الحلقة" (Human-in-the-Loop): فكر في الذكاء الاصطناعي كعامل خلف الكواليس يقوم بتجهيز الإضاءة وتنظيم الآلات الموسيقية. الحكم البشري هو من يقرر ما إذا كانت الموسيقى جيدة حقًا.
لماذا؟ لأن العلم لا يتعلق فقط بالبيانات؛ بل يتعلق بالإبداع، والأخلاق، و"الذوق". قد يفتقد الذكاء الاصطناعي إلى الروح الدقيقة للورقة البحثية أو قد "يهلوس" (يختلق أشياءً من العدم). يجب أن يظل البشر هم المسؤولين عن القرار النهائي.

الملخص

تجادل الورقة بأنه لإصلاح نظام تحكيم أبحاث الذكاء الاصطناعي المثقل بالأعباء، يجب أن نعامل الأمر كمشكلة رياضية. من خلال طلب ترتيب المؤلفين لأعمالهم بصدق، يمكننا "إزالة الضجيج" من درجات الحكام وإيجاد أفضل الأوراق البحثية بدقة أكبر. ومع ذلك، يجب أن نكون حذرين من ترك النظام عرضة للتلاعب، ويجب أن نضمن أنه بينما يساعدنا الذكاء الاصطناعي في تنظيم الفوضى، يظل البشر هم من يمسكون بالمطرقة.

ملخص تقني: تجربة ترتيب ICML 2023

صياغة المشكلة
تؤطر الورقة عملية مراجعة الأقران في مؤتمرات تعلم الآلة (ML) والذكاء الاصطناعي (AI) كمسألة تقدير إحصائي. ومع نمو حجم التقديمات بشكل أسي (على سبيل المثال، استلام 26,600 تقديم صالح لـ ICML 2026) وفشل عرض المراجعين المؤهلين في مواكبة هذا النمو، يواجه المجتمع تحديًا في تقدير الجودة الكامنة ( $\theta_i$ ) لعشرات الآلاف من التقديمات بناءً على إشارات مشوبة بالضجيج. وتُعتبر درجات المراجعة التقليدية (مثل مقاييس 1-8) مقدرات مشوبة بالضجيج لهذه الجودة الكامنة، حيث تتأثر بانحياز المراجعين، والتباين، والسلوك الاستراتيجي. ويجادل المؤلفون بأنه بينما لا يمكن لـ "السوق" (مثل نجوم GitHub) أن يحل محل مراجعة الأقران الرسمية بسبب الحاجة إلى تصفية موثوقة للصحة والابتكار، فإن عملية التقدير نفسها يجب تحسينها للتعامل مع نطاق وسرعة أبحاث الذكاء الاصطناعي الحديثة.

المنهجية: آلية الـ Isotonic
المساهمة الجوهرية هي تطبيق آلية الـ Isotonic، وهي طريقة طُوِّرت لاستخلاص معلومات خاصة صادقة من المؤلفين لتقليل الضجيج في درجات المراجعة.

المفهوم: تعامل الآلية المؤلفين كأصحاب مصلحة استراتيجيين يمتلكون معرفة خاصة حول الجودة النسبية لتقديماتهم الخاصة. ومن خلال مطالبة المؤلفين بترتيب تقديماتهم الخاصة، يمكن للنظام الاستفادة من هذه المعلومات المقارنة الداخلية.
هيكل الحوافز: تم تصميم الآلية بحيث يكون المؤلفون، تحت قيود محددة، مدفوعين للإبلاغ عن ترتيباتهم الحقيقية. وهذا ينقل التركيز من مراقبة المراجعين فقط إلى دمج إشارات من جانب المؤلف.
التكامل: تُستخدم الدرجات المعايرة المستمدة من هذه الترتيبات لتعديل درجات المراجعة الخام. وفي تجربة ICML 2023، استُخدمت هذه الدرجات المعدلة بشكل أساسي لتوجيه انتباه رؤساء المناطق (ACs) بدلاً من اتخاذ قرارات تلقائية بالقبول أو الرفض، مما شكل نشرًا منخفض المخاطر لاختبار الفعالية.
التوسعات: تناقش الورقة توسعات محتملة، تشمل:
- التقسيم القائم على الموضوع: لمعالجة المخاوف بشأن عدم التجانس في التحسن (حيث قد يستفيد المؤلفون غزيرو الإنتاج بشكل غير متناسب)، يقترح المؤلفون تقسيم تقديمات المؤلف إلى كتل أصغر قائمة على الموضوع. وهذا يسمح بتطبيق الآلية بشكل مستقل داخل الكتل، مما يخفف من تأثير طول الترتيب.
- الإشارات التكميلية: تم تصميم الإطار ليتكامل مع إشارات أخرى، مثل ترتيبات المراجعين، والمقارنات الزوجية، والبيانات الوصفية المهيكلة (مثل النظري مقابل التجريبي)، والتنبؤات الذاتية.

النتائج الرئيسية والمكتشفات
بناءً على تجربة ICML 2023 والتحليل اللاحق:

دقة التقدير: تعمل آلية الـ Isotonic على تحسين دقة تقدير الجودة بشكل كبير. وتفيد الورقة بحدوث انخفاض في متوسط مربع الخطأ (MSE) ومتوسط الخطأ المطلق (MAE) مقارنة بدرجات المراجعة الخام.
تخفيف عدم التجانس: بينما أشارت المخاوف الأولية إلى أن المؤلفين الذين لديهم تقديمات كثيرة قد يستفيدون بشكل غير متناسب من المعايرة، يظهر التحليل أن تأثير المتوسط عبر المؤلفين المشاركين يخفف من هذا التأثير. علاوة على ذلك، فإن متغير "التقسيم القائم على الموضوع" المقترح يزيد من تساوي التحسن النسبي عبر المؤلفين ذوي أعداد التقديمات المختلفة. على سبيل المثال، تحت متغير التقسيم، ينخفض ميل الانحدار لنسبة التحسن على عدد التقديمات بشكل ملحوظ (على سبيل المثال، انخفض ميل MSE من 1.97 إلى 1.24)، مما يشير إلى توزيع أكثر إنصافًا للمكاسب.
القوة التنبؤية: تشير دراسة لاحقة (Su et al., 2025a) إلى أن ترتيبات المؤلفين الخاصة تعد تنبؤات قوية لأعداد الاقتباسات المستقبلية.
السلوك الاستراتيجي: تقر الورقة بأنه في حالات النشر عالية المخاطر (حيث تؤثر الدرجات مباشرة على القبول)، قد يظهر سلوك استراتيجي (مثل ترتيب الأوراق لتعظيم عدد القبولات بدلاً من الحقيقة). ومع ذلك، يجادل المؤلفون بأن النشر منخفض المخاطر، أو العشوائي، أو المتدرج ضروري لدراسة وتخفيف هذه السلوكيات قبل التنفيذ الكامل.

الأهمية والادعاءات
تضع الورقة نفسها ليس كحل نهائي لمراجعة الأقران، بل كخطوة نحو إصلاح متمحور حول الإنسان لنظام النشر العلمي في عصر الذكاء الاصطناعي.

المنظور الإحصائي: تؤكد الورقة أن النظر إلى مراجعة الأقران كمسألة تقدير يسمح لعلماء الإحصاء بالمساهمة بصرامة في هذا المجال من خلال تصميم الآليات وتقليل الضجيج.
الإنسان في الحلقة (Human-in-the-Loop): يؤكد المؤلفون أن آلية الـ Isotonic لا تحل محل الحكم البشري أو المراجعين، بل تدمج إشارة بشرية إضافية (ترتيبات المؤلفين) مع درجات المراجعة الحالية لتحسين موثوقية عملية التقدير.
سياق الذكاء الاصطناعي: تجادل الورقة بأنه مع زيادة استخدام أدوات الذكاء الاصطناعي في الكتابة والمراجعة، قد تصبح مؤشرات الجودة التقليدية (مثل اللغة المصقولة) أقل موثوقية. وفي هذا السياق، يصبح استخلاص المعرفة البشرية السياقية من خلال آليات متوافقة مع الحوافز أكثر قيمة.
الأجندة المستقبلية: يدعو المؤلفون إلى أجندة بحثية أوسع تشمل تصميم آليات تأخذ في الاعتبار هياكل الحوافز المعقدة، ودمج الإشارات المتنوعة (ترتيبات المراجعين والمؤلفين)، وتطوير أنظمة نشر هجينة توازن بين النشر السريع والتدقيق ما بعد النشر. ويسلطون الضل على أن تقاطع تصميم الآليات والنمذجة الإحصائية يمثل حدودًا غنية لمجتمع الإحصاء.

تختتم الورقة بالإشارة إلى أنه بينما كانت تجربة ICML 2023 اختبارًا تطوعيًا ومنخفض المخاطر، فإن هناك تجربة عشوائية ذات نتائج حاسمة جارية في ICML 2026 لمزيد من التحقق من هذه النتائج.