Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

في عالم تعلم الآلة المتسع والمتسارع، وهو مجال مخصص لتعليم الحواسيب كيفية التعلم من البيانات، ظهرت عقبة حرجة لا تكمن في التكنولوجيا نفسها، بل في العملية البشرية المستخدمة للتحقق منها. فقبل أن يمكن مشاركة اكتشاف جديد مع العالم، يجب أن يمر عبر عملية مراجعة النظراء، وهي نظام يقوم فيه الخبراء بقراءة وتقييم أعمال زملائهم لتحديد ما إذا كانت تستحق النشر. لعقود من الزمن، اعتمدت هذه العملية على عقد اجتماعي بسيط: إذا كنت تريد نشر عملك، يجب أن توافق على مراجعة أعمال الآخرين. ومع ذلك، ومع انفجار عدد الأوراق البحثية إلى عشرات الآلاف في اجتماع رئيسي واحد، بدأ هذا الاتفاق المهذب في التآكل. لقد أدى حجم التقديمات الهائل إلى إرهاق الخبراء المتاحين، مما أدى إلى تقييمات متسرعة، ومعايير غير متسقة، وشعور متزايد بالإحباط بين العلماء الذين يشعرون أن النظام لم يعد يعمل كما هو مخطط له. إن السؤال الجوهري الذي يواجه المجتمع لم يعد مجرد كيفية إدارة عبء العمل، بل كيفية إنشاء نظام يشجع حقاً على تقديم ملاحظات عالية الجودة ومتأنية بدلاً من مجرد "تأدية واجب".

تجادل ورقة بحثية حديثة كتبها شاوين (هنري) زونج من جامعة رايس بأن النهج الحالي المتمثل في مطالبة الباحثين بأن يكونوا أكثر حذراً أو اتباع إرشادات أفضل هو أمر غير كافٍ. ويرى المؤلف أن مجتمع تعلم الآلة قد وصل إلى نقطة لم تعد فيها الطلبات المهذبة والإرشادات المتفائلة كافية لحل أزمة حجم التقديمات وجودة المراجعة. وبدلاً من ذلك، تقترح الورقة تحولاً جذرياً نحو نظام يعامل المراجعة كنوع من العملة. الفكرة المركزية هي استبدال "نظام الشرف" الحالي باقتصاد ائتماني ملموس، حيث يكسب الباحثون نقاطاً مقابل مساهماتهم في عملية المراجعة ويمكنهم إنفاق تلك النقاط للحصول على امتيازات محددة. ينتقل هذا النهج بعيداً عن الاعتماد على حسن النية نحو هيكل يتم فيه مكافأة السلوك الجيد وتحمل السلوك السيئ تكلفة ملموسة.

تحدد الورقة محركين رئيسيين للاختلال الحالي. أولاً، نما عدد الأوراق المقدمة للمؤتمرات الكبرى لدرجة تجعل من المستح المستحيل مادياً على الخبراء المتاحين منح كل ورقة الاهتمام الذي تستحقه. ومع تلقي بعض المؤتمرات لأكثر من عشرين ألف تقديم، يضطر النظام لاتخاذ قرارات سريعة، وغالباً ما تكون تعسفية، لمواصلة العملية. ثانياً، هناك نقص في العواقب المترتبة على السلوك السيئ؛ إذ يمكن للمراجع تقديم نقد سطحي أو ضعيف الجهد أو حتى غير منطقي دون خوف من التبعات، بينما المراجع الذي يبذل جهداً إضافياً لتقديم ملاحظات تفصيلية وبناءة لا يتلقى أي اعتراف ملموس. ويشير المؤلف إلى أنه بينما حاولت بعض المؤتمرات الحد من التقديمات عبر وضع سقف لعدد الأوراق التي يمكن للمؤلف تقديمها، إلا أن هذه الإجراءات غالباً ما تفشل لأنها لا تعالج السبب الجذري: وهو غياب الجانب السلبي لتقديم عمل غير جاهز، أو غياب المكافأة على القيام بالعمل الشاق للمراجعة الجيدة.

ولمعالجة هذه المشكلات، يقترح المؤلف نظاماً يسمى "نقاط المراجعة المفتوحة" (OpenReview Points). في هذا النموذج، يكسب الباحثون نقاطاً من خلال أداء مهام محددة، مثل كتابة مراجعة معيارية، أو المساعدة في مراجعة طارئة، أو التميز كمراجع متميز. ستعمل هذه النقاط بعد ذلك كعملة مرنة يمكن إنفاقها عبر مختلف المؤتمرات الكبرى. على سبيل المثال، يمكن للباحث إنفاق نقاط لطلب إعفاء من واجب المراجعة، أو لطلب خبير إضافي للإدلاء برأيه في ورقة مثيرة للجدل، أو حتى لاسترداد رسوم تسجيل مجانية لمؤتمر ما. تم تصميم النظام ليكون دقيقاً وقابلاً للتنفيذ، مما يسمح للمنظمين بمكافأة السلوك الجيد ومعاقبة السلوك السيئ بطرق أكثر دقة من النهج الحالي القائم على "الكل أو لا شيء".

تجادل الورقة صراحة ضد العديد من الحلول الموجودة التي جربها المجتمع. فهي تشير إلى أن مجرد مطالبة المراجعين بأن يكونوا أكثر لطفاً أو دقة هو أمر غير فعال لأنه يعتمد على دوافع لا يدعمها النظام الحالي. كما تنتقد فكرة وضع حدود صارمة وصعبة على عدد الأوراق التي يمكن للمؤلف تقديمها، مشيرة إلى أن مثل هذه القواعد تؤدي غالباً إلى قيام الفرق ببساطة بإزالة الأسماء من الأوراق للالتزام بالسقف، بدلاً من تقليل عدد التقديمات فعلياً. علاوة على ذلك، يحذر المؤلف من أن العقوبات القاسية، مثل رفض ورقة لأن المراجع كان ضعيف الجهد، هي أدوات فجة للتعامل مع مجموعة واسعة من سلوكيات المراجعة السيئة. بدلاً من ذلك، يقدم نظام الائتمان المقترح حلاً وسطاً حيث يمكن أن تكون العقوبات متناسبة، مثل خصم النقاط بسبب مراجعة منخفضة الجودة، مما يعمل كعامل ردع دون تدمير مسيرة الباحث المهنية.

ويعد مفهوم "الضمانات الإجرائية دقيقة التفاصيل" مكوناً رئيسياً في الاقتراح. حيث يحدد المؤلف أربع آليات محددة لمنع إساءة استخدام النظام. أولاً، سيقيد النظام إجراءات معينة لأدوار محددة، مما يضمن أن المؤلفين الرئيسيين للورقة فقط هم من يمكنهم إنفاق النقاط لطلب مساعدة إضافية، مما يمنع نقل العبء إلى أعضاء الفريق الأقل مسؤولية. ثانياً، ستكون هناك حدود قصوى لعدد المرات التي يمكن فيها اتخاذ إجراءات معينة، مما يمنع أي شخص من "استغلال" النقاط عبر تقديم عدد هائل من المراجعات منخفضة الجهد. ثالثاً، سيستخدم النظام تسعيراً ديناميكياً، مما يعني أنه كلما استخدم الباحث امتيازاً معيناً، زادت تكلفته بالنقاط، مما يضمن حجز الموارد النادرة للاحتياجات الأكثر أهمية. وأخيراً، سيعتمد النظام على التصويت من قبل الأقراء للحكم على جودة المراجعات، مما يسم يسمح للمجتمع بتحديد الممارسين السيئين ومعاقبتهم جماعياً مع مكافأة أولئك الذين يقدمون ملاحظات استثنائية.

يقر المؤلف بأن هذا النظام لا يخلو من التحديات والسلبيات المحتملة. فهناك قلق من أن نظام الائتمان قد يحابي الباحثين الذين يمتلكون بالفعل المزيد من الوقت والموارد، مما يسم يسمح لهم بـ "شراء" طريقهم للخروج من المسؤوليات. ومع ذلك، تجادل الورقة بأنه بما أن النقاط تُكتسب من خلال العمل وليس تُشترى بالمال، فإن النظام يكافئ الجهد وليس الثروة. هناك أيضاً خطر من إمكانية التلاعب بالنظام أو فقدان النقود لقيمتها بمرور الوقت، تماماً مثل التضخم في الاقتصاد الحقيقي. ولمواجهة ذلك، يقترح المؤلف أن تنتهي صلاحية النقاط بعد فترة معينة، وأن يتم طرح النظام تدريجياً، بدءاً من المزايا الحالية مثل رسوم التسجيل المجانية في المؤتمرات قبل تقديم ميزات أكثر تعقيداً.

تخلص الورقة إلى التأكيد على أن الهدف ليس إنشاء نظام مثالي، بل جعل النظام الحالي أكثر استدامة ومساءلة. ويقترح المؤلف أن تبدأ أولى المؤتمرات التي تتبنى هذا النظام بخطوات صغيرة، باستخدام المكافآت الحالية لاختبار الأجواء قبل توسيع النطاق. ومن خلال تتبع المقاييس الرئيسية ومشاركة البيانات عبر مختلف المؤتمرات، يمكن للمجتمع تعلم ما ينجح وما لا ينجح، وبناء إطار مشترك يفيد الجميع في نهاية المطاف. إن الرؤية النهائية هي عملية مراجعة أقران حيث يتم الاعتراف بالسلوك الجيد ومكافأته، وحيث يكون للباحثين مصلحة في جودة النظام، وحيث يتم استبدال إحباط العصر الحالي بتبادل أكثر فاعلية وعدلاً للأفكار. يمثل هذا الاقتراح تحولاً من الاعتماد على الأمل في أن يفعل الباحثون الشيء الصحيح إلى إنشاء هيكل يجعل فعل الشيء الصحيح هو الخيار الأكثر منطقية وفائدة.