An Isotonic Mechanism for Overlapping Ownership

في عالم البحث العلمي عالي المخاطر، تعمل عملية مراجعة الأقران كحارس بوابة للمعرفة الجديدة. فعندما يقدم باحث ورقة بحثية إلى مؤتمر رئيسي، تُرسل إلى خبراء آخرين يقرؤونها ويخصصون لها درجة. وتحدد هذه الدرجات ما إذا كان العمل سيُنشر، أو يُعرض على منصة، أو يُرفض. لعقود من الزمن، اعتمد هذا النظام بالكامل على آراء هؤلاء المراجعين الخارجيين. ومع ذلك، مع انفجار عدد الأوراق المقدمة، بدأ النظام في التداعي؛ إذ لم تنمُ مجموعة المراجعين المؤهلين بالسرعة الكافية لمواكبة هذا النمو، مما أدى إلى وضع قد تُقبل فيه الورقة نفسها من قبل مجموعة من الخبراء وتُرفض من قبل أخرى، لمجرد العشوائية في تحديد من قرأها. ويهدد هذا التضارب نزاهة المجال بأكره، مما خلق حاجة إلى وسيلة لتثبيت هذه الدرجات دون الاعتماد كليًا على مجموعة مراجعين مثقلة بالأعباء وغالبًا ما تفتقر للخبرة.

التحدي يكمن في أن الأشخاص الأكثر معرفة بالورقة البحثية — وهم المؤلفون أنفسهم — هم عادةً آخر من يثق بهم المنظمون لتقييمها. فطلب تقييم المؤلف لعمله الخاص يبدو وكأنه دعوة لعدم الأمانة؛ إذ قد يميل الباحث بطبيعته إلى تضخيم درجته لضمان القبول. ومع ذلك، يمتلك المؤلفون نوعًا فريدًا من المعلومات يفتقر إليه المراجعون: فهم يعرفون الجودة النسبية لأعمالهم الخاصة. قد لا يعرف المؤلف الدرجة الرقمية الدقيقة التي تستحقها الورقة، لكنه يعلم بالتأكيد أي من أوراقه البحثية أفضل من غيرها. والسؤال الذي طرحه الباحثون هو ما إذا كان يمكن استخدام هذه المعرفة النسبية لإصلاح الدرجات المشوشة التي يمنحها الغرباء، دون إعطاء المؤلفين سببًا للكذب.

قام فريق من الباحثين بتطوير طريقة جديدة، تسمى "آلية أيزوتونيك" (Isotonic Mechanism)، لحل هذا اللغز. فبدلاً من طلب أرقام محددة من المؤلفين، والتي تكون عرضة للخطأ والتلاعب، يطلب النظام منهم ببساً ترتيب أوراقهم البحثية من الأفضل إلى الأسوأ. ثم تأخذ هذه الآلية ترتيباتهم وتدمجها مع الدرجات المشوشة من المراجعين لإنتاج مجموعة جديدة أكثر دقة من الدرجات. وتكمن براعة التصميم في كيفية تعامله مع الشبكة المعقدة لمن يملك ماذا. ففي العلم الحديث، غالبًا ما تمتلك الأوراق البحثية مؤلفين متعددين، وكثيرًا ما يعمل هؤلاء المؤلفون معًا في مجموعات مختلفة من الأوراق، مما يخلق شبكة متشابكة حيث قد يتعارض ترتيب أحد المؤلفين لورقة ما مع ترتيب مؤلف آخر.

وللتنقل في هذا المسار، قام الباحثون أولاً بتقسيم المجموعة الكاملة من الأوراق إلى مجموعات منفصلة وغير متداخلة. وضمن كل مجموعة، حددوا المؤلفين الذين كتبوا كل ورقة في تلك المجموعة المحددة. ولم يُطلب إلا من هؤلاء المؤلفين تقديم ترتيبات للأوراق في تلك المجموعة. ومن خلال عزل هذه المجموعات المحددة، يضمن النظام أن المؤلفين الذين يقدمون الترتيب لديهم رؤية كاملة للعناصر التي يحكمون عليها، وأنه لا يمكن لمؤلف واحد التلاعب بدرجة ورقة لا يملكها بالكامل. ثم تستخدم المنظومة عملية تنعيم رياضية لتعديل درجات المراجعين الأصلية بحيث تحترم الترتيب الذي قدمه المؤلفون. فإذا قال المؤلف إن الورقة (أ) أفضل من الورقة (ب)، فإن الدرجات النهائية ستعكس هذا الترتيب، لكنها ستظل أقرب ما يمكن إلى درجات المراجعين الأصلية لتجنب التصحيح المفرط.

أثبت الباحثون أنه بموجب هذا النظام، فإن قول الحقيقة هو الاستراتيجية الأفضل لكل مؤلف. فإذا كان الجميع صادقين، لا يمكن لأي مؤلف فردي الحصول على ميزة من خلال الكذب بشأن ترتيب أوراقه. في الواقع، تخلق المنظومة وضعًا يكون فيه الصدق هو النتيجة الأكثر مكافأة للجميع. وينطبق هذا حتى عندما تكون ملكية الأوراق معقدة ومتداخلة، بشرًا بشرط إعداد النظام لطلب الترتيب فقط ضمن هذه المجموعات المحددة بعناية. كما أظهر الفريق أن محاولة التذاكي عبر السماح للمؤلفين بترتيب الأوراق عبر مجموعات مختلفة لا تنجح؛ فالطريقة الوحيدة لضمان الأمانة هي الالتزام بهذه المجموعات المعزولة.

ولإيجاد أفضل طريقة لتقسيم الأوراق إلى هذه المجموعات، صمم الباحثون خوارزمية سريعة وفعالة. واكتشفوا أن إيجاد التقسيم المثالي هو مشكلة يصعب على الحواسيب حلها بدقة في وقت معقول. ومع ذلك، فإن خوارزميتهم "الجشعة" (Greedy Algorithm)، التي تختار ببساطة أكبر مجموعة متاحة من الأوراق يملكها مؤلف واحد في كل خطوة، تقترب كثيرًا من النتيجة المثلى. وتعمل هذه الخوارزمية بسرعة كافية لاستخدامها في سيناريوهات واقعية تضم آلاف الأوراق.

اختبر الفريق طريقتهم باستخدام بيانات من مؤتمرات حقيقية لتعلم الآلة، وتحديدًا من خلال النظر في أوراق من مؤتمري ICLR وICML. وقد قاموا بمحاكاة عملية المراجعة عبر أخذ الدرجات الموجودة وإضافة ضوضاء عشوائية لمحاكاة التناقضات في مراجعة الأقران الحقيقية. وعند تطبيق آليتهم، كانت الدرجات المعدلة أكثر دقة بشكل ملحوظ من درجات المراجعين الأصلية. وفي اختباراتهم، قللت الطريقة الجديدة الخطأ في الدرجات بنسبة تتراوح بين 21 و33 بالمائة. كما نجحت في استعادة جزء كبير من الأوراق عالية الجودة التي فاتتها درجات المراجعين المشوشة في الأصل. وفي اختبار منفصل باستخدام بيانات فعلية حيث قدم المؤلفون بالفعل ترتيباتهم، حسنت الطريقة أيضًا دقة الدرجات مقارنة بالخط المرجعي.

استكشف الباحثون أيضًا المقايضات المتعلقة بالنظام. ووجدوا أن طلب الترتيب من عدد أكبر من المؤلفين لنفس مجموعة الأوراق يجعل النظام أكثر قوة ضد الأخطاء في تصورات المؤلفين أنفسهم. ومع ذلك، فإن طلب المزيد من المؤلفين غالبًا ما يجبر المجموعات على أن تكون أصغر، مما يقلل من كمية المعلومات المفيدة التي يمكن للنظام جمعها. ويعتمد التوازن الأمثل على مدى دقة المؤلفين المتوقعة؛ فإذا كان المؤلفون واثقين جدًا في ترتيباتهم، فإن المجموعات الأكبر هي الأفضل، أما إذا كانت تصوراتهم مشوشة، فإن المجموعات الأصغر مع عدد أكبر من المؤلفين توفر نتائج أفضل.

يبرهن هذا العمل على أنه من الممكن تسخير المعرفة الذاتية للمؤلفين لتحسين التقييم العلمي دون المساس بنزاهة العملية. فمن خلال طلب ترتيبات بسيطة بدلاً من درجات رقمية، ومن خلال هيكلة دقيقة لمن يقيم ماذا، تحول المنظومة تضارب المصالح المحتمل إلى أداة لزيادة الدقة. وتشير النتائج إلى أن منظمي المؤتمرات يمكنهم اعتماد هذا النهج لتثبيت عمليات المراجعة الخاصة بهم، مما يضمن التعرف على أفضل الأوراق حتى عندما تكون مجموعة المراجعين مستنزفة. إن هذه الآلية لا تحل محل المراجعين، بل تعمل كمثبت، مستخدمةً رؤى المؤلفين أنفسهم لتصحيح الضوضاء الحتمية في النظام.