Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards
تكشف هذه الورقة أن الاختلاف الجوهري بين الخبراء والمشاركين من الجمهور على مستوى العناصر يتم حجبه بسبب صغر حجم لوحات المتصدرين، مما يخلق شعوراً زائفاً بالاستقرار في تصنيفات النماذج يفشل في التعميم مع زيادة عدد النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في السباق لبناء ذكاء اصطناعي أكثر ذكاءً، يعتمد الباحثون على فكرة بسيطة ولكنها قوية: لكي تعرف ما إذا كانت الآلة تتحسن، يجب أن تطلب من إنسان أن يحكم على عملها. هذه العملية، المعروفة باسم "معيار التفضيل"، تتضمن عرض إجابتين مختلفتين من ذكاء اصطناعي على إنسان وسؤاله أيهما أفضل. ويصبح تجميع أصوات البشر هذه هو "المعيار الذهبي"، وهو نقطة مرجع موثوقة تُقاس بها جميع النماذج الجديدة. لسنوات، عمل هذا المجال بناءً على افتراض ضمني: وهو أنه لا يهم أي بشر يتم استئجارهم للقيام بالتحكيم. الاعتقاد السائد هو أنه بينما قد يرتكب الأفراد أخطاء عشوائية، فإن المجموعة ككل تعد أداة موثوقة، تقيس حقيقة واحدة ثابتة حول ما يجعل الإجابة جيدة. وإذا صحت هذه الفرضية، فإن الهوية المحددة للقضاة ليست سوى تفصيل ثانوي، مثل العلامة التجارية للقلم المستخدم في كتابة الدرجة.
لكن تحقيقاً جديداً يشير إلى أن هذا التفصيل هو في الواقع الجزء الأهم في المعادلة. فقد سعى الباحثون لاختبار ما إذا كان اختيار الحكام البشر يهم حقاً عبر إجراء نفس مجموعة مقارنات الذكاء الاصطناعي مرتين، باستخدام مجموعتين مختلفتين تماماً من البشر. تكونت إحدى المجموعتين من عمال الجمهور العاديين، وهم من نوع الأشخاص الذين يتم استئجارهم بالآلاف للمهام عبر الإنترنت. أما المجموعة الأخرى فكانت مكونة من خبراء متخصصين تم فحصهم، وهم أفراد لديهم معرفة متخصصة في المجال. أخذ الباحثون مجموعة بيانات ضخمة تضم آلاف المقارنات للذكاء الاصطناعي وطلبوا من كلتا المجموعتين التصويت على الفائزين. ووجدوا أن المجموعتين من البشر لم يتفقا مع بعضهما البعض كما افترض المجال. ففي ما يقرب من حالة واحدة من كل أربع حالات، اختارت المجموعتان فائزين مختلفين بالأغلبية. وفي ما يقرب من حالة واحدة من كل عشر حالات، اختار عمال الجمهور والخبراء فائزين متضادين، حيث أعلنوا الخاسر لدى مجموعة ما بطلاً لدى المجموعة الأخرى.
وعلى الرغم من هذا الخلاف الهائل على مستوى العناصر الفردية، إلا أن النتيجة النهائية بدت مستقرة بشكل مخادع. فعندما استخدم الباحثون هذه الأصوات المتضاربة لتصنيف ستة نماذج ذكاء اصطناعي في الدراسة، كان لوحة المتصدرين النهائية متطابقة بغض النظر عن أي مجموعة من البشر قامت بالتحكيم. لم يتغير ترتيب النماذح على الإطلاق. وقد خلق هذا صورة مربكة: القضاة يصرخون بإجابات مختلفة، ومع ذلك ظلت لوحة النتائج صامتة. أدرك الباحثون أن هذا الاستقرار لم يكن علامة على نظام قوي، بل كان حادثاً محظوظاً ناتجاً عن العدد الصغير من النماذج التي تمت مقارنتها. ولأن النماذج كانت متباعدة جداً في أدائها، فإن التحولات الصغيرة في التصويت الناتجة عن تغيير الحكام لم تكن كافية لدفع نموذج ما لتجاوز نموذج آخر.
ولاختبار مدى هشاشة هذا الاستقرار، أجرى الباحثون عمليات محاكاة لمعرفة ما سيحدث لو كانت لوحة المتصدرين أكبر، بحيث تحتوي على عشرات النماذج الشائعة في المنافسات الواقعية. كانت النتائج صارخة. فبينما ظلت لوحة المتصدرين المكونة من ستة نماذج دون تغيير، فإن لوحة المتصدرين التي تضم عشرة نماذح فقط ستشهد إزاحة نموذج في 86% من الحالات. ومع وجود عشرين نموذجاً، تصبح فرصة إعادة الترتيب شبه مؤكدة بنسبة 100%. وخلصت الدراسة إلى أن الممارسة الحالية للمجال في تقديم لوحات متصدرين صغيرة هي ممارسة آمنة فقط لأن النماذج قليلة ومتباعدة. وإذا نشر المجال ساحة أكبر وأكثر واقعية للنماذج، فإن اختيار الحكام البشر سيؤدي فوراً إلى بعثرة التصنيفات. إن "المعيار الذهبي" ليس حقيقة ثابتة؛ بل هو هدف متحرك يتغير اعتماداً على من يتم استئجارهم للإمساك بشريط القياس.
ولم يتوقف التحقيق عند الحكام البشر. فقد فحص الباحثون أيضاً كيف تتعامل أحكام الذكاء الاصطناعي، التي تُستخدم بشكل متزايد لأتمتة هذه التصنيفات، مع الخلاف بين المجموعات البشرية. واختبروا ثلاثة أحكام مختلفة من الذكاء الاصطناعي، بما في ذلك نماذج من شركات مختلفة، لمعرفة أي مجموعة من البشر يتفق معها أكثر. وجد كل حكم من أحكام الذكاء الاصطناعي توافقاً كبيراً مع عمال الجمهور أكثر من الخبراء. وهذا يشير إلى أن أحكام الذكاء الاصطناعي قد تعلمت محاكة تفضيلات الجمهور، غالباً لأن البيانات المستخدمة لتدريبها جاءت من عمال مشابهين في العمل بنظام الجمهور. ووجد الباحثون أن اتفاق حكم الذكاء الاصطناعي مع البشر ليس مجرد مقياس لذكائه، بل هو أيضاً انعكاس لقرارات التوظيف التي اتخذت منذ سنوات عند جمع بيانات التدريب.
كما كشفت الدراسة أن الطريقة التي يتم بها توجيه هذه الأحكام من الذكاء الاصطناعي يمكن أن تغير رأيها أكثر مما يفعل اختيار الحكام البشر. فعندما غير الباحثون ترتيب تقديم الإجابات، عكس أحكام الذكاء الاصطناعي قراراتهم في ما يقرب من نصف العناصر (تحديداً 44.6% لنموذج واحد). علاوة على ذلك، عندما غير الباحثون فقط تنسيق المخرجات (بطلب كائن JSON مقابل رمز مجرد) مع تثبيت كل شيء آخر، اتفق نفس الحكم مع نفسه في 47.2% فقط من العناصر، مما أظهر تحولاً منهجياً في اتجاه واحد. هذا الحساسية لترتيب العرض والتنسيق هي مصدر خطأ أكبر بكثير من الفرق بين آراء الخبراء والجمهور. ويجادل الباحثون بأن المجال بأكل يحتاج إلى تغيير طريقة الإبلاغ عن هذه النتائج. فمجرد ذكر أن نموذجاً ما يتفق مع البشر بنسبة مئوية معينة هو أمر ناقص دون تحديد أي بشر تم استخدامهم. إن سلامة التصنيفات الحالية هي وهم ناتج عن صغر حجم العينات، وتعتمد موثوقية التصنيفات المستقبلية تماماً على الاعتراف بأن اختيار الموثقين ليس تفصيلاً ثانوياً، بل هو متغير أساسي يشكل النتيجة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.