Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling
تتناول هذه الورقة أزمة قابلية التكرار في تقييم الذكاء الاصطناٍ التوليدي من خلال تقديم نهج تمهيد (bootstrapping) متعدد المستويات يستفيد من مجموعات بيانات واسعة النطاق ذات معرفات مقيمين ثابتة لنمذجة تباين المقيّمين وتحديد التوازن الأمثل بين عدد العناصر وعدد الاستجابات لكل عنصر المطلوب لتحقيق الدلالة الإحصائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول الحكم على أي من نموذجي دردشة آليين جديدين بالذكاء الاصطناعي هو "الأكثر أماناً" و"الأكثر فائدة". تقوم بسؤال مجموعة من الناس لتقييمهما. ولكن إليك المشكلة: إذا طلبت من ثلاثة أشخاص فقط تقييم عشر محادثات مختلفة، فقد تحصل على نتيجة محظوظة (أو سيئة) لا تعكس الواقع. هذه هي "أزمة التكرار" التي تتحدث عنها الورقة البحثية — حيث يعاني العلم من أجل الحصول على نتائج متسقة لأننا لا نقيس الأشياء بدقة كافية.
يجادل مؤلفو هذه الورقة بأننا نرتكب خطأً فادحاً بمعاملة كل رأي بشري كما لو أنه جاء من شخص مختلف تماماً ليس له أي صلة بالآخرين. في الواقع، غالباً ما يقوم الشخص نفسه بتقييم عناصر متعددة، وهو يحمل معه "نكهته" الخاصة أو انحيازه الشخصي.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. مشكلة "اختبار التذوق"
تخيل أنك تستضيف اختبار تذوق ضخم لنكهتين جديدتين من الآيس كريم (النموذج أ والنموذج ب).
- الطريقة القديمة (ما يفعله معظم الناس): تسأل 100 شخص مختلف لتذوق ملعقة واحدة لكل منهم. تفترض أن آراء الجميع مستقلة.
- الواقع: في الواقع، قد تطلب من 5 أشخاص فقط تذوق 20 ملعقة لكل منهم.
- المشكلة: إذا كان "بوب" يكره الشوكولاتة بالصدفة، فسوف يقيم كل ملعقة شوكولاتة بتقييم منخفض، بغض النظر عن العلامة التجارية. إذا عاملت آراء "بوب" العشرين كـ 20 نقطة بيانات مستقلة، فأنت تخدع نفسك وتظن أن لديك قدراً هائلاً من الأدلة. أنت في الحقيقة تستمع لصوت "بوب" 20 مرة.
تظهر الورقة أنه عندما تتجاهل حقيقة أن نفس الأشخاص هم من يقيمون العناصر المتعددة، فإنك تحصل على ثقة زائفة. تظن أنك وجدت فائزاً واضحاً بين نموذجي الذكاء الاصطناعي، بينما في الحقيقة، أنت لم تسأل عدداً كافياً من الأشخاص المختلفين للحصول على متوسط حقيقي.
2. حل "المستويات المتعددة"
يقترح المؤلفون طريقة جديدة للنظر إلى البيانات، يطلقون عليها اسم "إعادة أخذ العينات متعدد المستويات" (Multi-Level Bootstrapping).
- التشبيه: بدلاً من مجرد عد الأصوات، تخيل أنك محقق يدرك أن "بوب" رجل غاضب دائماً ما يعطي درجات منخفضة. أنت بحاجة إلى مراعاة "غضب بوب" عند حساب الدرجة النهائية.
- كيف فعلوا ذلك: أخذوا مجموعات بيانات من العالم الحقيقي حيث يعرفون بالضبط من قيم ماذا (مثل مجموعة بيانات تضم 350 محادثة قيمها 123 شخصاً). استخدموا محاكاة حاسوبية لـ "إعادة أخذ عينات" من البيانات، مما يعني فعلياً طرح السؤال: "ماذا لو كنا قد سألنا أشخاصاً مختلفين؟ ماذا لو سألنا نفس الأشخاص مرة أخرى؟"
3. الاكتشاف الكبير: المزيد من الناس، وليس فقط المزيد من العناصر
تجيب الورقة على سؤال حاسم: هل يجب أن نطلب من المزيد من الناس تقييم عدد أقل من العناصر، أم من عدد أقل من الناس تقييم كل شيء؟
- النتيجة: من الأفضل بكثير أن يكون لديك مزيد من الناس (المقيمين) يقيمون عدداً أقل من العناصر، بدلاً من أن يقوم عدد قليل من الناس بتقييم كل شيء.
- التشبيه: تخيل أنك تحاول تخمين متوسط ارتفاع مدينة ما.
- الاستراتيجية أ: تطلب من شخص واحد قياس 1,000 مبنى مختلف. (هذا سيء؛ إذا كان هذا الشخص يعاني من قصر نظر أو يستخدم شريط قياس مكسور، فإن بيانات المدينة بأكملها ستكون خاطئة).
- الاستراتيجية ب: تطلب من 1,000 شخص مختلف قياس مبنى واحد لكل منهم. (هذا أفضل؛ حتى لو أخطأ شخص واحد، فإن متوسط 1,000 شخص سيكون دقيقاً).
وجدت الورقة أنه للحصول على نتيجة موثوقة إحصائياً (نتيجة "ذات دلالة")، غالباً ما تحتاج إلى زيادة عدد الأشخاص (K) بشكل كبير، وأحياناً يصل الأمر إلى 100 شخص لكل عنصر، بدلاً من مجرد إضافة المزيد من العناصر إلى القائمة.
4. تأثير "الدفعة" (Batch Effect)
نظر الباحثون أيضاً في كيفية جمع البيانات في "دفعات" (مجموعات).
- التشبيه: تخيل فصلاً دراسياً حيث يوزع المعلم اختباراً على الفصل بأكمله في وقت واحد. قد يتحدث الطلاب ويؤثرون على بعضهم البعض، أو قد يكونون جميعاً متعبين في نفس الوقت.
- النتيجة: عندما يقيم الناس العناصر في مجموعات (دفعات)، تصبح آرائهم أكثر ترابطاً. توضح الورقة أنه إذا تجاهلت هذه "الدفعات"، فإنك تقلل من تقدير مقدار البيانات التي تحتاجها فعلياً. قد تظن أنك بحاجة إلى 500 تقييم لتكون متأكداً، ولكن بسبب "تأثير الدفعة"، قد تحتاج في الواقع إلى 2,500 تقييم.
5. الخلاصة
تخلص الورقة إلى أن المعيار الحالي المتمثل في استخدام 3 إلى 5 مقيمين فقط لكل عنصر هو في الغالب غير كافٍ للوثوق بالنتائج، خاصة عند محاولة إثبات أن أحد نماذج الذكاء الاصطناعي أكثر أماناً من الآخر.
- التوصية: إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي آمناً حقاً أو أفضل، فعليك التوقف عن معاملة المقيمين البشر كأنهم عملات معدنية قابلة للاستبدال. أنت بحاجة إلى الاعتراف بأن لكل إنسان "صوتاً" فريداً. وللحصول على إجابة حقيقية، تحتاج إلى توظيف مزيد من البشر لإعطاء آرائهم، حتى لو كلفك ذلك المزيد من المال.
باختاًصر: لا تطلب من نفس الأشخاص القلائل الحكم على ألف شيء. اطلب من ألف شخص مختلف الحكم على أشياء قليلة. هذه هي الطريقة الوحيدة للتوقف عن خداع نفسك بإحصائيات زائفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.