Position: Fairness Failure in Generative Models is an Evaluation Problem
تجادل هذه الورقة الموقفية بأن إخفاقات العدالة في النماذج التوليدية هي في المقام الأول مشكلة تقييم ناتجة عن نتائج غير قابلة للمقارنة وغير قابلة للتنفيذ، وتقترح "بطاقات العدالة" كأداة تقرير معيارية لتمكين قابلية التكرار، والمقارنة، والمساءلة في تقييم التحيز.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العقد الأخير، تعلمت الحواسيب كيفية ابتكار الفن، وكتابة القصص، وإجراء المحادثات بطلاقة كانت تبدو مستحيلة في السابق. هذه الأنظمة التوليدية، التي يمكنها إنتاج الصور والنصوص ومقاطع الفيديو من تعليمات بسيطة، أصبحت الآن منسوجة في نسيج الحياة اليومية. ومع ذلك، وبينما تصبح هذه الأدوات أكثر قوة، يتبعها ظل مستمر: الميل إلى إعادة إنتاج وتضخيم عدم المساواة المجتمعية. فعندما ينشئ الكمبيوتر صورة لطبيب، فإنه غالباً ما يفترض أنه رجل؛ وعندما يكتب قصة عن قائد، فإنه غالباً ما يختار جنساً أو عرقاً معيناً. هذا ليس مجرد خلل في الكود البرمجي، بل هو انعكاس للبيانات التي تعلمت منها الآلات، ومرآة تعكس تاريخ البشرية المليء بالتحيزات. لسنوات، حاول الباحثون والمنظمون إصلاح ذلك، وطوروا طرقاً للكشف عن هذه الأنماط غير العادلة والحد منها. وكان الهدف دائماً هو ضمان أن تعامل هذه الأدوات القوية جميع الناس بكرامة ودقة متساوية.
ومع ذلك، يشير منظور جديد إلى أن المشكلة قد لا تكمن في نقص الإصلاحات الأفضل، بل في الطريقة التي نقيس بها مدى نجاح تلك الإصلاحات. يجادل فريق من الباحثين بأن هذا المجال عالق في حلقة مفرغة من الارتباك لأن الاختبارات المستخدمة للحكم على العدالة مرنة للغاية. تماماً كما أن المسطرة المصنوعة من المطاط ستعطي قياسات مختلفة اعتماداً على كيفية شدّها، فإن الطرق الحالية لاختبار عدالة الذكاء الاصطناعي تغير نتائجها بناءً على خيارات صغيرة، وغالباً ما تكون غير مُبلغ عنها، يتخذها الباحثون. فقد تستخدم إحدى الدراسات طريقة معينة لطرح السؤال وتخلص إلى أن الذكاء الاصطناعي عادل، بينما قد تستخدم دراسة أخرى صياغة مختلفة قليلاً وتخلص إلى أن نفس الذكاء الاصطناعي منحاز بشدة. يمكن لكلتا الدراستين أن تكونا صحيحتين تقنياً ضمن قواعدهما الضيقة، ومع ذلك فهما تقدمان قصصاً متناقضة للجمهور ولصناع السياسات. هذا التضارب يجعل من المستحيل معرفة ما إذا كانت التكنولوجيا تتحسن حقاً أم أننا نرى فقط زوايا مختلفة لنفس المشكلة.
لقد سعى الباحثون وراء هذا العمل الجديد، مارييا فلامديميروفا وزملاؤها، لتشخيص سبب بقاء العدالة قضية مستعصية في النماذج التوليدية. لم يقترحوا ببساطة خوارزمية جديدة لجعل الذكاء الاصطناعي أكثر تهذيباً؛ بل فحصوا عملية التقييم نفسها. ومن خلال سلسلة من التجارب المنضبطة، أثبتوا أن الحكم على ما إذا كان الذكاء الاصطناعي عادلاً أم غير عادل يعتمد تماماً على "البروتوكول" المستخدم لاختباره. وفي عرض مثير للاهتمام، أخذوا نموذجاً واحداً ثابتاً وغير متغير واختبروه مقابل شبكة من السيناريوهات المختلفة. قاموا بتغيير طريقة طرح الأسئلة، وأسلوب الإجابات المتوقعة، والإعدادات المستخدمة لتوليد النص. ووجدوا أن النموذج نفسه يمكن الحكم عليه بأنه يعاني من مشكلة عدالة شديدة تحت مجموعة واحدة من الظروف، وبأنه متوازن تماماً تحت مجموعة أخرى.
على سبيل المثال، عندما طلب الباحثون من النموذج كتابة قصة عن شخص في وظيفة معينة، كانت النتائج منحازة بشدة نحو الصور النمطية. ولكن عندما طلبوا من نفس النموذج كتابة مذكرة مهنية عن نفس الشخص، اختفى التحيز. وفي اختبار آخر، قاموا بتغيير الطريقة التي يختار بها الكمبيوتر كلماته، وهو إعداد يُعرف باسم "نظام فك التشفير" (decoding regime). كان تغيير طفيف في هذا الإعداد، والذي غالباً ما يُترك للصدفة أو للإعدادات الافتراضية في الدراسات الأخرى، كافياً لقلب النتيجة من "منحاز" إلى "غير منحاز". وجد الباحثون أن هذه الاختلافات لم تكن ضوضاء عشوائية، بل تحولات منهجية يمكن أن تخفي أو تكشف الضرر اعتماداً على الخيارات التي يتخذها المقيم. وهذا يعني أن بإمكان شركة ما أن تصدر نموذجاً مع تقرير يدعي أنه عادل، لمجرد أنها اختارت طريقة اختبار محددة أظهرت نتائج جيدة بالصدفة، بينما كانت طريقة أخرى ستكشف عن مشكلات كبيرة.
تجادل الورقة البحثية بأن هذا الافتقار إلى المعايير الموحدة هو العقبة الحقيقية. المشكلة ليست في أننا لا نعرف كيفية بناء نماذج أكثر عدلاً، بل في أننا لا نستطيع تحديد ما إذا كنا قد نجحنا بالفعل. المشهد الحالي مليء بالفحوصات "المرتجلة"، حيث يختار الباحثون بعض الأمثلة للاختبار ويبلغون عن النتائج. هذا النهج يسمح بما يسميه المؤلفون "الانتقاء الموجه" (cherry-picking)، حيث يبدو النظام جيداً لأن الاختبار صُمم لجعله يبدو كذلك، أو حيث يتم تفويت تحسن حقيقي لأن الاختبار كان ضيقاً جداً. علاوة على ذلك، سلط الباحثون الضوء على أن أنظمة الذكاء الاصطناعي الحديثة غالباً ما تتضمن طبقات أمان ترفض الإجابة على أسئلة معينة. فإذا رفض النموذج الإجابة على سؤال لمجموعة من الناس بينما أجاب عليه لمجموعة أخرى، فإن ذلك يعد شكلاً من أشكال عدم الإنصاف يسمى "تفاوت الوصول" (access disparity). ومع ذلك، فإن العديد من الاختبارات الحالية تتجاهل ببساطة حالات الرفض هذه أو تعاملها كأخطاء يجب استبعادها، مما يخفي حقيقة أن بعض الناس يتم إسكاتهم بينما يُسمع الآخرون.
ولحل هذه المشكلة، يقترح الفريق معياراً جديداً يسمى "بطاقة العدالة" (Fairness Card). تخيل ملصق الحقائق الغذائية على عبوة طعام، ولكن بالنسبة لأنظمة الذكاء الاصطناعي. تماماً كما يخبرك الملصق الغذائي بما يحتويه الطعام بالضبط، وكمية السكر فيه، وكيف تمت معالجته، فإن "بطاقة العدالة" ستدرج كل تفصيل عن كيفية اختبار الذكاء الاصطناعي. ستحدد بالضبط الأسئلة التي طُرحت، وعدد المرات التي أُجري فيها الاختبار، والإعدادات المستخدمة لتوليد الإجابات، وكيف تعامل الباحثون مع حالات الرفض أو حواجز الأمان. لن تملي هذه الوثيقة معنى "العدل"، لكنها ستجعل عملية قياس العدالة شفافة وقابلة للتكرار. فإذا أراد باحثان مختلفان مقارنة نتائجهما، فسيعرفان تماماً كيفية تكرار الاختبار، مما يضمن أنهما يقارنان "التفاح بالتفاح" وليس "التفاح بالبرتقال".
اختبر الباحثون هذه الفكرة من خلال إنشاء "بطاقة عدالة" مفصلة لتجربتهم الخاصة. لقد وثقوا كل متغير، بدءاً من الكلمات المحددة المستخدمة في المطالبات (prompts) وصولاً إلى البذور العشوائية (random seeds) التي أثرت على خيارات الكمبيوتر. وعندما نشروا هذه التفاصيل، أظهروا أن النموذج نفسه يمكن أن ينتج نطاقاً واسعاً من درجات العدالة اعتماداً على الجزء الذي تنظر إليه في البطاقة. ففي ظل نمط مطالبة معين، أظهر النموذج معدلاً عالياً من اللغة النمطية؛ أما في ظل نمط آخر، فلم يظهر أي انحياز تقريباً. ومن خلال عرض كل هذه الأرقام في تنسيق موحد، أثبتوا أن "الحقيقة" حول عدالة النموذج ليست رقماً واحداً، بل هي صورة معقدة لا تتضح إلا عندما تكون جميع المتغيرات مرئية.
هذا النهج ينقل التركيز من محاولة إيجاد تعريف مثالي وشامل للعدالة إلى بناء نظام يكون فيه التقييم نفسه صادقاً وكاملاً. ويقر المؤلفون بأن هذا لن يحل كل المشكلات؛ إذ يشيرون إلى أن بعض الشركات قد تظل تخفي بياناتها، وأن الثقافات المختلفة قد تملك تصورات مختلفة عما هو عادل. ومع ذلك، يجادلون بأنه بدون سجل مشترك ومفصل لكيفية اختبار النظام، لا يمكن إحراز أي تقدم. فمن المستحيل تحسين ما لا يمكنك قياسه باستمرار، ومن المستحيل مقارنة الحلول إذا كانت قواعد اللعبة تتغير باستمرار.
تختتم الورقة البحثية بدعوة للعمل موجهة للباحثين والمطورين والمنظمين. إنهم يحثون على أنه في كل مرة يتم فيها إصدار نظام ذكاء اصطناعي جديد أو تقديم ادعاء بشأن عدالته، يجب توفير "بطاقة عدالة". يجب التعامل مع هذه الوثيقة كجزء إلزامي من الإصدار، تماماً مثل دليل السلامة أو دليل المستخدم. يجب أن تفصل المجموعات المحددة التي تم اختبارها، والأساليب الدقيقة المستخدمة لطرح الأسئلة، والنطاق الكامل للنتائج، بما في ذلك أسوأ السيناريوهات. ومن خلال جعل هذه الخيارات صريحة، يمكن للمجال أن ينتقل بعيداً عن الوعود الغامضة نحو مستقبل تكون فيه العدالة جزءاً قابلاً للقياس والتتبع والمساءلة في كيفية بناء واستخدام هذه الأدوات القوية. الهدف ليس القضاء على كل التحيز، وهو أمر قد يكون مستحيلاً، بل ضمان أننا جميعاً ننظر إلى نفس الأدلة عندما نقرر ما إذا كان النظام آمناً للاستخدام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.