Same System, Opposite Verdicts: Metric Discretion in AI Ethics Audits and the Limits of Disclosure
توضح هذه الورقة أن غياب مقاييس العدالة الموحدة في أخلاقيات الذكاء الاصطناعي يسمح بنتائج تدقيق تعسفية ومتناقضة، وتجادل بأن تنفيذ متطلبات الإفصاح المشابهة لمقاييس الأداء البديلة المالية — بدلاً من فرض مقياس واحد صحيح — يمكن أن يقلل بشكل كبير من هذا التقدير ويحسن الشفافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قاضٍ في قاعة محكمة، ولكن بدلاً من الفصل في التهمة بالبراءة أو الإدانة، أنت تحكم ما إذا كان برنامج حاسوبي يتسم بالعدالة. في عالم الذكاء الاصطناعي، ليست "العدالة" رقماً واحداً بسيطاً مثل الطول أو الوزن؛ بل هي أشبه بالوصفة. يمكنك صنع كعكة طعمها حلو، أو حامض، أو متوازن تماماً، بناءً على المكونات التي تختارها وكمية كل منها. وبالمثل، لكي تقيس عدالة ذكاء اصطناعي، عليك أن تختار أي وصفة رياضية ستستخدم. عليك أن تقرر من الذي يُعتبر "مجموعة" للمقارنة، وما هو الرقم الذي يُحتسب كـ "نجاح"، وأي معادلة رياضية محددة ستشغلها.
لفترة طويلة، جادل الخبراء حول أي وصفة هي "الصحيحة". قال البعض: "يجب أن ننظر إلى عدد الأشخاص الذين تم توظيفهم"، بينما قال آخرون: "لا، يجب أن ننظر إلى عدد الأش ludzi الذين تم رفضهم". هذه الورقة البحثية تدخل إلى ذلك المطبخ الفوضوي لترى ماذا يحدث عندما يستخدم طهاة مختلفون وصفات مختلفة على نفس المكونات تماماً. السؤال الكبير هو: هل يهم أي وصفة تختار؟ الإجابة التي ظهرت كانت "نعم" مدوية. إذا غيرت الوصفة، فقد تقلب الحكم من "هذا الذكاء الاصطناعي عادل" إلى "هذا الذكاء الاصطناعي منحاز"، رغم أن الحاسوب لم يغير شيئاً واحداً. هذا الأمر مهم لأن الحكومات والشركات تطلب الآن هذه الدرجات الخاصة بالعدالة لاتخاذ قرارات كبرى تتعلق بمن يحصل على قرض، أو وظيفة، أو حتى الحرية في المحكمة. وإذا كان الرقم يعتمد كلياً على الوصفة التي اخترتها، ولم يخبرك أحد بالوصفة المستخدمة، فقد يصبح الرقم بلا معنى.
لعبة تبديل العدالة الكبرى للذكاء الاصطناعي
هذه الورقة البحثية تشبه تجربة ضخمة، حيث يلعب المؤلف، شاي تسابان، دور المدقق شديد الدقة. لقد أخذ أربعة أنظمة ذكاء اصطناعي مختلفة — أحد الأدوات الواقعية المستخدمة في سجن بفلوريدا للتنبؤ باحتمالية عودة الشخص لارتكاب الجرائم، وثلاث مجموعات بيانات اختبارية شهيرة يستخدمها العلماء للتحقق من التحيز في الدخل، والائتمان، والوظائف. ثم، لم يكتفِ بإجراء اختبار واحد، بل أجرى 91,572 نسخة مختلفة من الاختبار.
فكر في الأمر بهذه الطريقة: تخيل أن لديك صندوقاً ضخماً من قطع "ليغو" يمثل نظام ذكاء اصطناعي. قام المؤلف ببناء آلة يمكنها تركيب كل التوليفات الممكنة من "قواعد العدالة" لترى نوع البرج الذي ستبنيه. لقد جرب كل طريقة دفاعية لقياس العدالة: تغيير المعادلة الرياضية، تغيير درجة القطع لـ "النجاح"، تغيير مجموعات الناس التي تمت مقارنتها، وحتى تغيير السنة المحددة للبيانات المستخدمة.
النتيجة الصادمة: ينقلب الحكم
أكثر شيء مذهل وجدته الورقة هو أنه بالنسبة لكل نظام تم اختباره، انقلب الحكم ذهاباً وإياباً. في جميع الحالات الـ 7 المحددة التي نظروا فيها (مثل "المتهمين السود مقابل البيض" أو "الرجال مقابل النساء")، يمكن إعلان الذكاء الاصطناعي بأنه "عادل" بموجب مجموعة من القواعد، و"غير عادل" بموجب مجموعة أخرى.
الأمر يزداد غرابة؛ فأحياناً، المجموعة التي وُصفت بأنها "محرومة" (التي تُعامل بعدم إنصاف) قد تتبدل! تحت وصفة واحدة، كان الذكاء الاصطناعي يضر المجموعة (أ). وتحت وصفة أخرى، صحيحة تماماً، كان الذكاء الاصطناعي يضر المجموعة (ب). وجدت الورقة أن الأرقام المبلغ عنها يمكن أن تتأرجح بشكل هائل — بمقدار 6 إلى 30 ضعف "خطأ المعاينة" الطبيعي (ذلك الجزء الضئيل من الهامش الذي نتوقعه فقط من الصدفة العشوائية). في الواقع، كان اختيار أي معادلة رياضية تستخدم هو المسؤول عن 45% من الفرق في النتيجة النهائية، بينما لم يحرك الاحتمال العشوائي المؤشر إلا بنسبة ضئيلة جداً.
مشكلة "غسيل العدالة" (Fairwashing)
نظرت الورقة أيضاً فيما تفعله الشركات والحكومات في الوقت الحالي. لقد قرأت 6,797 وثيقة عامة تدعي فيها المنظمات أنها قامت بتدقيق ذكائها الاصطناعي. والنتيجة؟ لا أحد يلعب بعدالة مع المعلومات.
- 38 وثيقة فقط من بين ما يقرب من 7,000 وثيقة قدمت رقماً محدداً للعدالة.
- من بين هذه الـ 38، لم تشرح أي منها سبب اختيار تلك الوصفة الرياضية المحددة.
- لم تذكر أي منها ما هي الوصفات الأخرى التي فكروا فيها وتم رفضها.
- لم تقارن أي منها النتيجة الحالية بنتيجة العام الماضي لمعرفة ما إذا كانت الأمور تتحسن أم تسوء.
الأمر يشبه طباخاً يقول لك: "هذه الكعكة لذيذة"، لكنه يرفض إخبارك ما إذا كنت قد استخدم السكر أم الملح، أو ما إذا كنت خبزتها لمدة 10 دقائق أم ساعة. لا يمكنك معرفة ما إذا كانت الكعكة جيدة حقاً أم أنك نجحت فقط في اختيار الوصفة.
الحل: قاعدة "بطاقة الوصفة"
إذاً، كيف نصلح هذا؟ تقترح الورقة استعارة خدعة من عالم التمويل. في المحاسبة، يُسمح للشركات بالإبلاغ عن "الأرباح المعدلة" (نسختهم الخاصة من الربح)، ولكن يجب عليهم تقديم جدول "تسوية" يشرح بالضبط كيف وصلوا إلى ذلك الرقم من الربح القياسي.
أجرى المؤلف محاكاة ليرى ماذا سيحدث لو اضطر مدققو الذكاء الاصطناعي لفعل الشيء نفسه. وجد أنه لو توجب على المدققين ببساطة كتابة أربعة أشياء:
- عائلة الرياضيات التي اختاروها (الوصفة).
- القواعد المحددة التي استخدموها (المكونات).
- من الذي قارنوه (الضيوف/الآكلون).
- ما إذا كانوا قد حافظوا على القواعد نفسها بمرور الوقت (الاتساق).
... فإن هذا الإفصاح البسيط سيغلق 78% من "هامش التذبذب". سيجعل النتائج أكثر اتساقاً وصدقاً دون الحاجة إلى الاتفاق على وصفة واحدة "صحيحة". والأفضل من ذلك، إذا أبلغوا أيضاً عن كيفية تغير النتيجة بمرور الوقت، فسيغلق ذلك 82% من هامش التذبذب.
الخلاصة
تخلص الورقة إلى أننا لسنا بحاجة لحل مشكلة الرياضيات المستحيلة المتمثلة في إيجاد تعريف واحد "مثالي" للعدالة لإصلاح هذه الفوضى. نحن بحاجة فقط إلى التوقف عن إخفاء الاختيارات. إذا كان يمكن الحكم على نظام ذكاء اصطناعي بأنه عادل أو غير عادل بمجرد تغيير المسطرة التي تقيس بها، فإن المسطرة نفسها يجب أن تكون جزءاً من التقرير.
في الوقت الحالي، مشكلة "المتبقي" (Residual) — أي الجزء الضئيل من هامش التذبذب الذي يتبقى حتى بعد إجبار الناس على تدوين خياراتهم — تبلغ حوالي 0.16 على المقياس. هذا هو الحد الذي يمكن للشفافية إصلاحه. لكن الورقة تظهر أن الجزء الأكبر من الارتباك يأتي من عدم إخبار الناس بالقواعد التي لعبوا بها. من خلال إجبارهم على إظهار طريقة عملهم، يمكننا وقف لعبة "نفس النظام، نتائج متناقضة" والبدء في الحصول على إجابات حقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.