Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool
تقدم هذه الورقة أداة مفتوحة المصدر وغير خاضعة للإشراف للكشف عن التحيز، نجحت في تحديد التفاوتات في خوارزمية حكومية هولندية واسعة النطاق تُستخدم لتقييم مخاطر الطلاب، مما يثبت فعاليتها في تدقيق أنظمة اتخاذ القرار عالية المخاطر حتى عندما تكون البيانات الديموغرافية المحمية غير متاحة بسبب قيود الخصوصية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير منطقة تعليمية ضخمة، ولديك ميزانية محدودة للمنح الدراسية، وعليك التأكد من أن الطلاب الذين يدّعون أنهم يعيشون بعيداً عن منازلهم يفعلون ذلك حقاً. وللقيام بذلك، قمت بتوظيف مساعد آلي (خوارزمية) لمسح آلاف ملفات الطلاب وتحديد أي شخص قد يكون "محتتملاً" بأنه يكذب.
لقد أُمر الروبوت بالبحث في ثلاثة أشياء بسيطة:
- نوع المدرسة التي يرتادها الطالب (مهنية أم جامعية).
- عمر الطالب.
- المسافة بين عنوان سكنه ومنزل والديه.
إذا اعتقد الروبوت أن الطالب يمثل "خطراً عالياً" للاحتيال، يظهر محقق بشري للتحقق من بريده الوارد وطرح الأسئلة.
المشكلة:
لأكثر من عقد من الزمان، كان هذا الروبوت يصنف طلاباً معينين للتحقيق بمعدل أكبر بكثير من غيرهم. وتحديداً، كان يستهدف الطلاب ذوي الخلفيات المهاجرة من غير الأوروبيين. ولكن المثير للدهشة هو أن الروبوت لم يكن يعرف عرقهم أو خلفيتهم؛ بل كان ينظر فقط إلى القواعد الثلاث البسيطة المذكورة أعلاه.
لق fact تبين أن الطلاب من خلفيات غير أوروبية كانوا إحصائياً أكثر عرضة للذهاب إلى المدارس المهنية، ويكونون أكبر أو أصغر سناً بطرق معينة، ويعيشون على مقربة أكبر من والديهم. ولأن الروبوت كان صارماً جداً بشأن هذه العوامل الثلاثة، فقد خلق دون قصد "وكيلاً" (Proxy) للعرق. الأمر يشبه حارس بوابة في ملهى ليلي يقول: "أنا لا أحكم على عرقك، أنا فقط أتفحص ما إذا كنت ترتدي أحذية حمراء"، ولكن من قبيل الصدفة أن معظم الناس من حي معين يرتدون أحذية حمراء. والنتيجة هي: تمييز غير مباشر.
تحدي المدققين:
الآن، تخيل أنك مدقق تم استئجارك للتحقق مما إذا كان هذا الروبوت عادلاً في تعامله مع المجموعات العرقية المختلفة. لكن هناك مشكلة: قوانين الخصوصية! المنطقة التعليمية (والقانون) تمنعك من الاطلاع على بيانات عرق الطلاب أو خلفياتهم. أنت معصوب العينين. كيف يمكنك التحقق من وجود تحيز وأنت لا تستطيع رؤية المجموعات التي تخشى وقوع الظلم عليها؟
الحل: المحقق "غير الخاضع للإشراف":
تقدم هذه الورقة أداة ذكية، تشبه المحقق الذي لا يحتاج لمعرفة أسماء المشتبه بهم لكي يجد المجرم. فبدلاً من البحث عن "العرق"، تبحث الأداة عن الأنماط في البيانات نفسها.
فكر في الأمر كفرز كيس ضخم من الكرات الملونة المختلطة. أنت لا تعرف أي الكرات حمراء، أو زرقاء، أو خضراء (لأنك لا تستطيع رؤية الملصقات)، لكنك تلاحظ أن بعض الكرات ثقيلة، وبعضها ناعم، وبعضها خشن. تستخدم الأداة آلة فرز ذكية (خوارزمية التجميع غير الخاضعة للإشراف - Unsupervised Clustering Algorithm) لتجميع الكرات بناءً على هذه السمات الفيزيائية.
بمجرد فرز الكرات إلى مجموعات، يتحقق المحقق: "هل يتم رفض الكرات في المجموعة (أ) من قبل حارس البوابة أكثر بكثير من الكرات في المجموعة (ب)؟"
ما وجدوه:
عندما استخدم الباحثون هذه الأداة على بيانات الطلاب في هولندا:
- قامت الأداة تلقائياً بفرز الطلاب إلى ثلاث مجموعات بناءً على نوع مدرستهم، وعمرهم، والمسافة من منزلهم.
- وجدت الأداة أن المجموعة 3 كانت تُصنف كـ "خطر عالٍ" بنسبة 50% من الوقت، بينما كانت المجموعة 1 تُصنف بهذه النسبة بنسبة 3% فقط.
- رغم أن الأداة لم تكن تعرف هوياتهم، إلا أن الباحثين تحققوا لاحقاً من البيانات الديموغرافية "الخفية" (التي كان لديهم حق الوصول إليها لهذا البحث فقط) واكتشفوا أن المجموعة 3 كانت تتكون في الغالب من طلاب ذوي خلفيات غير أوروبية.
لقد نجحت الأداة في العثور على "المجموعة غير العادلة" دون أن تُخبر أبداً من هم. لقد وجدت "الأحذية الحمراء" دون أن تعرف أنها حمراء.
لماذا هذا مهم:
- تعمل دون تجسس: تسمح هذه الطريقة للمدققين بالتحقق من التحيز حتى عندما تمنعهم قوانين الخصوصية من رؤية البيانات الحساسة مثل العرق أو الدين.
- مفتوحة المصدر: المؤلفون لم يكتفوا بكتابة ورقة بحثية فحسب؛ بل بنوا أداة مجانية وسهلة الاستخدام (مثل تطبيق قابل للتحميل) يمكن لأي شخص استخدامها لفحص خوارزمياته بحثاً عن التحيز الخفي.
- إنها نقطة انطلاق: هذه الأداة لا تثبت وجود التمييز بحد ذاتها. إنها مثل جهاز إنذار الحريق؛ يطلق صوتاً ويقول: "مهلاً، هناك شيء غريب يحدث في هذه المجموعة! يحتاج خبير بشري للتحقيق في الأمر".
الخلاصة:
الخوارزميات ليست دائماً "محايدة" لمجرد أنها لا تستخدم العرق كمتغير. يمكنها أن تتعلم التمييز باستخدام أدلة أخرى تعمل كبدائل. توضح هذه الورقة كيف يمكننا استخدام أداة "محقق أعمى" للعثين على تلك الأنماط الخفية، لضمان ألا تصبح أنظمتنا الآلية، عن غير قصد، حراس بوابات غير عادلين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.