Confidence Auditing in Automated Decision Systems
تقترح هذه الورقة بروتوكول تدقيق جديداً غير معتمد على التوزيع، يستخدم الاستدلال التوافقي المنقسم كمعيار مرجعي خارجي للتحقق إحصائياً وإصدار أحكام قابلة للتكرار بشأن دقة ادعاءات الثقة المقدمة من أنظمة اتخاذ القرار الآلية المنشورة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في غمرة الضجيج الهادئ للبنية التحتية الرقمية الحديثة، تتخذ الأنظمة المؤتمتة قرارات لا حصر لها في كل ثانية. فهي توافق على القروض، وتصفي طلبات التوظيف، وتشخص الحالات الطبية، وتجيب على الأسئلة المعقدة. ونادراً ما يكتفي مثل هذا النظام بتقديم إجابة مجردة؛ بل يرفق مع مخرجاته رقماً يعبر عن مستوى الثقة. هذا الرقم يهدف إلى إخبار البشر أو البرامج المحيطة به مدى الوزن الذي يجب إعطاؤه للإجابة. إنه الإشارة التي تحكم ما إذا كان القرار سيُعتمد، أو يُحال إلى بشر للمراجعة، أو يُقبل دون تفكير ثانٍ. ومع ذلك، وبالرغم من كل الاعتماد الموضوع على هذه الأرقام، إلا أنها نادراً ما تُفحص مقابل الواقع. قد يدعي نظام ما أنه متأكد بنسبة تسعين بالمائة، ولكن بدون اختبار صارم، يظل هذا الادعاء مجرد تصريح وليس ضماناً. إن الفجوة بين ما يقول النظام إنه يعرفه وما يحققه بالفعل هي مشكلة موثقة جيداً، لا سيما في نماذج التعلم العميق التي تميل إلى الثقة المفرطة. وقد تمثل التحدي في إيجاد طريقة لاختبار هذه الادعاءات دون وضع افتراضات حول كيفية عمل الآلة أو نوع البيانات التي تراها.
تقترح هذه الورقة طريقة جديدة لسد تلك الفجوة، حيث تقدم بروتوكول تدقيق مهيكلاً يتعامل مع ادعاء الثقة الخاص بالنظام كموضوع أساسي للدراسة. يقترح الباحثان، محمد أنامول حسن ومحمد أبو سعيد، طريقة للتحقق مما إذا كانت درجة الثقة التي يعلنها النظام تتوافق مع معدل الخطأ الفعلي باستخدام تقنية تسمى "التنبؤ المطابق" (conformal prediction). وبدلاً من محاولة إصلاح النموذج أو تحسين آليات عمله الداخلية، يستخدم التدقيق "التنبؤ المطابق" كمسطرة خارجية مستقلة عن التوزيع. تخيل مسطرة لا تعتمد على شكل الجسم الذي يتم قياسه؛ توفر هذه الطريقة معياراً يظل صحيحاً بغض النظر عن بنية النموذج أو البيانات التي يعالجها. الفكرة الجوهرية بسيطة: إذا كانت ثقة النظام صادقة، فإن المعدل الفعلي الذي يكون فيه صحيحاً يجب أن يطابق المعدل الذي يدعي أنه صحيح به. إذا ادعى النظام دقة بنسبة تسعين بالمائة، فيجب أن يكون مصيباً في تسعين بالمائة من الحالات. ويتحقق التدقيق من ذلك عبر مقارنة درجات الثقة الخاصة بالنظام مع معيار يتم بناؤه من البيانات نفسها، مما يضمن أن يكون الاختبار عادلاً وقابلاً لإعادة الإنتاج من قبل أي طرف ثالث.
تحدد الدراسة بروتوكولاً لاختبار ثلاثة أنواع متميزة من الأنظمة المؤتمتة، ينتج كل منها الثقة بطريقة مختلفة. تشمل المجموعة الأولى المصنفات التمييزية، مثل تلك المستخدمة في التعرف على الصور، والتي تخرج درجة احتمالية. وتتكون المجموعة الثانية من النماذج اللغوية التوليدية التي تجيب على الأسئلة وقد تذكر شأن ثقتها لفظياً. أما المجموعة الثالثة فتضم المتنبئات الرقمية التي تقدم فترات تنبؤ لأشياء مثل الطقس أو الاتجاهات الاقتصادية. وقد صمم الباحثون بروتوكولاً لاختبار كل من هذه الأنماط على بيانات محجوزة ذات إجابات موضوعية معروفة. ويقترحون قياس الفجوة بين الثقة المدعاة والدقة الفعلية، بحثاً عن التناقضات التي قد تشير إلى أن النظام يكذب، سواء كان ذلك عن طريق الخطأ أو التصميم. ولا ينظر التدقيق في متوسط الأداء فحسب، بل يتحقق أيضاً مما إذا كان النظام موثوقاً لمجموعات معينة من الناس أو في مواقف محددة، لضمان عدم ظهور النظام كأنه دقيق إجمالاً بينما يفشل بشكل خطير بالنسبة لفئة فرعية معينة من المستخدمين.
إن الميزة الرئيسية للطريقة المقترحة هي قدرتها على التمييز بين النظام الذي يعاني من سوء المعايرة فقط وبين النظام الذي لا يزال مفيداً لاتخاذ القرارات. لا يقيس التدقيق ما إذا كانت أرقام الثقة صحيحة فحسب، بل يقيس أيضاً ما إذا كانت معلوماتية. فقد يكون النظام ضعيف المعايرة، بمعنى أن أرقام ثقته لا تتوافق مع دقته، ومع ذلك قد يظل قادراً على الفصل بين الإجابات الصحيحة والخاطئة بفعالية. وهذا أمر بالغ الأهمية لاتخاذ القرار، لأن النظام الذي يسوء في ذكر درجة ثقته قد يظل جيداً في تحديد الحالات الصعبة للمراجعة البشرية. ويقترح الباحثون أنه من خلال استخدام بروتوكول التدقيق الخاص بهم، يمكن للمؤسسات الحصول على حكم واضح: قد يفشل النظام في اختبار كونه بياناً احتمالياً موثوقاً، لكنه قد ينجح كأداة مفيدة للفرز. وعلى العكس من ذلك، قد يكون النظام جيد المعايرة في المتوسط، لكنه يفشل في تقديم أي إشارة مفيدة لفرز القرارات الجيدة عن السيئة.
كما تتناول الورقة تكلفة إصلاح هذه المشكلات. فعندما يفشل النظام في التدقيق، يقترح الباحثون تطبيق بناء "التنبؤ المطابق" لمعرفة ما إذا كان من شأن ذلك استعادة مستوى الدقة الموعود. ويفترضون أنه بينما يمكن لهذه الطة غالباً أن تعيد أداء النظام ليتماشى مع ادعاءاته، إلا أن ذلك سيكون له ثمن. فمن أجل تحقيق التغطية الموعودة، سيتعين على النظام غالباً إنتاج فترات تنبؤ أوسع أو مجموعات أكبر من الإجابات المحتملة، مما قد يجعل المخرجات أقل دقة وأصعب في التنفيذ. وهذا المقايضة جزء حيوي من استنتاج التدقيق؛ فهي تسمح للمؤسسات برؤية أن ادعاءات النظام خاطئة، وأن هناك تصحيحاً ممكناً، وتحديد المدى الدقيق الذي سيؤدي إليه هذا التصحيح في تقليل فائدة النظام. وتمنع هذه الشفافية نشر الأنظمة التي تكون إما مفرطة في الثقة بشكل خطير أو متحفظة للغاية لدرجة تجعلها عديمة الفائدة.
في نهاية المطاف، ينقل هذا العمل التركيز من تحسين النماذج إلى التحقق من ادعاءاتها. ويرى المؤلفون أنه قبل أن يمكن الاعتماد على رقم الثقة بشكل معقول، يجب اختباره مقابل الأخطاء التي يرتكبها النظام فعلياً، ويجب أن يكون هذا الاختبار قابلاً لإعادة الإنتاج من قبل طرف ثالث. إن بروتوكول التدقيق الذي وصفوه ليس عصا سحرية تصلح النماذج المعطلة، بل هو إجراء صارم ينتج حكماً موثقاً. فهو يفصل بين سؤال ما إذا كان النظام جيداً وبين سؤال ما إذا كانت ادعاءات ثقته حقيقية. ومن خلال وضع معيار قياسي مستقل عن التوزيع، يوفر الباحثون أداة للمساءلة تتناسب مع الأطر التنظيمية الناشئة. والنتيجة هي صورة أوضح لكيفية سلوك أنظمة اتخاذ القرار المؤتمتة حقاً، والانتقال من الافتراض بأن الرقم المرفق بمخرج ما هو وعد بالصدق، والتعامل معه بدلاً من ذلك كادعاء يجب فحصه.
ملاحظة المؤلف. بروتوكول التدقيق الموصوف هنا هو منهجية مقترحة؛ ولم يتم تأكيد أي نتائج تجريبية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.