Compliant But Unsatisfactory: The Gap Between Auditing Standards and Practices for Probabilistic Genotyping Software
تنقد هذه الورقة معيار التدقيق ASB 018 الخاص ببرمجيات التنميط الاحتمالي، محتجة بأن تصميمه الغامض يخلق فجوة بين الامتثال والفعالية، مما يسمح لعمليات التدقيق بأن تبدو مرضية بينما تفشل في وضع القيود اللازمة على استخدام البرمجيات في النظام القانوني الجنائي في الولايات المتحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح للورقة البحثية، مقسم إلى مفاهيم بسيطة مع تشبيهات إبداعية.
الصورة الكبيرة: "ختم الموافقة" الذي ليس مختوماً حقاً
تخيل عالماً يُستخدم فيه صندوق سحري عالي التقنية لحل الجرائم. يأخذ هذا الصندوق عينات من الحمض النوي (DNA) من مسرح الجريمة ويقول للقاضي: "هناك احتمال بنسبة 99% أن يكون هذا المشتبه به قد كان في مكان الحادث".
ولأن هذا الصندوق قوي جداً، يحتاج النظام القانوني للتأكد من أنه يعمل بشكل صحيح قبل السماح له بالشهادة في المحكمة. لذا، قامت مجموعة من الخبراء بإنشاء كتاب قواعد (يُسمى ASB 018) لإخبار المختبرات بكيفية اختبار هذه الصناديق. كانت الفكرة هي: "إذا اتبع المختبر هذه القواعد، فإن الصندوق آمن للاستخدام".
المشكلة: وجد الباحثون في هذه الورقة أن المختبرات يمكنها اتباع كتاب القواعد بدقة على الورق، ولكن الصندوق قد يظل معطلاً، أو خطيراً، أو مضللاً. هم يسمون هذا "ممتثلاً ولكن غير مرضٍ". الأمر يشبه مطعماً يجتاز التفتيش الصحي لأنه يمتلك طفاية حريق، رغم أنه يقدم طعاماً فاسداً.
الطرق الخمسة لفشل النظام (الثغرات)
نظر الباحثون في كتاب القواعد وفي خمس تقارات حقيقية من المختبرات. ووجدوا خمس فجوات رئيسية حيث "تحايلت" المختبرات على روح القواعد مع اتباع نص القانون حرفياً.
1. فجوة "الروبوت مقابل الإنسان" (نطاق التدقيق)
- الهدف: ينص كتاب القواعد على وجوب اختبار النظام بأكمله، بما في ذلك الإنسان الذي يضغط على الأزرار.
- الواقع: اختبرت المختبرات الآلة فقط. وتظاهروا بأن المشغل البشري مثالي.
- التشبيه: تخيل اختبار سيارة ذاتية القيادة. يقول كتاب القواعد: "اختبر السيارة والسائق معاً". لكن المختبر اختبر السيارة فقط على مضمار مثالي وخالٍ من العوائق. لم يختبروا ما يحدث عندما يحاول سائق بشري مرتبك الإمساك بالمقود أو يدخل وجهة خاطئة. في الحياة الواقعية، يرتكب البشر أخطاء، وإذا لم تأخذ الآلة ذلك في الاعتبار، فقد تعطي إجابة خاطئة.
2. فجوة "القائمة المزيفة" (المدخلات)
- الهدف: يجب عليك اختبار الآلة بـ "طعام" يشبه ما تقدمه فعلياً (عينات الجرائم الحقيقية).
- الواقع: اختبرت المختبرات الآلة بـ "عينات مريحة" سهلة الصنع، وليس بعينات تشبه ما يوجد في مسارح الجريمة الفوضوية والواقعية.
- التشبيه: يريد طباخ إثبات أن حساءه جيد. يقول كتاب القواعد: "اختبره بالمكونات التي تستخدمها بالفعل". لكن الطباخ اختبره فقط باستخدام طماطم مثالية مشتراة من المتجر. لم يختبره بالطماطم المهروسة أو غريبة الشكل التي يحصل عليها فعلياً من المزرعة. قد يكون الحساء رائعاً مع الطماطم المثالية، ولكنه قد يتحول إلى وحل مع الطماطم الحقيقية.
3. فجوة "الهدف الغامض" (المعايير)
- الهدف: قبل الاختبار، يجب عليك تحديد ما يعنيه "النجاح" بدقة.
- الواقع: لم تحدد المختبرات معنى النجاح. اكتفت بالقول: "النتائج بدت جيدة".
- التشبيه: تخيل معلماً يصحح ورقة طالب. يقول كتاب القواعد: "حدد ما يبدو عليه تقدير 'امتياز'". لكن المعلم يقول فقط: "أعتقد أن هذا المقال يستحق امتياز لأنني أشعر بذلك". بدون نموذج تصحيح واضح (مثل: "يجب أن يتكون من 5 فقرات")، يمكن لأي شخص أن يدعي النجاح. استخدمت المختبرات كلمات مثل "مرتفع" أو "بديهي" بدلاً من الأرقار الصارمة، لكي يتمكنوا من الادعاء بأن الآلة تعمل حتى عندما لا تكون كذلك.
4. فجوة "العينة الصغيرة" (الأداء)
- الهدف: تحتاج لاختبار الآلة على مجموعة ضخمة ومتنوعة من الحالات الصعبة لتتأكد من عملها.
- الواقع: اختبرت المختبرات الآلة على مجموعة صغيرة وسهلة من العينات.
- التشبيه: لإثبات أن المظلة (الباراشوت) تعمل، لا ينبغي لك القفز من ارتفاع قدم واحدة فقط. بل يجب أن تقفز من طائرة. المختبرات قفزت فقط من فوق تلك القدم الواحدة (عينات سهلة) وادعت: "انظروا؟ لقد نجحت!". لم يختبروا المظلة في القفزات العالية (عينات الحمض النووي المعقدة والفوضوية) حيث قد تفشل فعلياً.
5. فجوة "لا توجد خطوط حمراء" (الحكم)
- الهدف: إذا ارتكبت الآلة خطأً، يجب عليك رسم خط في الرمال والقول: "لن نستخدم الآلة أبداً في حالات كهذه مرة أخرى".
- الواقع: رأت المختبرات الأخطاء ولكنها لم ترسم هذا الخط. اكتفت بالقول: "الآلة أصدرت صوتاً غريباً، لكن يمكن لإنسان ذكي إصلاح الأمر".
- التشبيه: لدى طيار في طائرة ضوء تحذير يومض عندما يتعطل المحرك. يقول كتاب القواعد: "إذا ومض الضوء، يجب عليك التوقف عن الطيران". قالت المختبرات: "الضوء ومض، لكننا نعتقد أن الطيار ذكي بما يكفي لتجاهل الأمر والاستمرار في الطيران". لم يحظروا الحالات السيئة، بل اكتفوا بالأمل في أن يكتشف البشر الخطأ.
لماذا حدث هذا؟ (عيوب التصميم)
تجادل الورقة بأن كتاب القواعد نفسه كان مصمماً بشكل سيء. لم يكن الأمر خبيثاً، لكنه كان فضفاضاً للغاية.
- الكثير من "ربما": استخدم كتاب القواعد كلمات مثل "ضع في الاعتبار"، "عالج"، و"قيّم". هذه كلمات لينة. يمكنك "وضع أمر ما في الاعتبار" بمجرد التفكير فيه لثانية واحدة ثم تجاهله. قامت المختبرات بالحد الأدنى المطلوب فقط "للتأشير" على المهمة كمنجزة.
- قواعد منعزلة: عامل كتاب القواعد أجزاء الاختبار المختلفة كعناصر منفصلة. قال: "اختبر الآلة" و"اختبر الإنسان" كمهمتين مختلفتين. قامت المختبرات بهما بشكل منفصل، لذا لم يرى المختبر أبداً كيف تؤدي أخطاء البشر إلى تعطل الآلة.
- غياب "من": لم يحدد كتاب القواعد بوضوح من يجب أن يقوم بالاختبار. في بعض الأحيان، كانت الشركة التي صنعت الآلة هي من تساعد المختبر في اختبار الآلة. إنه يشبه طلب فحص المكابح من الشركة المصنعة للسيارة نفسها.
الخلاصة
الباحثون لا يقولون إن برمجيات الحمض النووي سيئة. هم يقولون إن شبكة الأمان مليئة بالثقوب.
إذا أردنا أن تكون هذه الأدوات عادلة وآمنة في المحكمة، فلا يمكننا الاكتفاء بقائمة تحقق تسأل "هل فعلت ذلك؟". نحن بحاجة إلى قائمة تحقق تسأل "هل فعلت ذلك بشكل جيد بما يكفي لحماية الأبرياء؟".
الحل؟
- كن محدداً: لا تقل "ضع الإنسان في الاعتبار". بل قل "اختبر الإنسان وهو يرتكب 10 أخطاء محددة".
- كن واضحاً: حدد "النجاح" بالأرقام، وليس بالمشاعر.
- أشرك الجميع: لا تسأل المختبرات فقط عما يريدونه. اسأل محامي الدفاع، والضحايا، والعلماء عما يحتاجونه ليشعروا بالأمان.
باخت-صار: كتاب القواعد الذي يسمح لك بالنجاح دون أن تكون آمناً حقاً، ليس كتاب قواعد على الإطلاق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.